[AAAI 2024] VITA: 'Carefully Chosen and Weighted Less' Is Better in Medication Recommendation
본 논문 리뷰는 개인적인 학습 내용을 바탕으로 작성된 것으로, 일부 내용에 오류가 있을 수 있습니다.
논문 정보
Kim, T., Heo, J., Kim, H., Shin, K., & Kim, S. W. (2024, March). VITA:‘Carefully Chosen and Weighted Less’ Is Better in Medication Recommendation. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 38, No. 8, pp. 8600-8607).
VITA: 'Carefully Chosen and Weighted Less' Is Better in Medication Recommendation
We address the medication recommendation problem, which aims to recommend effective medications for a patient's current visit by utilizing information (e.g., diagnoses and procedures) given at the patient's current and past visits. While there exist a numb
arxiv.org
Abstract
해당 논문은 의약품 추천 문제를 다루며, 환자의 현재 및 과거 방문기록을 활용해 효과적인 의약품을 추천하는 것을 목표로 한다.
기존 추천 시스템들은 현재 방문 기록과 과거 방문 기록 간의 관련성을 정확히 파악하지 못하는 한계가 있다.
이를 해결하기 위해 새로운 의약품 추천 프레임워크 VITA를 제안한다.
Relevant-Visit Selection : 현재 방문과 관련된 과거 방문만을 선택
Target-Awae Attention : 선택된 방문 간의 관련성을 계산하여 활용
실제 데이터셋을 활용하여 실험한 결과, 기존 시스템 대비 Jaccard 지표에서 최대 5.56% 높은 정확도를 달성하였다.
Introduction
의약품 추천 시스템은 환자의 현재 방문 시 적절한 약물을 추천하여 의사의 의사결정을 도우며, 다음 요소를 고려한다.
1. 현재 방문에서의 진단 및 절차 정보
2. 환자의 과거 건강 기록
3. 처방 약물 간의 관계 (ex. 부작용 가능성)
기존 접근 방식
초기에는 Instance-based Methods로 현재 방문 정보만 활용하여 약물을 추천하지만, 이는 환자별 건강 상태의 차이를 반영하지 못한다. 이후 Longitudinal-based Methods는 현재 및 과거 방문 정보를 모두 사용하여 환자의 건강 상태를 나타내는 표현을 생성한다. 대부분의 모델은 RNN 기반으로 방문 순서를 고려하지만, 순서 외의 관련성을 정확히 반영할 수 없는 한계가 있다.
COGNet과 같은 일부 최신 모델은 현재 방문 정보에 초점을 맞추며, 과거 기록과의 유사도를 보완적으로 활용하지만, 관련성을 정확히 평가하는데 한계가 존재한다.
연구의 주요 기여
Important Discovery
기존 시스템들은 현재 건강 상태를 표현할 때, 과거 방문과 현재 방문 간의 관련성을 정확히 반영하지 못한다.
관련 없는 과거 데이터를 사용할 경우, 추천 정확도가 감소한다는 점을 최초로 입증하였다.
Novel Framework
VITA는 Relevant-Visit Selection과 Target-Aware Attention을 통해 환자의 현재 건강 상태를 보다 정확하게 표현한다.
Extensive Evaluation
실제 의료 데이터(MIMIC-III, MIMIC-IV)를 사용한 실험에서 VITA는 기존 6개의 최신 모델 대비 최대 5.56% 높은 정확도를 기록했다.
VITA의 주요 구성 요소
Relevant-Visit Selection
과거 기록 중 현재 방문과 관련 없는 데이터는 제외
Gumbel-Softmax를 활용해 선택 과정 최적화
Target-Aware Attention
선택된 과거 기록과 현재 방문 간의 관련성을 Softmax로 정규화하여 평가
방문 순서에 의존하지 않고, 각 데이터의 중요도를 계산
VITA는 환자의 현재 건강 상태를 표현하는 표현 벡터를 생성하여 이를 기반으로 가장 적절한 약물을 추천한다.
Motivation
기존 의약품 추천 시스템의 한계를 탐구하기 위해 2가지 주요 질문을 설정한다.
PQ1. 과거 방문 정보를 사용하여 환자의 건강 상태를 나타내는 것이 의약품 추천 정확성을 향상시키는데 도움이 되는가?
PQ2. 환자의 현재 건강 상태를 더 잘 나타내기 위해 어떤 과거 방문 정보가 유익한가?
실험 설정
사용된 모델은 GAMENet, 데이터셋은 MIMIC-III, 평가지표는 Jaccard(추천 정확도 측정에 사용) 활용
PQ1. 환자의 과거 방문 정보를 사용하는 것이 추천에 유용한가?
실험 : GAMENet 모델에 (1) 모든 과거 방문 정보, 현재 방문 정보 사용 (2) 현재 방문 정보만 사용, 다음 2가지 데이터를 입력하여 정확도를 비교
결과 : 과거 방문 정보와 현재 방문 정보를 함께 사용한 경우 더 높은 정확도를 보여 과거 방문 정보를 사용하는 것이 의약품 추천에 유용하다.
PQ2. 어떤 과거 방문 정보가 추천 정확도에 가장 유익한가?
실험 : 각 환자의 현재 방문 정보와 과거 방문 정보 간의 Jaccard 유사도 계산 후, GAMENet에 입력 데이터로 (1) 가장 유사한 방문 정보(Top-1), (2) 중간 정도로 유사한 방문 정보(Mid.-1), (3) 가장 유사도가 낮은 방문 정보(Bot.-1) (4) 모든 과거 방문 정보(all) (5) 현재 방문 정보만(No), 다음 5가지를 활용하여 결과를 비교한다.
결과 : 가장 유사한 방문 정보(Top-1)를 사용하는 경우 정확도가 가장 높으며, 유사도가 낮은 방문 정보(Bot.-1)를 사용하는 경우 정확도가 크게 감소하며, 모든 방문 정보를 사용하는 경우, 관련성이 낮은 데이터가 포함되어 정확도가 떨어질 수 있다. 유사한 과거 방문 정보를 선택하는 것이 추천 성능 향상에 중요하다.
과거 방문 정보는 환자의 현재 상태를 더 잘 표현하는데 유용하며(PQ1 결과), 관련성이 높은 과거 방문 정보만 사용하는 것이 추천 성능을 개선하며, 관련성이 낮은 정보는 부정적인 영향을 미친다(PQ2 결과).
VITA: Proposed Framework
Problem Definition
Definition 1: Patient Records
환자의 전자 건강 기록(EHR)은 일련의 방문 데이터 $V_x = [V^1_x,\cdots V^{(T-1)}_x, V^T_x]$로 구성되며, $V^{(T-1)}_x$은 환자 $x$의 $(T-1)$번째 방문을 나타낸다.
각 방문 $V^{(T-1)}$은 다음 3가지 multi-hot vectors 형태로 표현된 하위 집합으로 구성된다.
진단 정보(D) : $\textbf{d}^{(T-1)}\in \mathbb{R}^{|D|}$, $D$는 subset of all diagnoses
진료 절차(P) : $\textbf{p}^{(T-1)}\in \mathbb{R}^{|P|}$, $P$는 subset of all procedures
처방된 약물(M) : $\textbf{m}^{(T-1)}\in \mathbb{R}^{|M|}$, $M$는 subset of all medications
Definition 2: EHR and DDI Graphs
EHR 그래프 ($G_{EHR}$)
약물 세트 $M$과 엣지 세트 $E_{EHR}$로 구성된다.
$E_{EHR}$ : 특정 환자의 모든 방문에서 함께 처방된 약물 간의 관계를 나타낸다.
인접 행렬 $A_{EHR}$ 정의 : $A_{EHR}[i, j] = 1$이면, 약물 $i$와 $j$가 함께 처방된 기록이 있다.
DDI 그래프 ($G_{DDI}$)
약물 세트 $M$과 엣지 세트 $E_{DDI}$로 구성된다.
$E_{DDI}$ : 함께 복용할 경우 유해한 상호작용이 발생할 수 있는 약물 간의 관계를 나타낸다.
인접 행렬 $A_{DDI}$ 정의 : $A_{DDI}[i, j] = 1$이면, 약물 $i$와 $j$가 함께 복용될 경우 해로운 상호작용이 발생할 가능성이 있다.
모든 환자에 대해 동일한 EHR 및 DDI 그래프가 사용된다는 특징이 있다.
Medication Recommendation Problem
Input : 환자의 과거 건강 기록($[V^1, \cdots, V^{(T-1)}]$), 현재 방문에서의 진단($\textbf{d}^T$) 및 절차($\textbf{p}^T$), EHR 및 DDI 그래프
Target : 환자의 현재 방문 $(T)$을 위해 필요한 약물 세트 $\hat{M}^T$를 추천하는 것
Key Components in VITA
- Encoder
목적 : 환자의 현재 건강 상태를 나타내는 표현 벡터 $q^T\in \mathbb{R}^{dim}$을 생성
현재 방문 $T$에서 환자의 건강 상태를 나태나며, 환자의 과거 방문과 현재 방문 간의 관련성을 정확히 반영하기 위해 Relevant-Visit Selection과 Target-Aware Attention을 사용한다.
Encoder 작동 방식은 입력 데이터 전처리 과정과 Dense Representation 생성 과정으로 이루어져있다.
입력 데이터의 전처리 : 각 방문 데이터 $t$의 전단 데이터 $d^t$와 진료 절차 데이터 $p^t$를 결합
$\textrm{concat}(d^t,p^t)$ : 진단 및 절차 데이터를 병합하여 하나의 입력으로 활용
$W_e$ : 학습 가능한 임베딩 레이어의 가중치 행렬 ($\mathbb{R}^{(|D|+|P|)\times dim}$)
Dense Representation 생성 : 병합된 데이터에 임베딩 레이어를 적용하여 $v^t$라는 고차원 벡터 표현을 생성하고, $v^t$는 각 방문 $t$에 대한 요약된 표현으로, Encoder의 다음 단계에서 사용
결과 : Encoder는 환자의 현재 건강 상태를 나타내는 $q^T$를 생성하며, 이를 기반으로 Predictor가 적합한 약물을 추천한다.
Relevant-Vist Selection
문제 : 환자마다 과거 방문 정보 중 현재 방문과 관련된 방문의 수가 다를 수 있으며, 일부 환자의 경우, 과거 방문 정보 중 현재 방문과 관련된 정보가 전형 없을 수도 있다.
목표 : 현재 방문과 관련된 과거 방문 정보만을 자동으로 선택하여 환자의 건강 상태를 더 정확히 표현한다.
작동과정
(1) 입력 데이터 준비
각 과거 방문 $t$의 벡터 표현 $v^t$와 현재 방문 $v^T$를 결합하여 입력 데이터 생성
$\textrm{concat}(v^t,v^T)$는 과거 방문 $t$가 현재 방문 $T$와 얼마나 관련이 있는지를 판단하는데 사용
(2) MLP를 통한 관련성 확률 계산
결합된 데이터를 MLP에 입력하여 과거 방문 $t$가 선택될 확률 $s^t$를 계산
$W_s$ : 학습 가능한 가중치 행렬, $b_s$ : 학습 가능한 편향
(3) Gumbel-Softmax를 사용한 선택
Gumbel-Softmax를 사용하여 (과거 방문의 선택 여부를 결정해야 하는) 이산적인 선택 문제를 연속적으로 변환하여 학습할 수 있도록 한다.
$\pi_t = [s^t, 1-s^t]$ : 과거 방문 $t$의 선택 확률과 비선택 확률
$z^{\gamma}_t$ : Gumbel 분포에서 추출된 샘플
$\tau_g$ : Gumbel-Softmax의 하이퍼파라미터
$o^{\gamma}_t$를 통해 과거 방문의 선택 여부를 결정
$V_{rel}$ : 현재 방문과 관련된 과거 방문 집합
주요 특징
유연성 : 환자마다 관련된 과거 방문의 수가 다를 수 있음을 고려, 필요한 경우, 과거 방문을 전부 선택하거나 아무것도 선택하지 않을 수도 있음
학습 가능성 : Gumbel-Softmax를 통해 선택 과정을 학습 가능한 연속적인 문제로 변환
효율성 : 관련 없는 데이터는 제외하여 불필요한 계산을 줄임
Target-Aware Attention
목적 : 현재 방문 $T$와 관련된 과거 방문 정보들의 중요도(즉, 연관성 점수 $\alpha^t$)를 계산하여 방문 순서에만 의존하지 않고, 방문 간의 실제 내용적 관련성을 반영한다. 과거 방문이 현재 방문과 약하게 연관되었더라도, 적절한 가중치를 부여해 표현 벡터를 최적화한다.
작동과정
(1) 입력 데이터
현재 방문 $T$의 고차원 벡터 포현 $v^T$를 쿼리로 사용
관련된 과거 방문들 $V_{rel} = {v^t}$의 벡터 표현을 key와 Value로 사용
(2) 연관성 점수 계산
현재 방문 $v^T$와 과거 방문 $v^t$ 간의 연관성을 다음 식을 사용해 계산
$W_\alpha$ : 학습 가능한 가중치 행렬, $\sqrt{dim}$ : 점수의 스케일을 조정해 학습 안정성을 높이기 위한 정규화 요소
(3) 가중치의 특성
$\alpha^t$ : 과거 방문 $t$가 현재 방문 $T$와 얼마나 연관성이 높은지를 나타내는 가중치
모든 연관된 방문의 $\alpha^t$ 값의 합은 반드시 1이 아니며, 특정 방문이 약하게 연관된 경우 작은 값을 가질 수 있음
(4) 현재 상태 표현 생성
연관성 점수 $\alpha^t$를 사용해 최종 환자 표현 벡터 $q^T$를 생성
각 과거 방문 $v^t$의 벡터에 가중치 $\alpha^t$를 곱해 더한 값으로 현재 방문을 최종적으로 표현
주요 특징
연관성 계산 : Target-Aware Attention은 방문 간의 관련성을 동적으로 학습하여 단순히 시간순서에 의존하지 않고 방문 간의 실질적 연관성을 반영
가중치 조정 : 모든 방문의 가중치를 동등하게 취급하지 않고, 현재 방문에 대해 가장 중요한 과거 방문에 더 높은 가중치를 할당
유연성 : 과거 방문 데이터가 약하게 연관되거나, 현재 방문 자체가 중요한 상황도 반영 가능
- Predictor
목표 : 환자의 현재 방문 $T$에 필요한 약물 세트 $\hat{M}^T$를 추천
현재 방문에서 필요한 약물의 특성을 파악하고, 과거 방문에서 처방된 약물 중 현재 방문에 필요한 약물의 확률을 계산하여 필요한 약물을 선택한다.
작동방식
(1) 환자 표현 벡터 $q^T$ 사용
환자의 현재 건강 상태를 나타내는 $q^T$를 기반으로, 두 가지 약물 표현을 생성
$p^{T}_k \in \mathbb{R}^{dim}$ : 현재 건강 상태를 고려했을 때, 현재 방문에서 필요한 $k$번째 약물의 특성
$p^{T,M}_k \in \mathbb{R}^{|M|}$ : 과거 방문에서 처방된 모든 약물 중, 현재 방문에서 $k$번째 약물로 추천될 확률
(2) 결합 과정
$p^{T}_k$와 $p^{T,M}_k$를 결합하여 $k$번째 약물을 선택
결합과정을 반복하여 모든 필요한 약물이 선택될 때까지 진행
주요 특징
현재 방문에서 필요한 약물의 특성과 과거 방문에서 처방된 약물 정보를 결합하여 추천 정확도를 향상
한 번에 모든 약물을 추천하지 않고, 각 약물을 하나씩 순차적으로 추천
Current Health-Aware Medication Representation
목적 : 현재 방문 $T$에서 환자의 건강 상태와 관련하여 필요한 약물을 나타내는 표현 $p^{T}_k$를 생성, $p^{T}_k$는 이미 추천된 약물들과의 관계를 고려하여 다음으로 추천될 약물을 효과적으로 나타냄
작동방식
(1) 약물 표현 $e_i$ 생성
VITA는 약물 간의 관계를 반영하기 위해 EHR 그래프(함께 처방된 약물 간의 관계), DDI 그래프(약물 간 부작용 관계)를 사용한다.
각 그래프에 독립적인 두 계층 GCN을 적용하여 약물 표현 $e_i$를 생성한다.
두 GCN에서 생성된 약물 표현들을 결합하여 최종 약물 표현 $e_i$를 도출한다.
(2) 현재 건강 상태에 따른 약물 표현 $p^{T}_k$ 계산
이미 추천된 약물들을 고려하여 현재 방문에서 필요한 $k$번째 약물의 표현 $p^{T}_k$를 생성한다. 이를 위해 Transformer 기반 모델을 사용하여 입력 데이터 간의 관계를 계산한다.
$e^{T,(k-1)}_*$ : 이미 추천된 ($k-1$)번째 약물의 표현
(3) Softmax를 통한 정규화
Softmax 함수를 통해 $p^{T}_k$의 값을 정규화하여 $k$번째 약물이 현재 건강 상태에 얼마나 적합한지 나타낸다.
주요 특징
EHR 및 DDI 그래프를 통해 약물 간 상호작용 및 관계를 학습한다. 이미 추천된 약물과 다음 추천될 약물 간의 관계를 명확히 반영한다.
Transformer 모델을 활용해 복잡한 관계를 효과적으로 집계하고 반영하며, 현재 건강 상태뿐만 아니라 이전에 추천된 약물의 영향을 포함하여 약물 추천의 맥락을 유지한다.
Current Health-Relevant Past Medication Representation
목적 : 과거 방문에서 처방된 약물의 표현을 사용하여 현재 방문에서 필요한 약물과의 연관성을 평가하여 현재 방문에서 $k$번째로 추천할 약물의 표현 $p^{T,M}_k$을 생성한다.
작동 방식
(1) 두 가지의 수준의 관련성 계산
- Medication-Level Relevance ($r^{i}_{m,t}$)
특정 약물 $i$가 과거 방문 $t$에서 처방된 약물 중 얼마나 관련성이 있는지를 나태냄
$e^{t}_i$ : 과거 방문 $t$에서 처방된 약물 $i$의 표현
- Visit-Level Relevance ($r^{v}_t$)
과거 방문 $t$ 전체가 현재 건강 상태 $q_T$와 얼마나 관련성이 있는지를 나타냄
$r^{v}_t$는 $\alpha^t$를 구하는 공식(Target-Aware Attention)을 활용하여 계산한다.
(2) 과거 약물 표현 $p^{T,M}_k$ 생성
두 수준의 관련성을 결합하여 $k$번째 약물의 표현을 생성한다.
$m^t$ : 과거 방문 $t$에서 처방된 약물 집합
최종 약물 추천 방식
VITA는 두 가지 약물 표현을 결합하여 최종적으로 $k$번째 약물을 선택한다.
$\lambda_k$ : 두 표현의 가중치를 조정하는 매개변수, $W_p, b_p$ : 학습 가능한 가중치와 편향
주요 특징
약물 수준과 방문 수준에서 각각의 연관성을 평가하여 과거 방문 정보의 중요도를 효과적으로 반영한다.
과거 방문에서 추천된 약물과 현재 방문에서 필요한 약물 간의 관계를 균형 있게 반영한다.
$\lambda_k$를 통해 현재 건강 상태와 과거 방문 정보의 중요도를 조정하여 유연한 추천이 가능하다.
Training
손실함수 정의
$T$ : 총 방문 수, $|M|$ : 전체 약물 집합의 크기, $m^{t}_i$ : 방문 $t$에서 약물 $i$가 실제로 처방되었는지 나타내는 이진 값, $\hat{p}^{t}_{k,i}$ : VITA가 방문 $t$에서 약물 $i$를 추천할 확률
과거 방문 데이터, 현재 방문 데이터, EHR, DDI 그래프를 입력 데이터로 하고, 현재 방문에 서 필요한 약물 세트를 추천하고, 각 약물에 확률을 할당하는 예측 결과를 가진다. 실제 처방된 약물과 예측된 확률 간의 차이를 계산하여 손실 값을 반환하며, 실제 처방된 약물에 높은 확률을 할당하도록 학습하고, 처방되지 않은 약물에 낮은 확률을 할당하도록 학습한다. VITA는 학습 과정을 통해 약물 표현 $e_i$(약물 간의 관계를 반영한 고차원 벡터)과 Encoder 및 Predictor의 파라미터(Target-Aware Attention, Relevant-Visit Selection 가중치)를 최적화한다.
Evaluation
VITA의 성능을 평가하기 위해 다음 4가지의 RQs를 활용한다.
RQ1 : VITA는 최첨단 의약품 추천 시스템보다 더 정확한 추천을 제공하는가?
RQ2 : VITA의 두 가지 핵심 아이디어(Relevant-Visit Selection, Target-Aware Attention)은 의약품 추천에 효과적인가?
RQ3 : 기존 모델에 VITA의 두 가지 핵심 아이디어를 적용하면 성능이 일관되게 향상되는가?
RQ4 : VITA는 환자의 과거 방문 정보 중 어떤 데이터를 선택하는가?
Experimental Settings
Datasets
MIMIC-III, IV : 의약품 추천 연구에서 널리 사용되는 의료 데이터셋
한 번만 병원을 방문한 환자와 단일 의료 기록만 포함된 데이터를 제외하여 사용함
Competitors
Nearest, LEAP, GAMENet, MRSC, SafeDrug, COGNet
Evaluation Protocols
데이터 분할 : 각 데이터셋을 훈련, 검증, 테스트 세트를 4:1:1로 무작위 분할
성능 평가 지표 : Jaccard(추천 정확도를 측정하는 주요 지표), PRAUC(정밀도와 재현율의 균형 평가), F1 score
DDI 평가 : DDI 지표를 사용해 추천된 약물 간의 부작용 가능성을 측정
실험 결과의 신뢰성을 보장하기 위해 통계쩍 유의성(p-value가 0.001 이하)을 기준으로 평가
Results and Analysis
RQ1 : Comparison with Six Competitors.
Jaccard 지표에서 기존 모델 대비 평균 1.71%에서 3.00%의 성능 향상을 이끌어 냈으며, MIMIC-IV 데이터셋에서 더 큰 성능 향상이 관찰됨
RQ2 : Ablation Study.
Relevant-Visit Selection 효과
VITA-RS(모든 과거 방문 데이터 사용), VITA-RS_{Top-1}(현재 방문과 가장 유사한 단일 과거 방문 데이터 사용) 모델보다 VITA는 높은 정확도를 보임
Target-Aware Attention 효과
VITA-TA_{Avg.}(평균으로 정의), VITA-TA_{RNN}(RNN 기반 모듈 사용), VITA-TA_{Attn.}(Attention 매커니즘) 모델보다 VITA는 높은 정확도를 보임Relevant-Visit Selection과 Target-Aware Attention의 두 모듈이 결합된 VITA는 기존 모델과 변형 모델을 모두 능가하였다.특히 데이터가 많고 환자 방문 수가 증가하는 경우, 더 큰 성능 향상을 보였다.
RQ3 : Compatibility of VITA's Two Core Ideas.
GAMENet, MRSC, SafeDrug, COGNet에 VITA 모듈을 추가하여 모델 평가를 진행한 결과, 모든 테스트 모델에서 성능을 일관되게 향상시킴
RQ4 : Analysis of Selected Past Visits.
선택된 방문과 선택되지 않은 방문 간의 특성을 비교하여 선택 기준과 결과의 유효성을 분석하였다. 테스트 세트의 환자 데이터를 사용하여 각 과거 방문과 현재 방문 간의 Jaccard 유사도를 계산하였다. Relevant-Visit Selection 모듈에 의해 선택된 데이터와 현재 방문 간의 Jaccard 유사도 평균은 0.2164, 선택되지 않은 데이터의 Jaccard 유사도 평균은 0.1762로 계산되었다. Relevant-Visit Selection 모듈은 현재 방문과 더 높은 유사도를 가진 과거 방문 데이터를 선택하는 경향이 있다. 하지만, Jaccard 유사도가 낮더라도, 해당 데이터가 현재 방문과 잠재적 관련성을 가질 수 있기 때문에 항상 Jaccard 유사도가 높은 데이터만 선택되는 것은 아니다.
Conclusions
환자의 현재 건강 상태를 나타내기 위해 다음 2가지의 중요한 시사점을 가진다.
1. 현재 방문 정보와 각 과거 방문 정보 간의 관련성을 정확히 파악하는 것은 필수적이다.
2. 현재 방문과 관련 없는 과거 정보를 사용하는 것은 해로우며, 과거 방문 데이터 중에서 현재 방문과 관련된 것만을 선택하며, 관련성에 따라 가중치를 부여해야 한다.
이를 기반으로, Relevant-Visit Selection, Target-Aware Attention 아이디어를 적용한 새로운 의약품 추천 프레임워크 VITA를 제안하며, 이는 정확도 개선에 효과적이다. 실제 데이터셋에서 기존 6개의 최신 모델보다 일관되고 유의미하게 높은 정확도를 달성하였다.