KCI 추가실험 및 레퓨 설명, AUC란.

(레퓨)
1. 레이트퓨전 형태 부합하는지 기존문헌 보기
2. SVM 의 일관적으로 높은 성능 해석
3. 지표에 따라 TF, AUC 등 다름~> 지표는 AUC? 그렇다면 이유
(RAG)
1. 청킹전략 세부설명
2. 스토리로 설명
3. deep v4, kimmi : 허깅 다운해서 사용해보기
4. 프롬프트 시스템에 페르소나 설정해서 결과

(kci)
1. KCI급 저널 선택: <- 논문읽을 때, 스토리라인/구성/방법론 등으로 읽고
2. 키페이퍼 3개 제출

 

지표 AUC

•AUC: 양성과 음성을 얼마나 잘 구별하는지.  <- ROC 곡선 이해: 임계값을 낮추면 모델이 웬만하면 다 양성이라고 예측하므로 TPR이 올라가지만, 동시에 FPR도 같이 올라갑니다. 반대로 임계값을 높이면 깐깐하게 예측하므로 FPR은 내려가지만 TPR도 떨어집니다.

1. AUC는 모든 임계값에서의 성능을 통합하여 평가

2. 데이터 불균형에 강함

 

우리브리스트암 소규모 데이터: 

- 해석 기준: 데이터 수가 적기 때문에 AUC 점수의 변동성(분산)이 클 수 있습니다. 보통 이 정도 규모에서는 AUC 0.7 이상이면 대략적인 변별력이 있는 것으로 보며, 0.8 이상이면 소규모 데이터 대비 매우 훌륭한 모델로 평가합니다.

 

- 소규모 불균형 데이터셋에서 AUC 사용 시 주의점데이터가 총 67개로 적은 상황에서는 AUC 점수 하나만 믿기보다 다음 사항을 반드시 검증해야 합니다.

~> 교차 검증(Cross-Validation) 필수: 데이터를 한 번만 나눠서(Train/Test) AUC를 구하면 우연히 분할이 잘 되거나 못 되었을 때 점수 왜곡이 심합니다. 반드시 Stratified k-Fold(계층별 k-겹 교차 검증)를 사용해 승인/비승인 비율을 모든 폴드에 유지하며 평균 AUC를 구해야 합니다. (데이터가 적으므로 k=5 정도가 적당합니다.)

 

추천하는말

 

다행히 우리는 0.7 소규모 데이터에서 AUC가 보장되게 나왔으며,

메타분류기 활용해서 신경망 모델을 쓸때에는 뎁스를 낮추거나 트리개수 낮추라고 과적합 막기 위해서, 

물론 교차 검증의 트레인셋에서 AUC가 높게 나옸지만, 언신약물(testset)에서도 0.7 이상으로 4개조합들이 다 나와서. 논문쓰고 있다.