fda) 뉴데이터 퓨전모델실험 재설계와 결과

4/13~ 클로드유로: 반나절 쓰니 코드 마감이다.. (다 물어봤음../)

발표까지 말해주고 클로드 용량끗..(땡큐베리망치..) 

 

근본적 재설계 필요

외부데이터(GDSC+CTRP)는 약물 수가 훨씬 많음
  GDSC: 182개 약물
  CTRP: 545개 약물
  내부: 111개 약물 (겹치는 건 일부)

→ 내부데이터 기준 combo split을
  외부데이터에 그대로 적용하면
  대부분 미매핑

올바른 설계:

외부데이터 → 자체 drug split (약물 단위)
내부데이터 → combo split (drug+암종)
퓨전       → 공통 (drug+암종) 조합으로만 평가

단, 퓨전 평가 시:
  외부 test 약물 ∩ 내부 test 조합
  = 공통 drug+암종 조합

 

외부데이터 (구조모델):
  Train: 466,256행  약물=426  FDA=1: 13.4%
  Val  :  77,564행  약물= 63  FDA=1: 17.3%
  Test : 160,958행  약물=135  FDA=1: 18.8%
  breast/colon 균형 ✅

내부데이터 (실험모델):
  Train: 624행  combo=100  FDA=1: 35.4%  breast=358  colon=266
  Val  :  74행  combo= 15  FDA=1: 36.5%
  Test : 198행  combo= 30  FDA=1: 53.0%
  drug+암종 조합 단위 split ✅

 

공통 combo: 5개 (전부 breast, 전부 FDA=1)
→ AUC 계산 불가 (단일 클래스)
→ F1/Recall만 비교 가능

퓨전 방법별 F1:
  구조모델 단독   : 0.5714
  실험모델 단독   : 0.7500
  단순 평균       : 0.7500
  가중평균 (7:3)  : 0.8889 ← 최고
  가중평균 (8:2)  : 0.7500
  가중평균 (9:1)  : 0.5714

발표용 해석 + 교수님 비판 대응

결과 스토리:

구조모델 단독 (대규모 외부데이터)
  Test AUC: 0.66
  → drug 구조만으로는 한계

퓨전 (구조 7: 실험 3)
  F1: 0.57 → 0.89 (56% 향상)
  → 실험 데이터 결합 시 성능 개선

예상 비판 & 대응:

Q. 퓨전 평가셋이 5개뿐이라 신뢰할 수 없다
A. 맞습니다. 내부 실험데이터가 breast/colon
   896행으로 제한적입니다.
   더 많은 실험데이터 축적 시 개선 가능하며,
   이는 본 연구의 한계점입니다.

Q. 공통 조합이 전부 FDA=1이라 AUC 계산 불가
A. Drug+암종 조합 기준 split 적용 결과입니다.
   FDA=0 약물의 실험데이터가 부족해서 발생한
   데이터 불균형 문제입니다.
   향후 FDA 미승인 약물 실험 데이터 확보 필요.

Q. 구조모델 AUC 0.66이 낮다
A. Drug-based split을 적용했기 때문입니다.
   랜덤 split 시 AUC 0.9+ 나오지만,
   신약(미지 약물) 예측이라는 현실적 태스크에서
   drug-based split이 더 올바른 평가 방식입니다.
   Cell line genomic feature 추가 시
   성능 향상 여지 있습니다 (future work).

Q. 과적합이 심하다 (Train 0.99 vs Test 0.66)
A. FP 2048차원 고차원 feature로 인한
   과적합입니다. 정규화(L1/L2, colsample)
   적용했으나 한계가 있습니다.
   GNN 기반 drug feature로 교체 시
   개선 가능합니다.

Q. 실험모델 성능이 낮다
A. 내부데이터 896행, colon 61행으로
   통계적으로 충분하지 않습니다.
   하지만 퓨전 시 구조모델 단독 대비
   F1 56% 향상을 보였습니다.
   실험데이터의 보완적 역할을 확인했습니다.

---

연구 의의 (발표 마무리용)

1. Drug-based split으로 데이터 누수 방지
   → 기존 연구 대비 더 현실적인 평가

2. Drug+암종 조합 label 정의
   → 암종 특화 FDA 예측 가능
   → cetuximab: colon=1, breast=0 구분

3. 대규모 외부데이터 + 소규모 실험데이터
   Late Fusion으로 성능 향상
   → 실험실 데이터의 활용 가능성 제시

4. breast/colon 암종 특화 모델
   → 범용 모델 대비 임상적 의미 높음