레이트 퓨전의 정의와 범위

260518 코멘트 정리

(레퓨)
1. 레이트퓨전 형태 부합하는지 기존문헌 보기
2. SVM 의 일관적으로 높은 성능 해석
3. 지표에 따라 TF, AUC 등 다름~> 지표는 AUC? 그렇다면 이유
(RAG)
1. 청킹전략 세부설명
2. 스토리로 설명
3. KCI급 저널 선택: <- 논문읽을 때, 스토리라인/구성/방법론 등으로 읽고
4. 키페이퍼 3개 제출
5. deep v4, kimmi : 허깅 다운해서 사용해보기
6. 프롬프트 시스템에 페르소나 설정해서 결과

레이트퓨전 형태:
1. 구조적피처 30만개 이상, 중복되지 않는 단일의 유니크약물기준으로 하면 각 데이터셋당 약 4~500개 수준, 실험피처가 있는 데이터셋의 경우 약 2천개~> 유니크약물기준 breast필터링: 67개
2. 이 인풋값의 수준을 맞추는 것이 필요: 기존의 설계에서는 잘 반영하지 못한다고 생각. 그럼에도 가중치 조정하여 실험피처가 우세한 결과가 나왔던 것 같음(결과 확인)
3. 변경된 레이트 퓨전 방식을 레퓨로 정의되는가?
: 
기존문헌: early vs late fusion in multimodal convolutional neural newworks.
데이터셋: rgb 비디오, optical flow, and skeleton data as modalities. 
1. multimodal fusion strategies
- using m.m approaches in a machine learning context is typically aimed at an improvement of the overall system perforamance with regard to recognition power or robustness. the idea is that individual data sources can improve different kinds of information which might resolve ambiguity, improve the overall quality of noisy data, or enable the exploitation of correaltions.

- late fusion: late fusion is the simplest and most commonly used fusion method. it merges data after a seperate full preprocessing in different unimodal streams. late fusion has a major drawback which is the very limited potential for the exploitation of cross correlations between the different unimodal data. ~> 각가의 모달리티(데이터 형태)를 독립적인 처리망(stream)에서 완전히 처리한 뒤 마지막에 하나로 합치는 모든 모델 구조를 포괄함. 
1. 레이트 퓨전(후기융합)의 핵심원리
-독립적인 처리: 텍스트, 이미지, 오디오 등의 서로 다른 데이터가 모델초반부터 섞이지 않음. 각 데이터에 가장 적합한 모델을 사용해 별도의 특성 추출 및 예측과정을 거침
-마지막 단계의 융합: 모든  unimodal(단일 모달) 프로세스가 끝난 뒤, 보통 예측결과(확률값 등)나 추출된 고차원 특징(feature) 벡터를 병합하여 최종 결정을 내림.
2. 단순합/가중합 외의 결합 방식들
-concatenation(이어붙이기): 각 스트림에서 추출된 특징 벡터들을 옆으로 길게 이어붙인 뒤, 추가적인 신경망(dense layer 등)을 통과시켜 최종판단을 내림.
-meta-classifier(메타분류기): 각 모달리티의 예측확률값들을 입력으로 받는 또 다른 머신러닝모델(svm, rf 등)을 두어 최종 결정을 학습시킴. 
-voting(투표방식): 분류 문제의 경우 각 모델이 예측한 라벨 중 가장 많이 나온 것을 최종정답으로 채택함.
-gate/attention mechanism: 모달리티별 신뢰도나 중요도에 따라 동적으로 가중치를 부여하는 신경망을 활용해 합치기도 함. 
-early fusion: e.f is more powerful since it merges data sources in the beginning of the processing. raw data can be fused directly without any pre-processing 

 

왼쪽 구조는 각 모델의 최종 예측 확률을 단순합, 가중합, LR로 결합하는 레이트 퓨전(Late Fusion)이며, 오른쪽 구조는 1차 모델의 확률값과 타 피처를 결합하여 학습하는 메타 분류기(Meta-Classifier) 및 계층적 융합 구조입니다. 두 구조는 각각 독립적인 최종 결과 결합 방식과 1차 모델 예측값을 활용한 순차적 학습 구조로 차이를 보입니다.

~> 두 구조 모두 넓은 의미에서 레퓨 범주에 포함. 

최종예측확률을 도출하는 결합방식의 차이가 있음. 

~> 레퓨의 중요한 기준: 각 모달리티가 독립된 스트림(full chain)을 거쳐 고차원 피처(확률값 등)를 뽑아낸 뒤 결합하는가?

두 구조 모두 유효성, 독성, 구조 등 각각의 데이터가 중간에 서로 섞이지 않고, 각자 끝까지 처리된 후 마지막 단계에서 만나기 때문에 레이트 퓨전맞.

~> 우측구조: 왼쪽방식보다 모달리티 간의 관계(예: 구조적으로 이런 특성 있으면서 유효성/독성 피처가 이럴 때의 결과)를 메타 분류기가 조금더 학습할 수 있다.