CrossCLR Cross-modal Contrastive Learning For Multi-modal Video Representations

🧐 나의 생각 / 비판 (My Thoughts / Critiques)

이 논문은 서로 다른 모달리티를 합치기 전에, 각 모달리티 내부의 의미 구조부터 탄탄하게 만들어야 한다고 강조함

CrossCLR의 모달리티 내 정렬(Intra-modality Alignment) 손실을 적용하면, 단순히 시각과 촉각을 연결하는 것을 넘어 각 데이터의 표현 공간 자체를 더욱 정교하게 만들 수 있다.

조인트 임베딩 시 발생할 수 있는 고질적인 문제를 해결할 방법

문제 상황 예시:
- 데이터 쌍 A: (나무 탁자 이미지, “거칠다” 형용사, 특정 질감의 시계열 데이터)
- 데이터 쌍 B: (사포 이미지, “거칠다” 형용사, A와 거의 동일한 질감의 시계열 데이터)
기존의 일반적인 대조 학습 방법은 A와 B가 서로 다른 샘플이라는 이유로, ‘나무 탁자’ 이미지와 ‘사포’ 이미지를 임베딩 공간에서 서로 밀어내도록 학습한다. 하지만 촉각적으로는 “거칠다”는 공통점을 가지므로, 이는 우리가 원하는 방향이 아니며 이것이 바로 이 논문에서 지적하는 **의미 충돌(semantic collision)**이다.
CrossCLR의 해결책 적용: 논문에서 제안한 ‘영향력 있는 샘플(influential samples)’ 개념을 활용
- 예를 들어, “거칠다”라는 형용사나 특정 시계열 패턴을 공유하는 샘플들은 서로 강한 연결성을 가진다.
- CrossCLR의 방식처럼, 학습 과정에서 이러한 샘플들을 **부정 샘플 집합에서 제외(pruning)**하면, 모델은 시각적으로는 다르더라도 촉각적으로 유사한 샘플들을 더 이상 밀어내지 않는다.
- 이를 통해 ‘시각 정보는 다르지만 촉각 정보는 동일한’ 복합적인 관계를 임베딩 공간에 효과적으로 표현할 수 있게 된다.

기존 다중 모달 대조 학습(contrastive learning)의 두 가지 주요 문제 해결을 목표로 합니다.
- 모달리티 내(Intra-modality) 유사성 간과: 서로 다른 모달리티(예: 비디오와 텍스트)를 연결하는 데만 집중하고, 동일 모달리티 내에서 의미가 비슷한 샘플끼리 가깝게 만드는 과정은 고려하지 않는 문제를 해결하고자 합니다.
- ‘거짓 부정(False Negative)’ 문제: 내용이 유사함에도 불구하고 긍정 쌍(positive pair)이 아니라는 이유만으로 부정 샘플(negative sample)로 취급되어, 모델이 오히려 의미적으로 비슷한 샘플들을 서로 밀어내도록 학습하는 문제를 해결하고자 합니다.
궁극적으로, 모달리티 간 그리고 모달리티 내의 의미 구조를 모두 잘 보존하는

효율적이고 풍부한 결합 임베딩 공간(joint embedding space)을 학습하는 것이 최종 목표입니다.

주로 두 개의 공개 비디오-텍스트 데이터셋을 사용하여 실험을 진행했습니다.
- YouCook2: 89가지 요리법에 대한 2,000개의 instructional video와 각 비디오 클립에 대한 텍스트 설명으로 구성됩니다.
- LSMDC: 202편의 영화에서 추출한 118,081개의 짧은 비디오 클립과 이에 해당하는 캡션(대본 또는 오디오 설명)으로 구성됩니다.

기존의 SOTA 비디오-텍스트 학습 모델인 COOT의 계층적 트랜스포머(Hierarchical Transformer) 구조를 기반으로 합니다.
비디오와 텍스트 각각을 처리하는 **두 개의 스트림(two-stream)**으로 구성되어 있습니다.
각 스트림은 지역적(Local) 트랜스포머와 전역적(Global) 트랜스포머의 2단계 구조를 가집니다.
- Local Transformer: 비디오 클립(clip) 또는 텍스트 문장(sentence) 단위의 임베딩을 생성합니다.
- Global Transformer: Local 임베딩들을 입력받아 전체 비디오(video) 또는 단락(paragraph) 단위의 최종 임베딩을 생성합니다.
이 논문의 핵심은 아키텍처 자체의 독창성보다는, 이 구조 위에서 작동하는 새로운 손실 함수(Loss Function)인 CrossCLR을 제안한 것입니다.

비디오-텍스트 검색(Retrieval) 성능 SOTA 달성: YouCook2와 LSMDC 데이터셋 모두에서 텍스트-비디오 검색 작업의 기존 최고 성능(SOTA)을 큰 차이로 경신했습니다.
비디오 캡셔닝(Captioning) 성능 향상: CrossCLR로 학습한 임베딩을 비디오 캡셔닝 모델에 적용했을 때, YouCook2 데이터셋에서 SOTA 성능을 달성하여 학습된 임베딩의 우수성을 입증했습니다.
일반성(Generality) 입증: 제안된 CrossCLR 손실 함수가 비디오-텍스트 쌍뿐만 아니라, 다른 종류의 모달리티 쌍(예: 외형-행동, 장면-객체) 에서도 일관되게 성능을 향상시키는 것을 보여주며 방법론의 높은 범용성을 증명했습니다.