AMAQA A Metadata-based QA Dataset for RAG Systems

RAG 검색 품질을 극대화하기 위해, 시스템의 연산 비용이 허용하는 한도 내에서 LLM 기반 시맨틱 메타데이터를 청킹에 통합하는 것이 효과적이다.

논문 3줄 요약 (Three-Line Summary)

핵심 제안: RAG 시스템 평가 시 텍스트와 메타데이터(시간, 토픽, 감성 등)를 함께 고려하는 새로운 QA 벤치마크 ‘AMAQA’ 제시.
주요 성과: 메타데이터를 단순 텍스트가 아닌 필터로 명시적으로 활용할 때 RAG 시스템 정확도가 0.12에서 0.61로 크게 향상됨을 입증.
의의: 메타데이터 기반 검색 및 재정렬, 반복적 컨텍스트 확장 등을 통해 정확도 0.75를 달성, 향후 컨텍스트 인식 QA 시스템 연구의 기반 마련.

기존 RAG (Retrieval-Augmented Generation) 시스템 벤치마크가 텍스트 기반 입력에만 중점을 두고 메타데이터 통합이 부족한 한계 지적.
텍스트와 메타데이터(타임스탬프, 토픽, 감성 등)를 결합하여 RAG 시스템을 평가할 수 있는 새로운 오픈 액세스 QA 데이터셋 ‘AMAQA’ 제시.
메타데이터 활용이 RAG 시스템 성능에 미치는 영향(RQ1) 및 리트리버/생성기 구성 요소 개선이 전체 성능을 향상시키는지(RQ2) 탐구.
사이버 보안, 인텔리전스 등 대용량 데이터의 신속한 분석이 필요한 분야에서 메타데이터 기반 QA 시스템 연구 발전을 위한 기반 제공.

AMAQA 데이터셋: 26개 공개 텔레그램 그룹에서 수집한 약 110만 개의 영어 메시지로 구성.
데이터 수집 기간: 2024년 6월 13일 ~ 8월 13일.
풍부한 메타데이터 및 레이블:
- 메타데이터: 타임스탬프, 채팅 그룹명 등.
- 자동 생성 레이블: 58개 토픽 (GPT-4o, BERTTopic 활용), 7가지 감정 (Ekman 모델 기반), 독성 지표 (Perspective API 활용: 독성, 모욕, 위협 등).
QA 페어: 전문가(어노테이터 및 심사관)의 2단계 수동 검증을 거친 450개의 고품질 QA 페어 포함.
데이터 특성: 러시아-우크라이나 갈등, 미국 선거 등 지정학적 주제에 편중. ‘분노(Anger)’ 감정이 두드러지며 편향된 담론 반영.

본 논문은 새로운 단일 모델을 제안하기보다, AMAQA 데이터셋을 평가하기 위한 여러 RAG 아키텍처를 비교 및 분석함.
베이스라인 모델:
1. Vanilla RAG: 메타데이터를 텍스트에 임베딩하여 처리.
2. RAG with Metadata Filter: LLM(Query Creator)이 자연어 질문을 구조화된 쿼리(텍스트 + 메타데이터 필터)로 변환하여 검색.
3. Re^2G: 메타데이터 필터링 RAG + 검색 결과 재정렬(Reranker) 단계 추가.
평가된 고급 접근법:
1. Iter-Re^2G: Re^2G 기반, ‘I don’t know’ 응답 시 다음 top-n 문서로 반복(슬라이딩 윈도우)하는 반복적 컨텍스트 확장 적용.
2. Re^2G with Noise: Re^2G의 컨텍스트에 의도적으로 관련 없는 ‘노이즈’ 문서 주입.
3. Iter-Re^2G with Noise: 반복적 컨텍스트 확장과 노이즈 주입 전략 결합.

메타데이터 필터링의 중요성 입증 (RQ1): 메타데이터를 단순 텍스트로 임베딩한 Vanilla RAG(정확도 0.12) 대비, 메타데이터 필터링 적용 시 정확도 0.61로 대폭 향상.
리트리버/생성기 최적화 (RQ2):
- 재정렬(Re^2G) 단계 도입으로 ‘Lost-in-the-Middle’ 현상 완화, 정확도 0.72로 향상.
- 반복적 컨텍스트 확장(Iter-Re^2G) 적용 시 정확도 0.75 달성.
최고 성능 달성: Iter-Re^2G with Noise 아키텍처(반복 + 노이즈 주입)가 최고 정확도(0.75) 및 NEM 점수(0.54) 기록.
메타데이터를 활용한 구조화된 컨텍스트가 RAG 시스템 정확도 향상에 결정적임을 실증.