Financial Report Chunking for Effective Retrieval Augmented Generation

🧐 나의 생각 / 비판 (My Thoughts / Critiques)

• 구조적 요소를 인식해서 청킹을 하면 기본 고정 크기 방식보다 좋다.
• 이것도 이론적으로 당연히 생각하던 내용이긴 하다.
• 그래도 그걸 실험으로 증명해낸 논문

---

3줄 요약

• 기존의 고정 크기 청킹 방식의 한계를 지적하고, 문서의 구조적 ‘요소’(제목, 표 등)를 인식해 청크를 생성하는 새로운 RAG 접근법을 제안함.

• 금융 보고서(FinanceBench) 대상 실험 결과, 제안 방식이 기존 고정 크기 방식보다 월등히 높은 Q&A 정확도(53.19%)를 달성하며 최고 성능을 기록함.

• 문서 구조를 보존하는 청킹이 수동 튜닝 없이도 RAG 성능을 최적화할 수 있는 효과적인 전략임을 입증함.

1. 목표 (Goal)

이 연구의 목표는 기존의 고정 크기나 문단 단위 청킹 방식이 문서의 구조적 정보를 무시하는 한계를 지적하고, 문서의 구조적 ‘요소’(element)를 기반으로 청킹하는 새로운 전략을 제안하는 것입니다. 특히, 제목, 표, 리스트 등 문서의 논리적 단위를 그대로 보존하는 청킹을 통해 금융 보고서와 같은 복잡한 문서에 대한 RAG 시스템의 검색 및 답변 정확도를 크게 향상시키는 것을 목표로 합니다.

---

2. 데이터 (Data)

실험에는 실제 금융 시나리오의 복잡한 질문들로 구성된 ‘FinanceBench’ 벤치마크 데이터셋이 사용되었습니다. 이 데이터셋은 총 84개의 고유한 미국 증권거래위원회(SEC) 금융 보고서(10-K, 10-Q 등)와 이에 대한 141개의 질의응답 쌍으로 구성됩니다. 문서들의 평균 페이지 수가 147쪽에 달하고 정답의 근거가 문서 전반에 흩어져 있어, RAG 시스템의 성능을 평가하기에 매우 적합한 데이터셋입니다.

---

3. 모델 구조 (Model Architecture)

이 연구는 표준적인 RAG(검색 증강 생성) 파이프라인을 기반으로 합니다.

• 문서 처리 및 청킹: 핵심 기술로, Unstructured 라이브러리의 ‘Chipper’ 모델을 사용하여 문서의 시각적, 구조적 요소를 식별합니다. 이 모델은 문서 내의 표(Table), 제목(Title), 서술 텍스트(Narrative Text) 등을 먼저 인식한 후, 이 요소들을 중심으로 의미가 훼손되지 않도록 청크를 생성합니다.

• 인덱싱 및 검색: sentence-transformer 모델로 각 청크를 임베딩하고, Weaviate 벡터 데이터베이스에 저장하여 질문과 가장 유사한 상위 10개의 청크를 검색합니다.

• 답변 생성: 검색된 청크와 원본 질문을 GPT-4 모델에 입력하여 최종 답변을 생성합니다.

---

4. 주요 성과 (Key Achievements)

• 최고 수준의 Q&A 정확도 달성: 제안된 ‘요소 기반 청킹’ 전략은 53.19%의 Q&A 정확도를 기록하며, 기존의 모든 고정 크기 청킹 방식(최대 48.23%)을 크게 뛰어넘는 최고 성능(State-of-the-art)을 달성했습니다.

• 튜닝 없는 일반화 가능성: 이 방식은 문서의 고유한 구조를 자동으로 인식하여 청크를 생성하므로, 문서 종류마다 최적의 청크 크기를 수동으로 조정할 필요가 없는 일반화된 접근법임을 증명했습니다.

• 일관되고 높은 검색 품질: 기존 방식이 정답이 있는 ‘페이지’는 잘 찾아도 정작 필요한 ‘문맥’을 놓치는 반면, 요소 기반 청킹은 검색 정확도와 최종 답변 정확도 모두에서 일관되게 높은 성능을 보였습니다.

• 비용 및 속도 효율성: 더 적은 수의 청크로도 최고의 성능을 달성하여, 벡터 데이터베이스의 인덱싱 비용과 검색 지연 시간을 줄이는 효율성을 입증했습니다.