HapticGen Generative Text-to-Vibration Model for Streamlining Haptic Design

🧐 나의 생각 / 비판 (My Thoughts / Critiques)

전문 기술과 많은 시간이 소요되는 기존 햅틱 디자인 프로세스의 비효율성을 해결하는 것을 목표로 합니다.
대규모 데이터셋 부재라는 햅틱 분야의 고질적인 문제를 해결하여, 텍스트 설명만으로 고품질의 진동(vibrotactile) 햅틱 신호를 생성하는 최초의 생성형 AI 모델을 개발하고자 합니다.
이를 통해 햅틱 콘텐츠 제작 과정을 간소화하고 , 디자이너의 아이디어 구상(ideation)을 가속하며 , 햅틱 디자인의 진입 장벽을 낮추는 것을 지향합니다.

초기 데이터셋 구축: 대규모 햅틱 데이터가 없기 때문에, 약 40만 개의 오디오-텍스트 쌍으로 이루어진 WavCaps 오디오 데이터셋을 기반으로 사용했습니다.
- 전처리: 햅틱과 관련 없는 ‘음성(speech)’ 데이터를 필터링하여 약 33만 5천 개의 샘플을 확보했습니다.
- 데이터 증강: LLM(Llama-3-8B)을 사용하여 기존 텍스트 캡션을 ‘촉각 중심의 표현’으로 변환 및 확장했습니다.
- 오디오-햅틱 변환: 전처리된 오디오 신호를 진동 신호(8kHz, 8-bit)로 변환하여 초기 훈련 데이터셋을 구축했습니다.
인간 평가 데이터셋 수집: 모델의 성능을 인간의 선호도에 맞게 개선하기 위해 두 종류의 데이터셋을 직접 구축했습니다.
- 전문가 평가 데이터셋: 15명의 햅틱 전문가가 모델을 사용하며 생성하고 평가한 1,297개의 (프롬프트, 진동, 평가) 쌍 데이터. 이 데이터는 모델 **미세 조정(Fine-tuning)**에 사용되었습니다.
- 사용자 평가 데이터셋: 최종 A/B 테스트에서 32명의 참가자로부터 수집한 3,229개의 데이터. 향후 모델 개선을 위해 활용될 수 있습니다.

기본 구조: MusicGen 및 AudioGen v2 에서 제안된 자동회귀 트랜스포머(Autoregressive Transformer) 아키텍처를 기반으로 합니다.
주요 구성 요소:
- 텍스트 인코더: 텍스트 프롬프트를 이해하기 위해 T5-large 모델을 사용합니다.
- 신호 토크나이저: 햅틱 신호를 모델이 이해할 수 있는 토큰으로 변환하기 위해 EnCodec 모델을 8kHz 햅틱 신호에 맞게 재훈련하여 사용합니다.
- 트랜스포머 모델: 약 15억 개의 파라미터를 가진 트랜스포머 언어 모델(LM)이 텍스트 조건에 맞는 햅틱 토큰 시퀀스를 생성합니다.
미세 조정: 초기 모델의 성능을 높이기 위해, ‘전문가 평가 데이터셋’을 활용한 DPO(Direct Preference Optimization) 기법으로 미세 조정을 진행했습니다. 이를 통해 모델이 인간의 선호도에 더 부합하는 결과를 생성하도록 학습시켰습니다.

세계 최초의 텍스트-햅틱 생성 모델: 텍스트 입력만으로 다양하고 미묘한 진동 햅틱 신호를 생성하는 최초의 모델을 개발했습니다.
대규모 햅틱 데이터셋 공개: 현재까지 공개된 것 중 가장 큰 규모의 텍스트 레이블링된 햅틱 데이터셋 2종(전문가 평가, 사용자 평가)을 구축하고 공개했습니다.
우수한 성능 입증: 기존 오디오 생성 모델을 활용한 베이스라인과 비교한 A/B 테스트에서 현실감(Realism), 작업 부하(Workload), 미래 사용 의향(Future Use) 등 다수 지표에서 통계적으로 유의미하게 우수한 성능을 보였습니다.
실용성 및 확장성 제시: 햅틱 디자인의 아이디어 구상 과정을 효율화하고 , 대규모 햅틱 데이터를 수집하는 확장 가능한 방법론을 제시했습니다.