A TIME SERIES IS WORTH 64 WORDS LONG-TERM FORECASTING WITH TRANSFORMERS

🧐 나의 생각 / 비판 (My Thoughts / Critiques)

• 단변량보단 다변량 데이터를 처리하는데 더 중점을 두는 모델이긴 하다.
• ViT 에서 아이디어를 따와서 시계열에 적용해본게 좋은 시도였던 것 같다.
• 어떤 분야던 분할 벡터 계산은 필수인가보다.
• Mamba의 조상격 모델

---

요약

• 핵심 제안: 시계열을 개별 시점이 아닌 ‘패치(Patch)’ 단위로 분할하고, 다변량 데이터의 각 채널(변수)을 독립적으로 처리하는 ‘PatchTST’ 모델 제안

• 주요 성과: 기존 트랜스포머 모델 및 강력한 선형 모델을 능가하는 SOTA 예측 정확도를 달성했으며, 패칭을 통해 계산 효율성을 크게 향상시킴

• 의의: 간단한 설계 변경만으로 시계열 예측 분야에서 트랜스포머의 효용성을 재입증하고, 자기 지도 학습 및 전이 학습에서도 뛰어난 잠재력을 보임

---

1. 목표 (Goal)

이 연구의 주된 목표는 기존 트랜스포머(Transformer) 기반 시계열 예측 모델들의 한계를 극복하고, 간단하면서도 효과적인 새로운 설계 방식을 제안하여 시계열 예측 분야에서 트랜스포머의 효용성을 다시 입증하는 것입니다. 최근 연구에서 단순한 선형 모델이 복잡한 트랜스포머 모델들을 능가하는 현상이 발생하며 트랜스포머의 유용성에 대한 의문이 제기되었는데 , 본 연구는 이러한 문제에 답하고자 합니다. 이를 위해 시계열 데이터의 지역적 의미 정보(local semantic information)를 더 잘 포착하고, 긴 시퀀스에 대한 계산 비효율성 문제를 해결하며, 자기 지도 학습(self-supervised learning)을 통한 강력한 표현 학습 능력을 갖춘 모델을 설계하는 것을 목표로 합니다.

---

2. 데이터 (Data)

모델의 성능 평가를 위해 8개의 널리 사용되는 공개 벤치마크 데이터셋을 활용했습니다.

• 주요 데이터셋: Weather, Traffic, Electricity, ILI 및 4가지 ETT(Electricity Transformer Temperature) 데이터셋(ETTh1, ETTh2, ETTm1, ETTm2)이 포함됩니다.

• 데이터 특징: 이 데이터셋들은 다변량(multivariate) 시계열 데이터입니다. 특히 Weather(21개 변수), Traffic(862개 변수), Electricity(321개 변수) 데이터셋은 변수의 수가 매우 많아 모델이 과적합(overfitting)될 가능성이 낮고, 따라서 더 안정적이고 신뢰할 수 있는 성능 평가가 가능합니다.

---

3. 모델 구조 (Model Architecture)

모델의 이름은 **PatchTST (Patch Time Series Transformer)**이며, 표준 트랜스포머 인코더를 핵심 골격으로 사용합니다. 구조의 핵심은 다음 두 가지 설계에 있습니다.

• 채널 독립성 (Channel-Independence): 다변량 시계열 데이터를 입력받으면, 각 변수(채널)를 독립적인 단일 시계열로 분리합니다. 분리된 각 채널은 동일한 트랜스포머 가중치를 공유하며 독립적으로 처리된 후, 결과가 다시 합쳐집니다.

• 패칭 (Patching): 각 단일 채널 시계열은 개별 시점(time point)이 아닌, 일정 길이(P)와 간격(S)을 갖는 ‘패치(patch)’ 단위로 분할됩니다. 이 패치들이 트랜스포머의 입력 토큰(token)으로 사용됩니다. 이 방식은 입력 토큰의 수를 약 L/S (L: 원본 시계열 길이)로 줄여, 어텐션 메커니즘의 계산량과 메모리 사용량을 제곱에 비례하여 크게 감소시킵니다.

• 자기 지도 학습 구조: 자기 지도 학습 시에는 입력 패치 중 일부(예: 40%)를 무작위로 마스킹(0으로 처리)한 후, 모델이 원래의 패치를 복원하도록 학습합니다.

---

4. 주요 성과 (Key Achievements)

• 성과 1: SOTA 장기 예측 성능 달성

  • PatchTST는 8개 벤치마크 데이터셋 모두에서 기존의 SOTA 트랜스포머 기반 모델들과 강력한 베이스라인인 DLinear 모델을 큰 차이로 능가했습니다.

  • 구체적으로 PatchTST/64 모델은 기존 트랜스포머 모델들 대비 평균 제곱 오차(MSE)를 21.0% 절감하는 성과를 보였습니다.

• 성과 2: 압도적인 계산 효율성 및 긴 과거 데이터 활용 능력

  • 패칭 기법을 통해 어텐션 연산의 복잡도를 제곱으로 줄여 학습 속도를 획기적으로 개선했습니다. 예를 들어, Traffic 데이터셋에서 패칭을 적용했을 때 학습 시간이 22배 단축되었습니다.

  • 다른 트랜스포머 모델들과 달리, PatchTST는 참조하는 과거 데이터(look-back window)의 길이가 길어질수록 성능이 꾸준히 향상되는 것을 입증하여, 긴 시퀀스로부터 효과적으로 정보를 학습하는 능력을 보였습니다.

• 성과 3: 뛰어난 표현 학습 및 전이 학습 능력

  • 자기 지도 학습을 통해 사전 학습된 PatchTST 모델은, 처음부터 지도 학습으로만 훈련된 모델보다 더 우수한 예측 성능을 보였습니다.

  • 하나의 데이터셋(Electricity)에서 사전 학습된 모델을 다른 데이터셋에 전이하여 미세 조정(fine-tuning)했을 때에도 SOTA 수준의 예측 정확도를 달성하여, 모델의 강력한 일반화 및 전이 학습 능력을 증명했습니다