- 목표 : Attention 기법 정리
- 논문 리뷰를 하면서 레퍼런스 통해 읽고 싶은 논문들 계속 업데이트 할 예정
Attention, Transformer
→ 현재 Attention 매커니즘은 NLP, CV, 멀티모달 등 다양한 분야에서 핵심 기술로 자리를 잡았다. 따라서 방학동안 관련한 논문들을 리뷰하며 Attention 매커니즘에 중점을 두고 개념을 확립하는 시간을 갖고자 한다.
우선,
(1) 트랜스포머 개념 정리
(2) Attention 기법을 분류하여 paper Review
| 논문명 | 분류 |
| Transformers: Attention Is All You Need(2017) | Attention 기초 |
| FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (2022) | Attention 연산의 메모리 및 속도 최적화. |
| Sparse Transformers: Scaling Transformers to 1M Tokens (2019) | Sparse Attention |
| Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context (2019) | Hierarchical Attention |
| Squeeze-and-Excitation Networks (2017) | Attention in Vision |
| Stand-Alone Self-Attention in Vision Models(2019) | |
| Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting (2021) | Attention in Time-Series |
'Paper Review > Paper list' 카테고리의 다른 글
| [Paper List] Attention 최적화 기법 공부 (0) | 2025.03.21 |
|---|
