분류 전체보기52 [논문 리뷰 - FlashAttention] FlashAttention - Fast and Memory-Efficient Exact Attention with IO-Awareness (NIPS 2022) 본 포스팅은 "FlashAttention - Fast and Memory-Efficient Exact Attention with IO-Awareness (NIPS 2022)"을 Review한 것으로, 해당 강의를 통해 이해하는데 많은 도움을 받았습니다. (+ 자료 첨부) IntroductionAttnetion 연산의 최적화를 위한 paper의 Intro에서는 Transformer의 한계를 언급한다. 본 논문에서도 역시 Transformer의 한계인 긴 문맥을 처리하는데 발생하는 시간과 메모리 복잡도의 제곱 증가를 지적한다. 따라서 빠르고 메모리 효율적인 Attn을 통해 Transformer의 긴 시퀀스 처리 시 직면하는 실행시간과 메모리 문제를 해결해야 한다. 당시의 기존 방법들은 approximati.. 2025. 3. 21. [Paper List] Attention 최적화 기법 공부 한 학기 동안 Attention 최적화와 관련한 공부를 해보고자 한다.PaperFlashAttention - Fast and Memory-Efficient Exact Attention with IO-Awareness (NIPS 2022)FlashAttention2 - Faster Attention with Better Parallelism and Work Partitioning (NIPS 2023)Transformers are RNNs : Fast Autoregressive Transformers with Linear Attention (ICML 2020) 2025. 3. 21. [논문 리뷰 - Transformer] Attention is All You Need 뿌시기 논문명 : Attnention is All You Need저자 : Vasawani et al.출간지/발간일 : NIPS 2017 한참 전에 읽어두었던 논문이지만 귀찮아서 미루고 미루다... 최근에 좋은 기회가 생겨 다시 읽게되어 세세하게 정리하며 포스팅을 해본다. 이 논문은 현재 NLP, CV등 다양한 분야에서 활용되고 있는 Transformer 구조의 시작이 되는 논문으로, 딥러닝을 공부하는 사람이라면 반드시 한 번은 읽어봐야할 랜드마크같은 논문이다. 처음 공부하는 자세로 하나하나 이해할 수 있도록 열심히 정리를 해보았다..!I. Introduction⚠️ 기존 모델의 한계 ⚠️ - 당시 NLP에서 SOTA를 기록하던 모델은 RNN, LSTM, GRU와 같은 순환 신경망 기반 모델들이었음 [순환 신.. 2025. 3. 21. [Pytorch] Pre-traing Vision Transformer로 Fine-tuning : 이미지 분류기 🚀 Model - Pytorch에서 제공하는 ViT model 사용(Vit_b_16) - Link : Pre-trained weights, github code🚀 Dataset- Kaggel의 Animal-10 dataset을 강아지와 고양이 이미지만 뽑아서 사용🚀 Task- 강아지와 고양이 이미지를 분류 1. 전체 실행 흐름 (Main)전체 코드의 흐름은 아래와 같다.def main(): # 데이터 준비 FINE_TUNE_N = 1024 # 각 클래스별로 fine tuning에 사용할 이미지 수 PREDICT_N = 100 # 예측에 사용할 전체 이미지 수 prepare_fine_tuning_dataset(animal_dir, fine_tuning_dir, F.. 2025. 3. 4. [Transformer] C로 Transformer 구현하기 Project GoalTransformer를 C로 구현하기- 검증 방법 : basic이 되는 python code와의 output 비교를 통해 정확도 평가What is the basis of this project? Architecture : TransformerPaper : Attention is All You Need Transformer Pytorch Code : harvaldnlp (+) My github code : https://github.com/je0nsye0n/Transformer_C Pytorch Code 수정기본적인 틀은 Pytorch코드와 C코드의 output이 같은지 확인하는 것이다.이 조건이 성립되기 위해서는 동일한 아키텍처를 설계해야 하며, Input과 Linear 연산에서.. 2025. 2. 26. [논문 리뷰 - Pruning] Rethinking the value of network pruning (2019) 논문명 : Rethinking the value of network pruning저자 : Zhuang Liu1∗ , Mingjie Sun2∗†, Tinghui Zhou1 , Gao Huang2 , Trevor Darrell1 1University of California, Berkeley 2Tsinghua University출간지/발간일 : ICLR 2019 본 논문은 프루닝을 다루는 논문이나, 새로운 관찰 결과를 제시한다. 최신 구조화 프루닝 알고리즘에서, 프루닝된 모델을 파인튜닝한 결과는 해당 모델을 무작위로 초기화한 가중치로 훈련한 결과와 비교해도 비슷하거나 오히려 성능이 낮다는 것이다. 이 말은 다음과 같은 것들을 시사한다.1. 효율적인 최종 모델을 얻기 위해 대규모의 과잉 파라미터화된 모델을 훈.. 2025. 2. 13. 이전 1 2 3 4 ··· 9 다음
