논문 리뷰7 [논문 리뷰 - Pruning] Rethinking the value of network pruning (2019) 논문명 : Rethinking the value of network pruning저자 : Zhuang Liu1∗ , Mingjie Sun2∗†, Tinghui Zhou1 , Gao Huang2 , Trevor Darrell1 1University of California, Berkeley 2Tsinghua University출간지/발간일 : ICLR 2019 본 논문은 프루닝을 다루는 논문이나, 새로운 관찰 결과를 제시한다. 최신 구조화 프루닝 알고리즘에서, 프루닝된 모델을 파인튜닝한 결과는 해당 모델을 무작위로 초기화한 가중치로 훈련한 결과와 비교해도 비슷하거나 오히려 성능이 낮다는 것이다. 이 말은 다음과 같은 것들을 시사한다.1. 효율적인 최종 모델을 얻기 위해 대규모의 과잉 파라미터화된 모델을 훈.. 2025. 2. 13. [논문 리뷰] Pre-trained Models for Natural Language Processing: A Survey(2020) [2] 논문명: Pre-trained Models for Natural Language Processing: A Survey저자: Xipeng Qiu, Tianxiang Sun, Yige Xu, Yunfan Shao, Ning Dai & Xuanjing Huang출간지: SCIENCE CHINA Technological Sciences발간일: 23 Jun 2021 PTM model에 대한 survey 논문 두번째 리뷰 포스팅이다. 이전 포스팅은 아래 링크를 남겨두었다.PTM에 대한 개념이 정리되어 있지 않다면 아래의 글을 읽고오는 것을 추천한다. 2024.08.22 - [AI/Deep Learning] - [Deep Learning] Pre-training이란?(Transfer Learning, Fine tun.. 2024. 8. 23. [논문 리뷰] Pre-trained Models for Natural Language Processing: A Survey(2020) [1] 논문명: Pre-trained Models for Natural Language Processing: A Survey저자: Xipeng Qiu, Tianxiang Sun, Yige Xu, Yunfan Shao, Ning Dai & Xuanjing Huang 출간지: SCIENCE CHINA Technological Sciences 발간일: 23 Jun 2021 NLP 모델을 공부하면서 Pre-trained 모델 논문을 읽어보기 이전, 관련한 survey paper를 읽고서 공부하는 것이 더 좋을것이라 판단이 되어 해당 논문을 리뷰하게 되었다. 본 포스팅에서는 NLP의 발전 과정과 PMT에 대한 간략한 소개 위주로 진행 된다. 입문하는 사람들이 읽기에 좋은 논문이라고 생각한다. Survey 논문인 만큼 내.. 2024. 8. 16. [논문 리뷰] NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE (2015) 논문명: Neural Machine Translation by Jointly Learning to Align and Translate저자: Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio출간지: ICLR 2015발간일: 2016.05 I. Introduction본 논문에서는 정렬과 번역을 공동 학습하는 encoder-decoder 구조를 통해 이전 접근법보다 번역 성능을 크게 향상시키는 것을 보여준다. Background과거의 Machine Translation은 다양한 sub component로 구성되어 있었고 각 component는 각각 학습되고 구성되었다. 이후로는 하나의 큰 neural network를 이용한 translation이 제안되었다. Neural M.. 2024. 8. 13. [논문 리뷰] Sequence to Sequence Learning with Neural Networks(2014) I. Introduction# DNN의 우수성과 한계DNN은 speech, visual의 여러 분야에서 성능이 좋으며, modest number of step에서 parallel 하게 진행 가능, supervised backpropagation으로 훈련 가능하다는 큰 강점을 지니고 있다. 그러나, input과 target이 고정 차원의 벡터로 encoding 되는 문제에서만 적용이 가능하다는 큰 한계점을 갖고 있다.이는 많은 문제들이 사전에 알려지지 않은 시퀀스로 표현되기 때문에 큰 문제가 될 수 있다. (= 시퀀스를 갖는 환경에서는 적용 어려움) 따라서, 저자는 본 한계점을 극복하기 위하여 LSTM(Long Short Term Memory) 아키텍처를 통해 일반적인 sequence to sequence.. 2024. 8. 5. 논문 리뷰 - Field-Programmable Gate Array Architecture for Deep Learning: Survey & Future Directions(2024) 본 논문은 DL 기반의 FPGA 관련 내용을 다룬다. FPAG를 공부하고 싶어서 서칭하던 중, 최근의 Survey 논문을 발견하게 되어 읽게 되었다. 논문의 순서는 다음과 같다.I. IntroductionII. FPGA for DL Acceleration (FPGA를 이용한 DL 가속)III. FPGA Architecture & Opportunities for DL (FPGA 아키텍처 및 DL을 위한 기회)IV. FPGA Architecture Exploration (FPGA 아키텍처 탐색)V. Enhancing Existing FPGA Fabric Blocks (기존 FPGA 패브릭 블록 향상)VI. DL-Specific FPGA Enhancements (DL-특화 FPGA 향상)VII. Hybrid .. 2024. 7. 24. 이전 1 2 다음
