pre-training3 [논문 리뷰] Pre-trained Models for Natural Language Processing: A Survey(2020) [2] 논문명: Pre-trained Models for Natural Language Processing: A Survey저자: Xipeng Qiu, Tianxiang Sun, Yige Xu, Yunfan Shao, Ning Dai & Xuanjing Huang출간지: SCIENCE CHINA Technological Sciences발간일: 23 Jun 2021 PTM model에 대한 survey 논문 두번째 리뷰 포스팅이다. 이전 포스팅은 아래 링크를 남겨두었다.PTM에 대한 개념이 정리되어 있지 않다면 아래의 글을 읽고오는 것을 추천한다. 2024.08.22 - [AI/Deep Learning] - [Deep Learning] Pre-training이란?(Transfer Learning, Fine tun.. 2024. 8. 23. [Deep Learning] Pre-training이란?(Transfer Learning, Fine tuning) NLP에 대한 논문을 읽던 중, PTM에 대하여 정확하게 개념을 정리하는 것이 좋을 것 같아서 본 포스팅을 작성하게 되었다. 'Pre-training은 전이 학습과 파인 튜닝을 거친다' 라는 큰 틀로만 이해를 했고, 그 자세한 과정을 정확하게 이해하지 못 했다. 서칭을 하면서 잘 정리가 된 포스팅들을 참고하였다. [1] Pre-training(사전 훈련)Pre-training이란, 임의의 값으로 초기화하던 모델의 가중치들을 다른 문제(task)에 학습시킨 가중치들로 초기화하는 방법이다. - 보통 dataset이 적을 때 주로 사용되며, 다른 작업의 방대한 데이터를 사용하여 모델을 사전학습시키는 것이다. - Pre-trained 모델을 비슷한 task에 대해 새로운 모델을 만들 때 사용하면 학습 시간을 .. 2024. 8. 22. [논문 리뷰] Pre-trained Models for Natural Language Processing: A Survey(2020) [1] 논문명: Pre-trained Models for Natural Language Processing: A Survey저자: Xipeng Qiu, Tianxiang Sun, Yige Xu, Yunfan Shao, Ning Dai & Xuanjing Huang 출간지: SCIENCE CHINA Technological Sciences 발간일: 23 Jun 2021 NLP 모델을 공부하면서 Pre-trained 모델 논문을 읽어보기 이전, 관련한 survey paper를 읽고서 공부하는 것이 더 좋을것이라 판단이 되어 해당 논문을 리뷰하게 되었다. 본 포스팅에서는 NLP의 발전 과정과 PMT에 대한 간략한 소개 위주로 진행 된다. 입문하는 사람들이 읽기에 좋은 논문이라고 생각한다. Survey 논문인 만큼 내.. 2024. 8. 16. 이전 1 다음
