딥러닝3 [Deep Learning] Pre-training이란?(Transfer Learning, Fine tuning) NLP에 대한 논문을 읽던 중, PTM에 대하여 정확하게 개념을 정리하는 것이 좋을 것 같아서 본 포스팅을 작성하게 되었다. 'Pre-training은 전이 학습과 파인 튜닝을 거친다' 라는 큰 틀로만 이해를 했고, 그 자세한 과정을 정확하게 이해하지 못 했다. 서칭을 하면서 잘 정리가 된 포스팅들을 참고하였다. [1] Pre-training(사전 훈련)Pre-training이란, 임의의 값으로 초기화하던 모델의 가중치들을 다른 문제(task)에 학습시킨 가중치들로 초기화하는 방법이다. - 보통 dataset이 적을 때 주로 사용되며, 다른 작업의 방대한 데이터를 사용하여 모델을 사전학습시키는 것이다. - Pre-trained 모델을 비슷한 task에 대해 새로운 모델을 만들 때 사용하면 학습 시간을 .. 2024. 8. 22. [기계학습 - 오일석] 5장. 딥러닝 최적화 5-1. 목적함수 : 교차 엔트로피와 로그우도딥러닝에서 모델의 학습을 위해 사용하는 목적함수(또는 손실 함수)는 모델의 예측이 실제 데이터와 얼마나 잘 일치하는지를 측정한다. 교차 엔트로피와 로그우도는 이러한 목적함수 중에서 가장 널리 사용되는 두 가지이다. 이 두 함수는 모두 모델의 예측과 실제 데이터 레이블 사이의 불일치를 수치화한다. 5-1-1. 평균 제곱 오차(Mean Squared Error, MSE)평균 제곱 오차(Mean Squared Error, MSE)는 많은 회귀 문제에서 효과적인 손실 함수로 사용되지만, 분류 문제에는 몇 가지 한계가 있다. 이러한 한계를 배경으로 교차 엔트로피 손실 함수의 장점을 이해할 수 있다.MSE는 분류문제에서 예측 확률과 실제 레이블 사이의 확률적 관계를 직접.. 2024. 5. 2. [기계학습 - 오일석] 4장. 딥러닝 기초 1980년대에 깊은 신경망과 관련한 아이디어가 등장했었다. 그러나 그레이디언트 소멸 문제, 작은 훈련집합, 과다한 계산 시간이라는 한계점에 의해서 실현이 불가능했다. 이후, 지속적인 연구를 통해 성능이 더 좋은 활성함수, 다양한 규제 기법 등을 개발하고 값싼 GPU의 등장과 인터넷으로 인한 학습 데이터 증가에 의해서 딥러닝의 가능성을 열게 되었다. 4-1. 깊은 다층 퍼셉트론(DMLP)깊은 다층 퍼셉트론(Deep Multi-Layer Perceptron, Deep MLP)은 기본적인 다층 퍼셉트론의 구조를 확장하여 더 많은 은닉 층을 포함시킨 인공신경망 모델이다. 이러한 구조는 더 복잡한 패턴과 데이터의 특징을 학습할 수 있도록 설계되었다. 4-1-2. 구조와 동작[그림4-3]이 보여주는 바와 같이 깊.. 2024. 5. 1. 이전 1 다음
