LSTM2 [논문 리뷰] Sequence to Sequence Learning with Neural Networks(2014) I. Introduction# DNN의 우수성과 한계DNN은 speech, visual의 여러 분야에서 성능이 좋으며, modest number of step에서 parallel 하게 진행 가능, supervised backpropagation으로 훈련 가능하다는 큰 강점을 지니고 있다. 그러나, input과 target이 고정 차원의 벡터로 encoding 되는 문제에서만 적용이 가능하다는 큰 한계점을 갖고 있다.이는 많은 문제들이 사전에 알려지지 않은 시퀀스로 표현되기 때문에 큰 문제가 될 수 있다. (= 시퀀스를 갖는 환경에서는 적용 어려움) 따라서, 저자는 본 한계점을 극복하기 위하여 LSTM(Long Short Term Memory) 아키텍처를 통해 일반적인 sequence to sequence.. 2024. 8. 5. [기계학습 - 오일석] 8장. 순환신경망 8-1. 순차 데이터의 표현시간성 데이터 : 특징이 순서를 갖는 데이터를 의미하며 "순차데이터(sequential data)"라고도 부른다. 시간성 데이터의 특징 : 동적이며 가변 길이를 갖는다.순환 신경망(Recurrent Neural Networks)과 LSTM : 순환 신경망은 시간성 정보를 활용하여 순차데이터를 처리하는 효과적인 학습 모델이다. 대표적인 순차 데이터는 문자열이다. 그렇다면 문자열을 식(8.1)과 같이 표현하기 위해서는 어떻게 해야할까? → "사전(dictionary or term)"을 사용하는 것이다.사전 구축 방법 : 사람이 사용하는 단어를 모아 구축하거나 주어진 말뭉치를 분석하여 단어를 자동추출하여 구축사전을 사용한 텍스트 순차 데이터의 표현 방법A. 단어 가방(bag of.. 2024. 6. 18. 이전 1 다음
