머신러닝8 [기계학습 - 오일석] 8장. 순환신경망 8-1. 순차 데이터의 표현시간성 데이터 : 특징이 순서를 갖는 데이터를 의미하며 "순차데이터(sequential data)"라고도 부른다. 시간성 데이터의 특징 : 동적이며 가변 길이를 갖는다.순환 신경망(Recurrent Neural Networks)과 LSTM : 순환 신경망은 시간성 정보를 활용하여 순차데이터를 처리하는 효과적인 학습 모델이다. 대표적인 순차 데이터는 문자열이다. 그렇다면 문자열을 식(8.1)과 같이 표현하기 위해서는 어떻게 해야할까? → "사전(dictionary or term)"을 사용하는 것이다.사전 구축 방법 : 사람이 사용하는 단어를 모아 구축하거나 주어진 말뭉치를 분석하여 단어를 자동추출하여 구축사전을 사용한 텍스트 순차 데이터의 표현 방법A. 단어 가방(bag of.. 2024. 6. 18. [기계학습 - 오일석] 7장. 준지도 학습과 전이 학습 7-1. 표현 학습의 중요성기계학습에서는 좋은 표현을 하는 것이 굉장히 중요하다.why?) 기계 학습의 능력을 확장하기 때문 - 그림을 통해서 원래는 분류할 수 없었던 데이터들을 공간 변환을 통해서 분류가 가능해진 것을 확인할 수 있다. - 오토인코더(AutoEncoder) : input과 output이 동일한 값을 갖도록 만든 신경망 구조위에서 설명했던 바와 같이 좋은 표현하기 위해서는 본 섹션에서 제시되는 방법으로 매니폴더가 있다.이때, 오토인코더의 매핑 과정에서 발생하는 데이터의 내재된 구조와 패턴을 포착하는 방식이 매니폴더에서 활용이 된다. Manifold Learning오토인코더의 목적은 차원 축소하는 것인데, 이는 Manifold learning의 목적과 동일하다. - 매니폴드의 목적1. 데이.. 2024. 6. 18. [기계학습 - 오일석] 6장. 비지도 학습 6-1. 비지도 학습- 비지도 학습(Unsupervised Learning) : 레이블이 지정되지 않은 데이터로부터 패턴이나 구조를 발견하는 머신러닝의 한 방법이 학습 방식에서는 입력 데이터만 주어지고, 정답 레이블이나 보상 함수 없이 데이터의 숨겨진 특징이나 구조를 모델 스스로 찾아내야 한다. 이전에 등장하였던 지도 학습과의 비교를 보여주는 [그림6-1]을 통해 더욱 쉽게 이해할 수 있을 것이다. 주어지는 훈련집합은 기계 학습이 가장 유용하게 활용할 핵심 정보이다. 하지만 훈련집합은 명시적인 정보 뿐만 아니라 세상의 일반적인 규칙으로부터 얻을 수 있는 암시적인 정보도 있다. 이러한 정보를 사전 지식(prior knowledge)라고 하며, 기계 학습에서 사전 지식을 얼마나 잘 활용하느냐에 따라 성능이 .. 2024. 6. 18. [기계학습 - 오일석] 5장. 딥러닝 최적화 5-1. 목적함수 : 교차 엔트로피와 로그우도딥러닝에서 모델의 학습을 위해 사용하는 목적함수(또는 손실 함수)는 모델의 예측이 실제 데이터와 얼마나 잘 일치하는지를 측정한다. 교차 엔트로피와 로그우도는 이러한 목적함수 중에서 가장 널리 사용되는 두 가지이다. 이 두 함수는 모두 모델의 예측과 실제 데이터 레이블 사이의 불일치를 수치화한다. 5-1-1. 평균 제곱 오차(Mean Squared Error, MSE)평균 제곱 오차(Mean Squared Error, MSE)는 많은 회귀 문제에서 효과적인 손실 함수로 사용되지만, 분류 문제에는 몇 가지 한계가 있다. 이러한 한계를 배경으로 교차 엔트로피 손실 함수의 장점을 이해할 수 있다.MSE는 분류문제에서 예측 확률과 실제 레이블 사이의 확률적 관계를 직접.. 2024. 5. 2. [기계학습 - 오일석] 3장. 다층 퍼셉트론 3-2. 퍼셉트론3-2-2. 퍼셉트론 퍼셉트론이란?: 입력 데이터를 2개의 부류중 하나로 분류하는 분류기(classifier) #1. 구조- 입력층과 출력층으로 구성, 그러나 입력층은 어떠한 연산도 없으므로 1개의 층이라고 말함- 입력층에 있는 입력 노드 하나는 특징 벡터의 특징 하나에 해당- 항상 1을 가지는 바이어스 노드 하나(x0)와 d개의 입력층 노드를 가짐- 입력 노드는 모두 출력 노드와 에지로 연결이 되어있는데, 에지는 wi로 표기된 가중치를 가진다. 가중치는 d+1개이다. #2. 동작▶ s = 해당하는 특징값과 가중치값을 곱하여 모두 더한 값이후, s를 활성함수에 넣어서 최종출력(1또는 -1)을 구하면 됨 #3. 최적 매개변수를 찾는 학습 알고리즘의 원리[step1. 목적함수 설계]퍼.. 2024. 2. 22. [기계학습 - 오일석] 2장. 기계학습과 수학 : 최적화 > 기계 학습의 목표는 "최적화"다. 즉, 주어진 데이터를 가지고 최적화 문제를 어떻게 공식화 할 것인가, 최적화 공식을 어떻게 풀어서 목적함수를 최소로 하는 점을 찾을 것인가가 기계 학습의 핵심 주제이다. 이 챕터에서는 이러한 최적화를 이용한 문제 해결 방법에 대해서 다룬다. 2-3-1. 매개변수 공간의 탐색# 기계학습 전략① 적절한 모델 선택② 목적 함수 정의③ 모델의 매개 변수 공간을 탐색하여 목적함수가 최저가 되는 최적점 찾기→ 특징 곤가에서 해야 하는 일을 모델의 매개변수 공간에서 하는 일로 대체한 셈 # 매개변수- 특징 공간보다 매개변수가 훨씬 크다ex1) 선형 회귀( y = wx + b)의 경우 특징 공간은 1차원이지만, 매개변수 공간은 2차원임.ex2) MNIST 인식하는 딥러닝 모델은 .. 2024. 2. 21. 이전 1 2 다음
