[기계학습 - 오일석] 3장. 다층 퍼셉트론

3-2. 퍼셉트론

3-2-2. 퍼셉트론

 

퍼셉트론이란?

: 입력 데이터를 2개의 부류중 하나로 분류하는 분류기(classifier)

 

#1. 구조

- 입력층과 출력층으로 구성, 그러나 입력층은 어떠한 연산도 없으므로 1개의 층이라고 말함

- 입력층에 있는 입력 노드 하나는 특징 벡터의 특징 하나에 해당

- 항상 1을 가지는 바이어스 노드 하나(x0)와 d개의 입력층 노드를 가짐

- 입력 노드는 모두 출력 노드와 에지로 연결이 되어있는데, 에지는 wi로 표기된 가중치를 가진다.

   가중치는 d+1개이다.

 

 

#2. 동작

▶ s = 해당하는 특징값과 가중치값을 곱하여 모두 더한 값

이후, s를 활성함수에 넣어서 최종출력(1또는 -1)을 구하면 됨

 

 

#3. 최적 매개변수를 찾는 학습 알고리즘의 원리

[step1. 목적함수 설계]

퍼셉트론의 매개변수를 아래와 같이 표현한다면

 

목적함수는 𝐽(Θ) 또는 𝐽(𝐰)로 표기

 

<목적함수의 조건>

① j(w) >= 0

② w가 최적이면, 즉 모든 샘플을 맞히면 j(w) = 0

③ 틀리는 샘플이 많은 w일수록 j(w)는 큰 값을 가짐

 

- 이때 y는 틀리는 샘플의 집합

- x가 y에 속하면, 퍼셉트론이 계산한 값 wx와 x의 부류를 뜻하는 y는 부호가 다르기 때문에, -y(wx)는 항상 양수

 

[step2. 그레디언트 계산]

경사하강법(gradient descent method)을 적용해 최적화 알고리즘을 구현함

가중치(g)는 목적함수를 편미분함으로써 얻을 수 있음

 

따라서, 아래와 같은 퍼셉트론 학습 규칙을 "델타 규칙"이라고 함

 

#4. 퍼셉트론 학습 알고리즘

< 퍼셉트론 학습(배치 버전) >

: 틀린 샘플을 모두 모아 한 번에 매개변수를 갱신하는 배치(batch) 버전

특징)

- 반복할때마다 훈련집합의 모든 샘플을 한 번씩 방문

- 모든 샘플을 방문하고 나면 한 세대가 지났다고 말함

- 모든 샘플을 맞출때까지 진행

 

< 퍼셉트론 학습(스토캐스틱 버전) >

: 틀린 샘플이 발생하는 즉시 매개변수를 갱신하는 스토캐스틱(stochastic) 버전

특징)

- 라인3에서 샘플를 섞음 > 이 때문에 스토캐스틱이라 부름

- 현대 기계학습에서는 스토캐스틱이 더 좋은 성능을 가지고 있으므로 스토캐스틱 버전을 채택함

- 훈련집합이 선형분리가 가능하다면 반드시 수렴하지만,안된다면 무한반복(발산)을 한다.

따라서, 이 경우에는 until(더 이상 개선이 없다면) 으로 수정해야 한다. == 몇 세대를 반복해도 틀린 샘플의 수가 줄지 않으면