전체 글52 [기계학습 - 오일석] 5장. 딥러닝 최적화 5-1. 목적함수 : 교차 엔트로피와 로그우도딥러닝에서 모델의 학습을 위해 사용하는 목적함수(또는 손실 함수)는 모델의 예측이 실제 데이터와 얼마나 잘 일치하는지를 측정한다. 교차 엔트로피와 로그우도는 이러한 목적함수 중에서 가장 널리 사용되는 두 가지이다. 이 두 함수는 모두 모델의 예측과 실제 데이터 레이블 사이의 불일치를 수치화한다. 5-1-1. 평균 제곱 오차(Mean Squared Error, MSE)평균 제곱 오차(Mean Squared Error, MSE)는 많은 회귀 문제에서 효과적인 손실 함수로 사용되지만, 분류 문제에는 몇 가지 한계가 있다. 이러한 한계를 배경으로 교차 엔트로피 손실 함수의 장점을 이해할 수 있다.MSE는 분류문제에서 예측 확률과 실제 레이블 사이의 확률적 관계를 직접.. 2024. 5. 2. [기계학습 - 오일석] 4장. 딥러닝 기초 1980년대에 깊은 신경망과 관련한 아이디어가 등장했었다. 그러나 그레이디언트 소멸 문제, 작은 훈련집합, 과다한 계산 시간이라는 한계점에 의해서 실현이 불가능했다. 이후, 지속적인 연구를 통해 성능이 더 좋은 활성함수, 다양한 규제 기법 등을 개발하고 값싼 GPU의 등장과 인터넷으로 인한 학습 데이터 증가에 의해서 딥러닝의 가능성을 열게 되었다. 4-1. 깊은 다층 퍼셉트론(DMLP)깊은 다층 퍼셉트론(Deep Multi-Layer Perceptron, Deep MLP)은 기본적인 다층 퍼셉트론의 구조를 확장하여 더 많은 은닉 층을 포함시킨 인공신경망 모델이다. 이러한 구조는 더 복잡한 패턴과 데이터의 특징을 학습할 수 있도록 설계되었다. 4-1-2. 구조와 동작[그림4-3]이 보여주는 바와 같이 깊.. 2024. 5. 1. [기계학습 - 오일석] 3장. 다층 퍼셉트론 3-2. 퍼셉트론3-2-2. 퍼셉트론 퍼셉트론이란?: 입력 데이터를 2개의 부류중 하나로 분류하는 분류기(classifier) #1. 구조- 입력층과 출력층으로 구성, 그러나 입력층은 어떠한 연산도 없으므로 1개의 층이라고 말함- 입력층에 있는 입력 노드 하나는 특징 벡터의 특징 하나에 해당- 항상 1을 가지는 바이어스 노드 하나(x0)와 d개의 입력층 노드를 가짐- 입력 노드는 모두 출력 노드와 에지로 연결이 되어있는데, 에지는 wi로 표기된 가중치를 가진다. 가중치는 d+1개이다. #2. 동작▶ s = 해당하는 특징값과 가중치값을 곱하여 모두 더한 값이후, s를 활성함수에 넣어서 최종출력(1또는 -1)을 구하면 됨 #3. 최적 매개변수를 찾는 학습 알고리즘의 원리[step1. 목적함수 설계]퍼.. 2024. 2. 22. [기계학습 - 오일석] 2장. 기계학습과 수학 : 최적화 > 기계 학습의 목표는 "최적화"다. 즉, 주어진 데이터를 가지고 최적화 문제를 어떻게 공식화 할 것인가, 최적화 공식을 어떻게 풀어서 목적함수를 최소로 하는 점을 찾을 것인가가 기계 학습의 핵심 주제이다. 이 챕터에서는 이러한 최적화를 이용한 문제 해결 방법에 대해서 다룬다. 2-3-1. 매개변수 공간의 탐색# 기계학습 전략① 적절한 모델 선택② 목적 함수 정의③ 모델의 매개 변수 공간을 탐색하여 목적함수가 최저가 되는 최적점 찾기→ 특징 곤가에서 해야 하는 일을 모델의 매개변수 공간에서 하는 일로 대체한 셈 # 매개변수- 특징 공간보다 매개변수가 훨씬 크다ex1) 선형 회귀( y = wx + b)의 경우 특징 공간은 1차원이지만, 매개변수 공간은 2차원임.ex2) MNIST 인식하는 딥러닝 모델은 .. 2024. 2. 21. [기계학습 - 오일석] 1장. 소개(2) 1-5. 모델 선택 1-5-1. 과소적합과 과잉적합 - 과소적합(Underfitting) : 모델이 훈련 세트의 규칙을 제대로 찾지 못해 모델의 성능이 낮게 나오는 현상 - 과대적합(Overfitting) : 모델이 훈련 세트에 과하게 적합한 상태가 되어 일반성이 떨어지는 현상 > 훈련 세트에서 규칙을 찾지 못하면 모델의 성능이 낮게 나오고, 규칙을 과하게 찾게 되면 이후의 새로운 테스트 데이터가 들어올 경우의 성능이 떨어지게 된다. 따라서 적절한 용량의 모델을 선택하는 작업이 매우 중요하다. 1-5-2. 편향과 분산 - 편향 : 학습 데이터에 대한 정확도(실제 값에서 멀어진 척도) - 분산 : 데이터가 얼마나 퍼져 있는 가를 나타내는 척도 1-5-3. 모델 선택 알고리즘 : 훈련집합으로 모델을 학습하고.. 2024. 2. 21. [기계학습 - 오일석] 1장. 소개(1) 1-1. 기계학습이란 1-1-1. 기계 학습의 정의 - 학습 : 경험의 결과로 나타나는 지속적인 행동 변화 혹은 지식을 습득하는 과정 - 기계 학습 : 특정한 응용 영역에서 발생하는 데이터(경험)를 이용하여 높은 성능으로 문제를 해결하는 컴퓨터 프로그램을 만드는 작업 1-1-2. 지식기반 방식에서 기계 학습으로의 대전환 > 컴퓨터가 사람의 일을 수행할 수 있도록 하기 위해 기존에는 지식 기반 혹은 규칙 기반 방식을 사용했었다. 지식 기반 혹은 규칙 기반이란, “구멍이 2개이고 중간 부분이 훌쭉하며, 맨 위와 아래가 둥근 모양이라면 8이다”라는 규칙을 만들어 사용하는 방식이다. 하지만, 이 방식은 규칙을 설명하는데 있어 한계 존재하므로, 데이터를 중심으로 하는 접근 방식을 채택한다. 인간은 태어나면서부터 .. 2024. 2. 15. 이전 1 ··· 5 6 7 8 9 다음
