Book Review/[밑바닥부터 시작하는 딥러닝 1] 리뷰4 5장. 오차역전파법 지난 챕터에서는 수치 미분을 통해 기울기를 계산하였다. 하지만 이는 계산 시간이 길다는 단점이 있다. 이를 해결하기 위해 이번 챕터에서는 '오차역전파'(backpropagation) 에 대해 알아보고, 이를 이해하기 위한 계산 그래프, 연쇄법칙(chain rule)을 이해하여 오차역전파에 적용되는 부분을 파악하자. 수치 미분은 구현하기 쉽고 단순하지만 계산 시간이 오래 걸린다는 단점이 있다. 가중치 매개변수를 해결하기 위해서는 손실 함수의 가중치 매개변수에 대한 기울기를 구해야 모델의 학습이 이뤄진다. 따라서 결국 기울기를 사용해야하는데 수치 미분은 사용성이 좋지 않으니 이를 효율적으로 계산하는 '오차역전파'가 등장하게 되었다. 밑시딥책에서는 오차역전파를 쉽게 이해시키기 위해 수식이 아닌 계산 그래프로 .. 2023. 11. 9. 4장. 신경망 학습 이전 챕터에서는 신경망의 기초적인 개요에 대해 살펴봤다. 이번장에서는 데이터를 통해 신경망이 어떤 식으로 가중치 매개변수를 갱신하는지 알아본다! 이를 위해 신경망이 학습할 수 있도록 해주는 지표인 손실 함수를 살펴보고, 이 손실 함수의 결괏값을 가장 작게 만드는 가중치 매개변수를 찾는 방법인 함수의 기울기를 활용하는 경사하강법을 소개하고 있다. 4.1 데이터로부터 학습한다! 신경망은 데이터를 통해 학습한다는 점이 특징이다. 신경망이 데이터를 보고 가중치 매개변수를 자동으로 결정한다는 의미이다! 이처럼 머신러닝, 딥러닝에서는 데이터가 생명이다. 데이터가 있어야 결국 적절한 매개변수 값을 찾기 때문이다. 자동으로 알고리즘을 결정한다는 것은 전통적인 프로그래밍과 다른 인공지능의 특징이다. 다음 포스팅에서 설명.. 2023. 10. 4. 3장. 신경망 퍼셉트론을 쌓음으로써 복잡한 함수(선형적 + 비선형적)를 표현할 수 있다는 것을 확인했다. 하지만 우리가 직접 W,b(가중치)를 정해줘야 한다는 점이 큰 단점으로 작용한다. 이를 해결하기 위해 등장한 신경망은 데이터로부터 가중치의 매개변수 값을 자동적으로 학습한다. 이번 장은 신경망의 학습 방법에 대해 알기 전에 신경망의 개요와 입력 데이터를 식별하고 처리하는 과정에 대해 기초부터 개괄적으로 알려주고 있다. 1. 퍼셉트론과 비슷한 딥러닝 신경망 이전 장에서 배웠던 퍼셉트론은 신경망과 공통점이 많다. 하지만 차이점도 명확한데 이를 중점으로 보여준다..! 공통점은 노드가 서로 연결되어 임계값을 정해줄 활성화 함수를 사용하여 그 출력값을 다음 노드로 전달한다는 점이다. 반면 차이점은 퍼셉트론은 이를 위해 사람.. 2023. 10. 4. 2장. 퍼셉트론 리뷰에 앞서 이번에 공부할 책에 대해 소개를 하자면, 책의 이름은 '밑바닥부터 시작하는 딥러닝'이다. 총 3권으로 구성되어 있으며, 이번에 공부할 책은 밑시딥 1권이다. 밑시딥 1권에서는 딥러닝이 전반적으로 어떻게 학습되는지에 대해 서술하고 있으며 이후 convolution net에 대해 간략히 설명이 되어 있다. 밑시딥의 특징은 tensor flow, keras, pytorch와 같은 딥러닝 라이브러리나 모듈을 사용하지 않고 python numpy로 하드코딩하는 식으로 개념을 이해할 수 있도록 실습을 진행한다는 것이다. 이러한 점이 기초를 이해하기에 더욱 좋았다. 그렇다면 바로 본론으로 들어가보자! - 퍼셉트론(perceptron) 퍼셉트론(Perceptron)은 인공 신경망(Aritificial Ne.. 2023. 9. 17. 이전 1 다음
