On_Learning

이전 포스트에서 손실 함수에 대한 그레이디언트를 계산하여 손실 함수가 최소가 되는 지점을 찾는 방식을 배웠습니다. 그렇다면 수 천, 수 만개로 이루어진 모델 파라미터의 그레이디언트를 실제로 어떻게 계산할 수 있을까요? 바로 역전파 알고리즘(backpropagation) 덕분 입니다. 이번 포스팅에서는 역전파 알고리즘에 대해 공부하여 리뷰해보겠습니다. 역전파는 순전파(forward propagation)의 반대 개념입니다. 순전파는 입력 데이터가 은닉층을 따라 출력층으로 나오는 추론 과정을 의미합니다. 그림1의 화살표 방향을 확인해보면 순전파 알고리즘을 파악할 수 있습니다. 개념적으로 순전파 알고리즘의 진행방향을 반대로 바꾸면 역전파 알고리즘이 됩니다. 역전파를 사용하는 이유는 입력층에서 출력층 값이 도출..

딥러닝을 이해하려면 여러 가지 수학 개념과 친숙해질 필요가 있습니다.텐서, 미분, 경사 하강법 등이 있는데요.이번 포스트의 목표는 비전공자도 이해할 수 있도록 최대한 간결하게 이 수학적 개념들을 설명하는 것 입니다.수학적 개념들의 연산, 기하학적 해석에 대해서는 언급하지 않고 간결하게 설명해보겠습니다. 수학적 개념들을 설명하기 앞서 신경망의 핵심 구조인 층에 대해 간단히 알아보겠습니다.신경망의 핵심 구조는 층(layer)입니다. 그림1) 과 같이 입력층, 중간층(은닉층), 출력층으로 나누어집니다. 입력값이 입력신호로 들어오면 각 층에서 더욱 의미있는 표현을 입력된 데이터로 부터 추출합니다.즉, 데이터를 정제시키고 표현을 강화하여 결국 의미있는 값을 찾아내는 것을 의미합니다. 이해하기 쉽게 예를 들어보겠습..

딥러닝에서 사용되는 케라스를 공부하기 위해서 '케라스 창시자에게 배우는 딥러닝'책을 공부하고 이를 리뷰하도록 하겠습니다. 우리가 일상에서 생활하다 보면 인공지능, 머신러닝, 딥러닝 이라는 단어를 많이 듣게됩니다. 인공지능을 공부하지 않았다면 이 세가지의 차이는 무엇이고 서로 어떻게 연관되는지 궁금하기 마련입니다. 그렇다면 각각의 개념은 어떻게 나눠질까요? 1. 인공지능 인공지능은 1950년대에 초기 컴퓨터 과학 분야의 선구자들이 ''컴퓨터도 사람처럼 생각할 수 있을까?''라는 질문에 답을 하면서 시작되었습니다. 즉, 인공지능은 보통의 사람이 수행하는 지능적인 작업을 자동화하기 위한 연구활동을 일컫어 말합니다. 초기의 AI는 프로그래머들이 명시적인 규칙을 충분하게 많이 만들어서 데이터베이스에 저장한 지식을..

혼공머신에 첫번째 챕터에서는 k-최근접 이웃(knn)을 통해 생선 이름을 자동으로 알려주는 머신러닝을 만듭니다. 생선 데이터셋은 캐글에 공개된 데이터 셋입니다. http://www.kaggle.com/aungpyaeap/fish-market Fish market Database of common fish species for fish market www.kaggle.com 1. 생선 분류 문제 fish market 데이터에는 다양한 생선 데이터가 들어있습니다. 이 데이터를 통해 생선을 분류하는 게 우리의 목적입니다. 그렇다면 어떠한 기준으로 생선을 나눠야 잘 분류했다고 할 수 있을까요? 생선의 크기와 길이 혹은 무게와 같은 절대적인 기준으로 분류를 하는 것은 부적절합니다. ex) "50cm가 넘으면 도미..