본문 바로가기

전체 글69

The universal workflow of machine learning 이번 장은 케창딥 6장으로 일반적인 머신러닝 워크플로에 대해 소개해준다. 머신러닝 프로젝트를 위해 전체 스펙트럼을 큰 그림을 볼 필요가 있다. 따라서 전반적인 머신러닝 워크플로에 대해 알아보고 그 흐름에 대해 이해해보자! 새로운 머신러닝 프로젝트를 시작할 때, 어떻게 준비해야 하고 제품화시켜 사용자들에게 전달할 수 있을까? 모든 프로젝트가 그렇듯, 머신러닝 프로젝트의 시작도 문제를 정의하는 것에서 출발한다. 이후 문제를 이해하고 적절한 데이터 셋을 구성하여 모델을 개발한다. 이렇게 만들어진 모델을 테스트하여 좋은 성능을 내도록 develop하여 최종 모델을 최적화하면, 배포 환경을 선택하여 모델을 배치한다. 제품 환경에서 모델 성능을 모니터링하고 차세대 모델을 개발할 수 있도록 데이터를 계속해서 쌓아 학.. 2023. 10. 24.
데이터 전처리 기법 : 결측치 / 중복 / 이상치 데이터 딥러닝은 데이터 기반의 학습이 이뤄지기 때문에 데이터가 어떻게 구성되고 있는지(값의 분포 등등)에 따라 딥러닝이 학습하는 파라미터가 올바르게 업데이트가 되지 못하고 모델의 성능이 달라지기도 한다. 뿐만 아니라, 적절히 전처리 된 데이터는 데이터 분석에도 좋은 결과를 나타낸다. 이를 통해 데이터가 보여주는 숨은 의미가 무엇인지 잘 파악할 수 있다. 즉, 데이터에 의해 딥러닝의 성능이 떨어지는 경우와 데이터 분석 결과의 신뢰도가 낮아지는 경우를 막기 위해 데이터 전처리를 사용한다! 또한 전처리에는 다양한 기법이 존재한다. 각 기법마다 적용해야하는 데이터 유형이나, 기준이 다 다르기 때문에 하나하나 포스팅할 예정이다. 1. 결측치 / 중복 / 이상치 데이터 2. 표준화(standardizaiton) 3. 정규.. 2023. 10. 18.
딥러닝의 전반적인 학습 과정 딥러닝은 도대체 어떻게 사람을 흉내내서 문제를 해결할까?딥러닝의 학습이 이뤄지는 과정에 대해서 큰 틀에서 쉽게 알아보자!1. 딥러닝이란?2. 데이터 기반의 학습3. 손실 함수4. 옵티마이저요즘에는 다양한 딥러닝 모델이 우리의 삶에 녹아들어 여러가지 문제를 사람인 듯이 해결한다.마치 '사람처럼'이라는 것은 '사람의 관점'에서 '생각의 과정'이 비슷하다고는 할 수 없지만,'결과적'으로는 매우 비숫하다. 그렇다면 어떻게 딥러닝은 인간이 생각하는 결과와 비슷한 결과를 낼 수 있을까? 1. 딥러닝이란?딥러닝이란 인공지능의 한 분야로, 요즘 주목받는 생성형 AI, multi-modal 등의 모델이 모두 딥러닝 기반의 모델이다.딥러닝은 입력을 받아 출력을 내는 과정을 사람의 신경세포를 모방하여 만들었다고 한다. 이를.. 2023. 10. 17.
4장. 신경망 학습 이전 챕터에서는 신경망의 기초적인 개요에 대해 살펴봤다. 이번장에서는 데이터를 통해 신경망이 어떤 식으로 가중치 매개변수를 갱신하는지 알아본다! 이를 위해 신경망이 학습할 수 있도록 해주는 지표인 손실 함수를 살펴보고, 이 손실 함수의 결괏값을 가장 작게 만드는 가중치 매개변수를 찾는 방법인 함수의 기울기를 활용하는 경사하강법을 소개하고 있다. 4.1 데이터로부터 학습한다! 신경망은 데이터를 통해 학습한다는 점이 특징이다. 신경망이 데이터를 보고 가중치 매개변수를 자동으로 결정한다는 의미이다! 이처럼 머신러닝, 딥러닝에서는 데이터가 생명이다. 데이터가 있어야 결국 적절한 매개변수 값을 찾기 때문이다. 자동으로 알고리즘을 결정한다는 것은 전통적인 프로그래밍과 다른 인공지능의 특징이다. 다음 포스팅에서 설명.. 2023. 10. 4.
3장. 신경망 퍼셉트론을 쌓음으로써 복잡한 함수(선형적 + 비선형적)를 표현할 수 있다는 것을 확인했다. 하지만 우리가 직접 W,b(가중치)를 정해줘야 한다는 점이 큰 단점으로 작용한다. 이를 해결하기 위해 등장한 신경망은 데이터로부터 가중치의 매개변수 값을 자동적으로 학습한다. 이번 장은 신경망의 학습 방법에 대해 알기 전에 신경망의 개요와 입력 데이터를 식별하고 처리하는 과정에 대해 기초부터 개괄적으로 알려주고 있다. 1. 퍼셉트론과 비슷한 딥러닝 신경망 이전 장에서 배웠던 퍼셉트론은 신경망과 공통점이 많다. 하지만 차이점도 명확한데 이를 중점으로 보여준다..! 공통점은 노드가 서로 연결되어 임계값을 정해줄 활성화 함수를 사용하여 그 출력값을 다음 노드로 전달한다는 점이다. 반면 차이점은 퍼셉트론은 이를 위해 사람.. 2023. 10. 4.
2장. 퍼셉트론 리뷰에 앞서 이번에 공부할 책에 대해 소개를 하자면, 책의 이름은 '밑바닥부터 시작하는 딥러닝'이다. 총 3권으로 구성되어 있으며, 이번에 공부할 책은 밑시딥 1권이다. 밑시딥 1권에서는 딥러닝이 전반적으로 어떻게 학습되는지에 대해 서술하고 있으며 이후 convolution net에 대해 간략히 설명이 되어 있다. 밑시딥의 특징은 tensor flow, keras, pytorch와 같은 딥러닝 라이브러리나 모듈을 사용하지 않고 python numpy로 하드코딩하는 식으로 개념을 이해할 수 있도록 실습을 진행한다는 것이다. 이러한 점이 기초를 이해하기에 더욱 좋았다. 그렇다면 바로 본론으로 들어가보자! - 퍼셉트론(perceptron) 퍼셉트론(Perceptron)은 인공 신경망(Aritificial Ne.. 2023. 9. 17.

티스토리툴바