인공지능/ML-DL 기초7 Cross-Entropy란? 딥러닝 모델을 활용하여 다양한 task를 해결하는 데 다양한 loss function이 사용된다. 그중 분류와 같은 task에서 정답과 예측 값의 확률 분포를 차이를 좁히는 방식으로 모델이 학습한다. 이때 사용되는 loss가 cross-entropy loss이다. 이번 포스팅에서 cross entropy에 대해 알아보자! Cross Entropy의 개념을 알기 위해선 먼저 알아야 할 개념이 있다.바로 "Entropy" 이다.1. EntropyEntropy(엔트로피)는 정보 이론에서의 정보량에 대한 기댓값을 의미한다.이는 정보의 불확실성을 나타내며 이 값이 높을수록 다양한 정보가 많아 확률이 낮다는 것을 의미한다.가령 (1) 주머니 속에 빨간 공, 파란 공, 노란 공, 초록공이 있는 경우와 (2) 빨간 .. 2024. 10. 2. Inductive bias란? 딥러닝을 공부하다 보면 inductive bias라는 단어가 많이 나오곤 한다.이게 뭐길래 자주 쓰이는지, 또 어떠한 의미를 갖는지 이번 포스팅을 통해 알아보자. 1. Bias variance tradeoff of various network structure 모델에 예측에 대한 bias와 variance는 아래 그림과 같다.Bias는 학습 데이터 교체했을 때 모델의 정확도 어느 정도 차이 나는지Variance는 특정 데이터에 모델이 얼마나 민감하게 반응하는지 일반적으로 bias와 variance는 trade-off 관계를 갖는다.따라서 오른쪽 위, 왼쪽 아래의 경우가 일반적이다. 이러한 관계를 바탕으로 다중의 inductive bias를 갖는 모델을 설계하는 것은 모델의 sample efficienc.. 2024. 5. 28. 모델의 평가 방식: Evaluation Metric 우리가 열심히 만든 딥러닝 모델이 얼마나 성능이 좋은지 파악하려면 어떻게 해야 할까? 이번 포스팅에서 모델을 평가하는 평가 지표에 대해 알아보자. 먼저 Evaluation metric을 알아보기 앞서 Loss와 Metric의 차이를 알 필요가 있다. 간단히 설명하면 Loss와 metric은 다음과 같다. - Loss: 모델 학습 시 학습 데이터(train data)를 바탕으로 계산되어, 모델의 파라미터 업데이트에 활용되는 함수 - Metric: 모델 학습 종료 후 테스트 데이터(test data)를 바탕으로 계산되어, 학습된 모델의 성능을 평가하는데 활용되는 함수 즉, 학습 도중에 파리미터를 업데이트하는데 관심 있는 함수는 Loss function이 될 것이고, 학습이 끝나고 모델의 성능을 평가하는 데 .. 2024. 3. 13. Regularization(모델의 규제, 정칙화)에 대한 이해 이번 포스팅에서는 모델의 overfitting을 해결하기 위해 사용할 수 있는 기법 중 하나인, Regularizaion에 대해 알아보자. regularization은 앞서 언급한 대로, 딥러닝 모델의 overfitting 양상을 억제하는 기법 중 하나이다. 그렇다면 model이 overfitting 하다는 것은 무엇을 의미할까? (이에 대한 자세한 내용은 추후에 따로 포스팅할 예정이니 간단한 예를 들어 설명을 하겠다.) 오버피팅은 한국어로 과적합이라고 하며, train set은 매우 잘 맞히지만, validation/test set은 맞히지 못하는 현상을 말한다. 비유하자면 overfitting은 기출문제는 외워서 잘 맞히지만 새로운 응용문제로 시험을 볼 때는 잘 풀지 못하는 경우라고 할 수 있다. 더.. 2023. 12. 23. 활성화 함수에 대한 이해 딥러닝 공부를 시작하면 여러가지 개념이 뒤죽박죽 되어 정리되지 않는 경우가 생기기 마련이다. 개념 하나 그 자체만 생각하면 이해하기 쉬운데 그래서 그게 어떻게 딥러닝의 학습과 연관지어 생각할 수 있는지 의문이 든다. 딥러닝 초보자인 우리를 헷갈리게 하는 개념들 중 하나인 활성화 함수에 대해 이해해보도록 하자! 1. 활성화 함수란(activation function)? 활성화 함수가 무엇인지 알기 위해 먼저, 활성화라는 단어를 생각해볼 필요가 있다. '활성화'라는 것은 input에 대하여 output을 결정할 때 어떠한 조건에 따라 결정되는 것을 의미한다. 따라서 활성화 함수는 입력에 따라 출력을 결정하게 하는 함수를 의미한다. 활성화 함수가 달라짐에 따라 같은 입력에 대해서도 다른 출력을 낼 수 있는 것.. 2023. 12. 1. 데이터 전처리 기법 : 결측치 / 중복 / 이상치 데이터 딥러닝은 데이터 기반의 학습이 이뤄지기 때문에 데이터가 어떻게 구성되고 있는지(값의 분포 등등)에 따라 딥러닝이 학습하는 파라미터가 올바르게 업데이트가 되지 못하고 모델의 성능이 달라지기도 한다. 뿐만 아니라, 적절히 전처리 된 데이터는 데이터 분석에도 좋은 결과를 나타낸다. 이를 통해 데이터가 보여주는 숨은 의미가 무엇인지 잘 파악할 수 있다. 즉, 데이터에 의해 딥러닝의 성능이 떨어지는 경우와 데이터 분석 결과의 신뢰도가 낮아지는 경우를 막기 위해 데이터 전처리를 사용한다! 또한 전처리에는 다양한 기법이 존재한다. 각 기법마다 적용해야하는 데이터 유형이나, 기준이 다 다르기 때문에 하나하나 포스팅할 예정이다. 1. 결측치 / 중복 / 이상치 데이터 2. 표준화(standardizaiton) 3. 정규.. 2023. 10. 18. 딥러닝의 전반적인 학습 과정 딥러닝은 도대체 어떻게 사람을 흉내내서 문제를 해결할까?딥러닝의 학습이 이뤄지는 과정에 대해서 큰 틀에서 쉽게 알아보자!1. 딥러닝이란?2. 데이터 기반의 학습3. 손실 함수4. 옵티마이저요즘에는 다양한 딥러닝 모델이 우리의 삶에 녹아들어 여러가지 문제를 사람인 듯이 해결한다.마치 '사람처럼'이라는 것은 '사람의 관점'에서 '생각의 과정'이 비슷하다고는 할 수 없지만,'결과적'으로는 매우 비숫하다. 그렇다면 어떻게 딥러닝은 인간이 생각하는 결과와 비슷한 결과를 낼 수 있을까? 1. 딥러닝이란?딥러닝이란 인공지능의 한 분야로, 요즘 주목받는 생성형 AI, multi-modal 등의 모델이 모두 딥러닝 기반의 모델이다.딥러닝은 입력을 받아 출력을 내는 과정을 사람의 신경세포를 모방하여 만들었다고 한다. 이를.. 2023. 10. 17. 이전 1 다음