전체 글68 Cross-Entropy란? 딥러닝 모델을 활용하여 다양한 task를 해결하는 데 다양한 loss function이 사용된다. 그중 분류와 같은 task에서 정답과 예측 값의 확률 분포를 차이를 좁히는 방식으로 모델이 학습한다. 이때 사용되는 loss가 cross-entropy loss이다. 이번 포스팅에서 cross entropy에 대해 알아보자! Cross Entropy의 개념을 알기 위해선 먼저 알아야 할 개념이 있다.바로 "Entropy" 이다.1. EntropyEntropy(엔트로피)는 정보 이론에서의 정보량에 대한 기댓값을 의미한다.이는 정보의 불확실성을 나타내며 이 값이 높을수록 다양한 정보가 많아 확률이 낮다는 것을 의미한다.가령 (1) 주머니 속에 빨간 공, 파란 공, 노란 공, 초록공이 있는 경우와 (2) 빨간 .. 2024. 10. 2. [Coppeliasim] Coppeliasim 설치하기 1. Coppeliasim이란? Coppeliasim은 로봇 시뮬레이션 소프트웨어로, 로봇 공학 및 자동화 분야에서 연구, 교육, 개발 목적으로 널리 사용된다. 복잡한 로봇 시스템과 환경을 시뮬레이션하는 데 매우 유용하며, 다양한 기능과 유연성을 제공한다고 한다. coppeliasim은 로봇 개발에서 중요한 도구로서 작용하지만 로봇과 상호작용하는 객체, 센서, 물리 엔진 등을 시뮬레이션 하는 데 그친다는 점에서 한계가 있다.따라서 coppeliasim에서 시뮬레이션 수행하고 난 후 ROS를 통해 실제 로봇에서 검증하는 식으로 로봇 개발이 이뤄진다고 한다! 2. Coppeliasim 설치 방법coppeliasim 설치 방법은 간단하다. 먼저 공식 홈페이지에 접속한다. https://www.coppelia.. 2024. 8. 20. [cs231n] 5강. Convolutional Neural Networks 이번 5강에서는 Vision Task를 효율적으로 해결하는 네트워크 구조인 Convolutional neural network의 역사와 작동 원리에 대해 알아본다. 지난 시간에 배운 내용은 위 그림과 같다.2개의 퍼셉트론 층을 쌓았다.단순히 선형 변환식을 겹쳐서 쌓아 최종 스코어를 얻었다.이는 명확하게 한계가 있다.각 이미지의 지역적 정보를 활용하지 못할뿐더러 각 입력이 모든 출력에 개입한다는 점이 그렇다.이러한 한계점을 CNN이 해결해준다. CNN의 등장 배경의 역사를 거슬러 올라가면 아주 오래전으로 거슬러 올라간다.(1957년)그러한 배경은 차치하고 CNN 등장에 가장 직접적인 역할을 한 것은 LeCun의 모델이다.위의 왼쪽 그림이 LeCun의 모델의 구조인데 사실 CNN과 거의 똑같다. 다만 스케.. 2024. 6. 19. [cs231n] 4강. Backpropagation and Neural Networks 이번 4강에서는 backpropagation의 작동 원리와 Neural network의 아키텍처에 대해 간략히 알아본다. 지금까지 배운 것은 다음과 같다.이미지에 대한 score를 구하고 이 값을 Loss function에 적용했다.그 후에 Data loss를 구하여 w(파라미터)에 대한 data loss의 기울기를 구했다.이때 gradient descent 방식이 사용되어 최적의 loss를 갖도록 파라미터를 업데이트 했다는 것이다. 위 그림에서 알 수 있듯이 입력 이미지로부터 loss까지 도달하기에 수 많은 weights(model parameter)가 있다.기울기를 구하는 건 알겠는데, layer를 거치면서 생기는 이 많은 weights의 기울기는 어떻게 한번에 구할 수 있을까?이 물음에 .. 2024. 6. 5. 8장. 확산 모델(diffusion model) 2020년에 획기적인 확산 모델 논문이 나왔다. 이름하여 DDPM! (denoising diffusion probablistic model의 줄임말)최근 생성 모델링에서 핫한(?) diffusion 모델의 주요 논문이다.이번 포스팅에서 diffision 모델이 무엇이고 그 기본 원리와 이를 작동하게 하기 위한 모델의 구성 요소에 대해 알아보자!1. Denoising diffusion modelDenoising diffusion model을 직영하면 잡음 제거 확산 모델이다. 이 모델의 핵심 아이디어는 다음과 같다.연속해서(여러 번의 과정으로) 매우 조금씩 이미지에서 잡음을 제거하도록 모델을 훈련시키는 것이다.그렇게 되면 이론적으로 완전히 랜덤한 잡음에서 훈련 세트의 이미지와 같은 이미지를 얻을 수 있다... 2024. 6. 4. Inductive bias란? 딥러닝을 공부하다 보면 inductive bias라는 단어가 많이 나오곤 한다.이게 뭐길래 자주 쓰이는지, 또 어떠한 의미를 갖는지 이번 포스팅을 통해 알아보자. 1. Bias variance tradeoff of various network structure 모델에 예측에 대한 bias와 variance는 아래 그림과 같다.Bias는 학습 데이터 교체했을 때 모델의 정확도 어느 정도 차이 나는지Variance는 특정 데이터에 모델이 얼마나 민감하게 반응하는지 일반적으로 bias와 variance는 trade-off 관계를 갖는다.따라서 오른쪽 위, 왼쪽 아래의 경우가 일반적이다. 이러한 관계를 바탕으로 다중의 inductive bias를 갖는 모델을 설계하는 것은 모델의 sample efficienc.. 2024. 5. 28. 이전 1 2 3 4 ··· 12 다음
