전체 글68 [cs231n] 3강. Loss functions and Optimization 3장은 지난 2장에서 살펴본 Linear classifier의 score가 얼마나 잘 산출된 것인지 알아보는 Loss func와이 Loss func를 최소화시키는 parameter들을 얼마나 효율적으로 찾을 것인지 알아보는 optimization에 대한 내용이다. 앞서 우리는 linear classifier로 score를 산출할 수 있었다.(이미지 픽셀값에 가중치 W행렬을 곱하고, bias를 더하여 score를 구했다.) 3개의 이미지에 대한 각 class의 score는 아래의 그림과 같다고 가정하자.이 score의 합이 전체 데이터 셋에 대한 Loss에 기여하도록 해야 한다.이 강의에서는 multiclass SVM loss를 사용하여 예시를 들어준다.SVM loss에 따르면 고양이 이미지에 대한 Los.. 2024. 5. 28. [cs231n] 2장. image classification pipeline cs231n은 stanford univ에서 제공하는 neural network(NN), convolution neural network(CNN) 관련 deep learning 강좌다.이를 공부해 보고 정리해보고자 한다! 1장에서는 이 강좌에 대한 introduction part이다. 이 부분에서 컴퓨터 비전의 역사와 발전 양상을 다루고 있다.내용이 궁금한 사람은 아래의 링크에서 직접 보는 것을 추천한다.https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk2장은 computer vision task 중 가장 고전적이면서 근본적인 image classification를 다룬다.이 task에서 고려해야 할 한계점이.. 2024. 5. 24. 6장. 노멀라이징 플로 모델(normalizing flow model) 이번 포스팅에서 변수 변환을 활용하여 데이터 분포를 직접 모델링하는 노멀라이징 플로 모델에 대해 알아보자! Normalizing flow 모델은 데이터를 간단한 분포에 매핑할 수 있다.하지만 매핑 함수에 제약이 어느정도 있기 때문에 이를 고려할 필요가 있다.어떠한 제약이 있는 지, 그리고 이를 해결한 모델은 어떤 것이 있는지 공부해보자. 1. Normalizing flow노멀라이징 플로는 VAE와 개념이 유사하다.VAE가 인코더를 학습하여 복잡한 분포와 샘플링이 가능한 간단한 분포 사이를 매핑하고 디코더를 학습하여 단순한 분포에서 복잡한 분포로 매핑하는 것과 같이, 노멀라이징 플로도 마찬가지로 간단한 분포로의 매핑과 복잡한 분포로의 매핑이 이뤄진다.하지만 신경망은 일반적으로 반전 가능하지 않다.따라서 노.. 2024. 5. 16. 5장. 자기회귀 모델 (Autoregressive model) 이번 포스팅에서 생성 모델링 문제를 '순차적'으로 다루는 자기회귀 모델에 대해 알아보자. 자기회귀 모델은 생성 문제를 순차적인 과정으로 다뤄 단순화한다.앞 장에서 살펴본 VAE, GAN과는 달리 잠재 확률 변수를 사용하지 않고 시퀀스에 있는 이전 값을 바탕으로 예측을 만든다.따라서 데이터 생성 분포를 근사하는 것 보다는 명시적으로 이를 모델링 한다는 점에서 차이가 있다. 1. LSTM LSTM은 순환 신경망의 한 종류이다.순환 신경망에는 순차적인 데이터(텍스트 데이터, 시계열 데이터 등)을 처리하는 순환 층(셀)이 있고,특정 타임 스텝에서 셀의 출력이 다음 타임 스텝의 입력으로 사용된다.재귀적으로 되먹이는 구조를 가지는 네트워크이기 때문에 recurrent neural netwrok, RNN으로 쓰인다... 2024. 5. 16. [ROS 2] 개념 및 용어 정리 ROS 2에서 robotic system을 구현하는 데 필요한 몇 가지의 개념이 있다.ROS 2 tutorial에서 공부한 내용을 바탕으로 정리해 보자!1. Node(노드)ROS graph는 ROS 2에서의 모든 데이터를 동시에 처리하는 네트워크를 일컫는다.ROS graph에서 실행가능한 모든 파일은 연결되어야 하고, 이를 매핑하고 시각화할 줄도 알아야 한다. 위의 영상을 보면 전반적인 ROS system의 흐름을 보여준다. (ROS graph)이는 Node와 Node들 사이에 데이터가 오가면서 이뤄진다. 여기서 Node는 로봇의 바퀴를 제어한다던지 측정 데이터를 publishing 한다던지와 같은 single, modular의 목적을 가지고 있어야 한다.각각의 Node는 topic, service, .. 2024. 5. 9. 4장. 생성적 적대 신경망(GAN) 4장의 Generative adversarial network에 대하여 학습해 보자. GAN의 어떠한 구조적 특징을 가지고 있는지, 이에 대한 문제점은 무엇이 있는지 파악한 다음, 이를 와서스테인 GAN과 WGAN이 어떻게 해결하고자 하는지 알아보자! 1. GAN의 두 네트워크 구조 GAN은 General Adversarial Network의 약자로 생성적 적대 신경망이라고 부른다. 이를 해석해 보면 "적대적인 두 신경망으로 결과를 생성한다."라고 볼 수 있다. 어떤 아이디어가 이를 가능하게 할까? 이를 이해하기 위해서는 우선 GAN의 구조에 대해 알 필요가 있다. GAN은 생성자(generator)와 판별자(discriminator)가 서로를 이기려고 하는 과정을 통해 의미 있는 샘플을 생성하는 것이다.. 2024. 4. 17. 이전 1 2 3 4 5 ··· 12 다음
