Abstract ILSVRC14에서 우승한 모델 GoogLeNet은 네트워크의 "width"와 "height"를 모두 확장하면서도 연산량을 constant하게 유지시킴으로써 연산효율을 높인 모델이라 설명한다. 이를 위해 Hebbian Principle과 Multi-Scale Processing을 적용했다고 한다. GoogLeNet은 총 22개의 레이어로 구성되어 있다. (2014년 논문이라 2015년 논문인 ResNet이 나오기 전이므로 Layer의 개수가 비교적 적다.) Hebbian Principle: 헵의 이론이라고도 불리며 뇌의 시냅스 연결성은 경험에 의해 수정될 수 있고 시냅스 뉴런의 pre, post firing에 의해서도 영향을 받는다는 내용이다. 위 논문에서는 "– neurons that ..

Abstract Neural Network(이하 NN)의 깊이가 깊어질수록 NN을 학습시키기가 어려워진다. NN의 깊이가 깊어질수록 조금 더 추상적인 Feature들을 학습시킬 수 있기 때문에 정확도가 향상될 것이라고 기대했지만, 아래의 그래프에서 볼 수 있듯, 깊이가 깊어질수록 나타나는 문제인 Vanishing / Exploading gradient등의 문제로 인해서 오히려 정확도가 낮아지는 모습을 보인다. 저자는 "Residual" Network는 최적화하기가 비교적 간단하며, 상당히 깊은 NN에서도 높은 정확도를 얻을 수 있다고 이야기한다. 실제로 ILSVRC 우승 모델들 중 ResNet을 사용한 모델부터 레이어의 개수가 22개에서 152개로 급격하게 증가한 것을 확인할 수 있다. Introduct..

Full Stack Deep Learning의 2021 Spring Lecture를 정리합니다. CNN CNN(Convolutional Neural Network)은 합성곱(Convolution)을 사용하는 신경망의 한 종류로 "공간적" 정보를 유지한 상태로 정보를 다음 레이어로 보낼 수 있습니다. "공간적" 정보를 유지한 상태로 특징을 뽑아낼 수 있다는 장점 때문에 특히 이미지를 사용한 학습에 굉장히 유용합니다. 잘 알려진 이미지 분류 모델은 이렇게 Convolution Layer를 여러 겹 사용해서 모델의 특징들을 각각 뽑아내고, 뽑아낸 특징들을 바탕으로 FC(Fully Connected Layer)를 적용하여 이미지를 분류하는 형태를 띕니다. Fully Connected Layer(FC) 일반적인 ..

Definition 마르코프 체인(Markov Chain)은 마르코프 성질(Markov Property)을 지닌 확률 과정을 의미합니다. 여기서 두가지 정의하 등장하게 됩니다. '마르코프 성질(Markov Property)', '이산 확률 과정(Discrete-time Stochastic Process). 마르코프 성질이라는 것은 현재의 상태가 오로지 바로 이전의 상태에만 영향을 받는 것을 의미합니다. 다시 말해, 이전의 상태가 바로 지금 현재의 상황을 결정하는 것이라고도 할 수 있는 것입니다. 확률 과정이라는 것은 '확률 분포를 가진 임의의 변수가 일정 시간 간격으로 값을 발생시키는 것'을 수학적으로 모델링하는 데에 사용되는 개념입니다. 예를 들어 주사위를 여러번 던지는 시행이 있다고 할 때, 주사위를..

보호되어 있는 글입니다.

본 포스팅은 cs231n의 강좌를 정리한 글임을 서두에 밝힙니다. 캡쳐된 일부 강의 자료들은 CS231n에서 제공하는 PPT 슬라이드를 참조하였습니다. Definition GAN은 'Generative Adversarial Network' 의 줄임말로, 궁극적으로 실제 이미지와 유사한 가짜 이미지를 생성해 내기 위해 제안된 네트워크 모델입니다. 이 모델은 Ian Goodfellow가 2014년에 논문에서 제시한 모델로, 딥러닝 분야에서 최근 10년간 가장 혁신적인 아이디어로 평가받고 있습니다. "Generative" 라는 용어에서 확인하실 수 있듯이, GAN은 '생성 모델'입니다. 생성모델이란, 그럴듯한 가짜 이미지를 생성해 내는 모델이라는 의미로, 실제로는 존재하지 않으나 그럴듯해 보이는 사람 얼굴 이..