Abstract ILSVRC14에서 우승한 모델 GoogLeNet은 네트워크의 "width"와 "height"를 모두 확장하면서도 연산량을 constant하게 유지시킴으로써 연산효율을 높인 모델이라 설명한다. 이를 위해 Hebbian Principle과 Multi-Scale Processing을 적용했다고 한다. GoogLeNet은 총 22개의 레이어로 구성되어 있다. (2014년 논문이라 2015년 논문인 ResNet이 나오기 전이므로 Layer의 개수가 비교적 적다.) Hebbian Principle: 헵의 이론이라고도 불리며 뇌의 시냅스 연결성은 경험에 의해 수정될 수 있고 시냅스 뉴런의 pre, post firing에 의해서도 영향을 받는다는 내용이다. 위 논문에서는 "– neurons that ..

Abstract AlexNet은 ImageNet LSVRC-2010 Contest (ILSVRC)에서 120만개의 고화질 이미지를 1000개로 분류했고, top1, top5 error rates에서의 상당한 개선을 이루어냈다. AlexNet은 6천만개의 파라미터, 65만개의 뉴런으로 구성되어 있으며 5개의 Conv Layer (그중 몇개의 레이어는 max-pooling Layer를 포함한다), 3개의 FC레이어, 그리고 1000-way Softmax를 통해 분류를 수행하도록 구성되어 있다. (위의 이미지 참고) FC레이어에서의 Overfitting에 따른 에러를 최소화하기 위해 "Dropout"을 사용하였으며 트레이닝 시간을 단축시키기 위해 "non-saturating neuron"(activation ..

Full Stack Deep Learning의 2021 Spring Lecture를 정리합니다. CNN CNN(Convolutional Neural Network)은 합성곱(Convolution)을 사용하는 신경망의 한 종류로 "공간적" 정보를 유지한 상태로 정보를 다음 레이어로 보낼 수 있습니다. "공간적" 정보를 유지한 상태로 특징을 뽑아낼 수 있다는 장점 때문에 특히 이미지를 사용한 학습에 굉장히 유용합니다. 잘 알려진 이미지 분류 모델은 이렇게 Convolution Layer를 여러 겹 사용해서 모델의 특징들을 각각 뽑아내고, 뽑아낸 특징들을 바탕으로 FC(Fully Connected Layer)를 적용하여 이미지를 분류하는 형태를 띕니다. Fully Connected Layer(FC) 일반적인 ..

지난 [SPAM FILTER] 간단한 스팸 분류기 포스팅에서는 Scikit-learn 라이브러리와 RandomForest Classifier를 사용해서 간단한 스팸 필터(스팸 분류기)를 만들어보았습니다. 이 스팸 필터의 경우 98%에 가까운 정확도를 보여주었지만, 이는 과대적합의 가능성도 있을 뿐더러(포스팅 당시에는 과대적합여부를 따로 판단하지는 않았습니다.) 단어 사이의 문맥이나 연관 관계를 고려하지 않고, 스팸 메일에 속할만한 단어가 많으면 스팸 메일로 판단할 가능성이 높아지는 방식을 택한다는 한계점이 있었습니다. 따라서 RNN(Recurrent Neural Network)을 이용한 이번 포스팅과 LSTM(Long-Short-Term-Memory)를 이용한 다음 포스팅을 통해서 이를 점진적으로 개선해..

서포트 벡터 머신(Support Vector Machine: 이하 SVM)은 Classification 문제에서 결정 경계(Decision Boundary)를 효율적으로 찾는 방법을 제공합니다. 즉, 아래 그림과 같이 두 클래스(빨강, 초록)로 분류될 수 있는 데이터 셋이 있다고 했을 때, 이 데이터셋을 가장 잘 구분 짓는 경계선(실선)을 찾는 것입니다. 이번 포스팅에서는 SVM을 이용해서 MNIST Dataset Classification을 개선해보려 합니다. (Application에 관한 글이므로 SVM의 수학적 원리와 기타 증명 과정은 생략하였습니다.) 지난 MNIST 포스팅 에서는 Random Forest를 이용해 간단한 MNIST 분류 모델을 만들었습니다. 이번에는 SVM을 이용해서 MNIST ..

본 포스팅은 cs231n의 강좌를 정리한 글임을 서두에 밝힙니다. 캡쳐된 일부 강의 자료들은 CS231n에서 제공하는 PPT 슬라이드를 참조하였습니다. Image Classification 딥 러닝에 대한 연구가 가장 활발히 이루어지고 있는 분야 중 하나가 바로 컴퓨터 비전 분야입니다. 컴퓨터 비전(Computer Vision)이란, 기계의 시각에 해당하는 부분을 연구하는 연구 분야로, 카메라 등의 센서들을 이용해 얻은 데이터들을 식별하는 데에 주 목적을 두고 있습니다. 인간의 시각이 담당하는 중요한 기능 중의 하나가 이미지를 보고 그 이미지를 식별하는 것이라 할 수 있습니다. 마찬가지로 컴퓨터 비전 분야의 핵심 과제 중의 하나도 이와 같다고 말할 수 있는데, 이를 Image Classification이..