'Image Classification' Outline

outline

(Curtis Kim) #1

Imagenet ILSVRC2012 등을 중심으로 딥러닝 발전에 기여한 Image Classifcation 모델들을 리뷰하는 공간입니다.

Convolutional Neural Network Models

(Alexnet) ImageNet Classification with Deep Convolutional Neural Networks

  • 2012
  • #nips #nips2012
  • 5 Convolutional Layers + 3 Fully-Connected Layers
  • Dropout, ReLU, LRN(Locally Responsive Normalization)
  • ILSVRC2012 : Top1 Error, Top5 Error 15.3%
  • 2등에 비해 월등히 높은 성능을 보여주어, 딥러닝 연구에 가속화가 시작.

(ZF-Net) Visualizing and Understanding Convolutional Networks

  • 2013
  • Alexnet과 거의 동일한 Architecture
  • Deconvnet이라는 방식으로 Activation Filter를 분석 시도
  • Sensitivity Analysis
    • 이미지의 어떤 부분이 결정적인 역할을 미쳤는지를 분석
    • 유사 클래스의 이미지가 비슷한 Filter에 의해 결정됨도 보임.
  • 11x11 Stride4의 Conv Layer --> 7x7 Stride 2의 Conv Layer로 수정

(VGGNet) Very Deep Convolutional Networks for Large-Scale Visual Recognition

  • 2015
  • #iclr #iclr2015
  • 16 or 19 Layers
  • 기존보다 훨씬 작은 3x3 Conv. Layer에 Stride 1만 사용한 단순한 아키텍쳐.
  • ILSVRC2014년에 Classification 2위, Localization 1위
  • Feature Extractor로써의 성능도 좋아 finetune하는 등에도 적합

(NIN) Network in Network

(Inception-v1) Going deeper with convolutions

  • 2015
  • #google
  • imagehttp://openresearch.ai/uploads/default/optimized/1X/e5a365522f810f0203c153500f5e6bbc3e4a0630_1_690x262.png
  • Convolutional Filter를 Inception Module로 변경한 시도.
  • 알렉스넷에 비해 12배나 적은 파라미터 수.
  • 22개의 레이어. 이미지넷 Top-5 Error 6% 수준.
  • (Inception-v2) Rethinking the inception architecture for computer vision

    • 2015.12
    • 개선된 Inception Module과 Label Smoothing 제안. 약간의 성능 향상.
  • Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

    • 2016.8
    • image
    • Inception Block을 Tuning하여 약간의 성능 개선
    • Resnet Paper에서는 Deep Architecture 트레이닝에 Rersidual Connection이 반드시 필요하다고 했지만 이 논문에서는 그렇지 않다고 주장. 대신 빠른 Convergence는 인정.
  • Xception: Deep Learning with Depthwise Separable Convolutions

    • 2017.4
    • Depthwise Separable Convolution을 활용하여 Inception-v3와 비교
    • 약간의 성능 개선 보고
    • 같은 방식으로 속도를 개선한 Mobilenet 참고 추천

Spatial transformer network

  • 2015

Training Very Deep networks

Highway Networks

Convolutional Neural Networks at Constrained Time Cost

  • 2014
  • Depth는 중요하다!

(Resnet) Deep Residual Learning for Image Recognition

  • 2015.12
  • 100개가 넘는 레이어를 쌓아 Imagenet Top-5 3.5% 에러 수준 달성
  • Skip connection을 이용힌 Residual Block, Bottleneck Block 제안
  • 일반적인 네트워크에서는 레이어를 더 많이 쌓을수록 vanishing gradient 문제나 performance degradation문제가 있으나 resnet을 통해 극복하였다고 주장.
  • Highway network보다 단순화된 형태
  • Identity Mappings in Deep Residual Networks

    • 2016
    • Resnet의 Identity Mapping에 대해 조금 더 자세히 분석한 후속 페이퍼
    • Skip Connection의 영향에 대해 자세히 분석
    • ‘Full pre-activation’ Unit으로 전환하여 Resnet의 성능을 조금 더 끌어올림

DiracNets - Training Very Deep Neural Networks Without Skip-Connections

  • \delta \bigodot x = x 인 함수 \bigodot 을 정의
  • \hat{W} = a \delta + W 로 W Matrix에 Identity Matrix와의 결합 형태로 나타냄.
  • Resnet의 SkipConnection이 부자연스러움을 주장.
  • Weight Matrix W 를 변화시켜 SkipConnection없이도 깊은 네트워크를 학습시키는데 성공.
  • 34개의 레이어로 Resnet-1001의 성능을 능가. 파라미터 수가 적어지고 단순해지는 효과가 있음.

Deep Networks with Stochastic Depth

(DenseNet) Densely Connected Convolutional Networks

(SENet) Squeeze-and-Excitation Networks


Video Classification

Beyond Short Snippets: Deep Networks for Video Classification


Efficient Models

See : 'Network Compression' Outline


Ideas for 9th Kaggle TensorFlow Speech Recognition Challenge
Deep Learning Outline