'nas' 카테고리의 설명


(Leo) #1

NAS : Neural Architecture Search

Neural Network Architecture를 알고리즘으로 찾는 다양한 방법론들을 리뷰합니다.

(NAS) Learning Transferable Architectures for Scalable Image Recognition
SMASH: One-Shot Model Architecture Search through HyperNetworks
  • NAS를 효율적으로 개선하기 위해 Child Network의 Weight를 HyperNet으로 출력하게 함
(ENAS) Efficient Neural Architecture Search via Parameter Sharing
  • weight-sharing을 통해 NAS의 효율을 개선함
DARTS: Differentiable Architecture Search
  • Network 설계를 특정 Operation의 사용여부로 보고, 이를 Backpropagation으로 end-to-end로 해결함
MnasNet: Platform-Aware Neural Architecture Search for Mobile
  • 실제 Mobile 장비를 붙여 Inference time을 Reward로 줌으로써, 네트워크의 연산 속도도 제약으로 추가한 논문
Understanding and Simplifying One-Shot Architecture Search
  • #icml #icml2018
  • 다양한 Operation과 Path를 추가해 Large Network를 만든 후 특정 Path를 추후에 Drop하는 방식으로 Network Architecture를 찾음.
  • 위와 같은 Search 방식을 통해 여러 Discussion 주제를 제시함.