[paper] ImageNet Classification with Deep Convolutional Neural Networks (2012)

• 오버피팅을 방지하기 위한 여러 방법 사용 ​
• 5개의 conv layer와 3개의 fc layer를 사용, 8개중 어떤 layer을 제거해도 성능이 확연히 떨어지는 것​
• Convolution/pooling layer : 이미지를 형상적으로 분할하고 분석​

    Weight에 의해 계산 - 활성화함수 통과 - 출력층 ​

• Fully connected layer : 이미지를 분류/설명하는 데 가장 적합하게 예측​

    2차원 배열 형태를 1차원 평탄화 작업 - 활성화 함수로 뉴런 활성화 - Softmax로 분류 ​

• Dataset : ImageNet data augmentation ​
• Activation Function : ReLU - saturation 방지 ​
• Overlapping Pooling layer – top1, top5 error 줄이는데 효과가 있음 ​
• Gpu 2개 사용위해서 병렬 구조 설계 ​
• Saturating Gradient problem : back propagation 을 이용하여 편미분할 때, dL/dw가 0이 되어 w의 업데이트가 없어지는 현상.