ResNet 공부

읽은 자료: https://dnddnjs.github.io/cifar10/2018/10/09/resnet/

 

Fine tuning

https://eehoeskrap.tistory.com/186

 

Parameter & Hyperparameter

https://datascience.stackexchange.com/questions/17635/model-parameters-hyper-parameters-of-neural-network-their-tuning-in-training

Neural network의 Parameter는 일반적으로 Connection의 Weights를 말한다. 이 Parameters는 Training stage에서 학습된다. 그래서 알고리즘 자체 (그리고 인풋 데이터는) 이 Parameters를 튜닝한다.

Hyperparameter는 일반적으로 Learning rate, Batch size, # of Epochs를 말한다. 어떻게 Parameters가 학습되는지에 영향을 끼친다고 해서 "Hyper"라고 불린다. 이 Hyperparameter를 다음 방법으로 최적화할 수 있다: Grid search, Random search, By hand, Using visualization 등. Validation stage에서 Parameters가 충분히 학습 되었는지, Hyperparameter가 좋은지 (잘 설정 되었는지) 확인할 수 있다.

 

https://en.wikipedia.org/wiki/Hyperparameter_(machine_learning)

In machine learning, a hyperparameter is a parameter whose value is set before the learning process begins. By contrast, the values of other parameters are derived via training.

 

https://blogyong.tistory.com/8 : Hyperparameter의 종류와 최적화시키는 방법

 

SGD (Stochastic Gradient Descent)

http://shuuki4.github.io/deep%20learning/2016/05/20/Gradient-Descent-Algorithm-Overview.html

주요 내용: SGD 개념과 SGD의 Variations

처음 그림 자료 나오기 전까지 Gradient Descent 개념, Batch Gradient Descent와 Stochastic Gradient Descent를 비교하는 내용이 나온다. 간단히 요약하면 BGD는 Loss function을 계산할 때 Training data 전체를 사용하는 것이고 SGD는 Training data 작은 조각(즉 Mini-batch)을 사용하는 것이다. SGD는 BGD에 비해 부정확할 수는 있지만 1) 계산 속도가 빨라 같은 시간에 더 많은 Step을 갈 수 있고 2) BGD가 Local minimum에 빠질 수 있는 것에 비해 그럴 위험이 적고 3) 여러 번 반복하면 보통 BGD와 유사한 결과로 수렴한다.
* f(x)의 기울기를 ∇f 라고 한다. ∇는 벡터 미분 연산자로, 나블라(nabla) 또는 델(del) 연산자라고 한다. (위키 기울기(벡터) 참고) 

처음 그림 자료는 단순 SGD와 SGD의 여러 Variations를 비교한 것이다. 여기서 단순 SGD는 그 Variations에 비해 성능이 좋지 않음을 확인할 수 있다. (느리고, 방향도 적절치 않음) 그래서 이후부터 여러 Variations를 소개한다. 수식이 나오긴 하는데 읽을 만한 정도인 것 같다. 다 읽지는 않았지만.. Variations 종류를 나열하면 아래와 같다.
Momentum, NAG, Adagrad, RMSProp, AdaDelta, Adam

결국 Gradient Descent를 할 때 어떻게 Step을 이동할 것이냐 (그래서 어떻게 Optimize할 것이냐) 에 대한 문제이기 때문에 tf에서 봤던 Optimizer 종류들이다.

 

Internal Covariate Shift & Batch Normalization

http://dongyukang.com/%EB%B0%B0%EC%B9%98-%EC%A0%95%EA%B7%9C%ED%99%94-%EB%85%BC%EB%AC%B8%EC%9D%84-%EC%9D%BD%EA%B3%A0/

주요 내용: Internal covariate shift 개념과 Batch normalization 알고리즘 개괄 및 장점

NN에서 Hyperparameters는 여러 복잡한 계산을 가능하게 하지만 문제를 일으킬 수 있는데 그 문제는 아래와 같다고 설명한다.
1) Overfitting
2) Internal covariate shirt

Overfitting은 내가 알고 있는 대로 Training data를 너무 과하게 학습하여 Training accuracy는 좋은데 Test accuracy는 떨어지는 현상이다. 즉 Generalization이 잘 안 된 것이다. 또 다른 문제점은 몇몇 Weights가 평균 Weights 값보다 큰 경우 계속해서 Weighted sum이 되면서 각 레이어의 분포가 달라진다는 것인데, 이것을 Internal covariate shift라고 한다. (Weighted sum은 xi * wi의 합 즉 일반적으로 Activation function으로 들어가는 값을 말하는 듯) 앞에서의 작은 변화가 뒤로 갈수록 커져 문제를 빚는 것과 비슷한 것으로 여기서는 가족 오락관의 '고요 속의 외침'에 비유했다. Gradient vanishing/exploding이 이런 문제에 해당한다고 한다. Internal covariate shift와는 다른 문제라고 생각했는데 아닌가보다. Internal covariate shift라는 표현을 2015년 논문에서 처음 썼다고 하는데 이건 문제를 분포에서 찾아서 이름을 이렇게 붙인 것이고 Gradient vanishing/exploding은 표면적으로 Gradient가 Vanishing 하거나 Exploding 하는 것을 1차원 적으로 나타낸 것 아닐까?? (뇌피셜) 여튼 각 레이어가 받아들이는 인풋의 분포가 서로 다르다는 문제다.

결국 Batch normalization은 각 레이어가 받아들이는 인풋의 분포를 같게 하는 방법이다. 대략적으로 평균=0 표준편차=1인 분포로 바꿔준다는 개념이다. 하지만 여기에 Scale과 Shift를 하는 Parameters를 도입해 Trainable 하도록 한다. (아래 알고리즘에서 베타와 감마) 여기서는 결국 Batch normalization은 Extra layer로 볼 수 있다고 설명한다. Activation으로 값을 넘겨 주기 전에 Normalization을 수행하는 Extra layer..

https://arxiv.org/pdf/1502.03167.pdf

Gradient vanishing/exploding 문제를 해결하기 위한 방법으로 ReLU, Regularizer weight decay (L2 or L1), Dropout 등의 방법이 제시되었었지만 이건 데이터에 직접적으로 손을 대지 않는 간접적인 방법이었다. 이에 비해 Batch normalization은 아예 데이터에 손을 대는 직접적인 방법이라고 한다. 논문에서는 Batch normalization의 장점을 아래와 같이 설명한다고 한다.
1) 각 레이어의 인풋 분포를 같게 해 안정적인 학습 가능
2) 높은 Learning rate를 사용할 수 있어서 학습 속도 빨라짐
3) 자체적인 Regularization 효과가 있어서 Weight decay나 Dropout을 사용하지 않아도 됨
* 원래 읽던 글에서 보면 Initialization도 크게 상관 없는 장점이 있다고 나온다.

근데 Regularizer weight decay가 뭔지 모르겠다. ^_^..

 

LSTM Mechanism (Youtube)

https://www.youtube.com/watch?v=8HyCNIVRbSU&feature=youtu.be

한 번 봤는데 정리하면서 다시 보면 좋을 것 같다.

 

Identity Mapping

https://softwareengineering.stackexchange.com/questions/331981/what-is-identity-mapping-in-neural-networks

Identity mapping ensures that the output of some multilayer neural net is ensured to be equal to its input.
...
An identity map or identity function gives out exactly what it got.

요약: 항등함수랑 똑같은 개념 (h(x) = x)

 

Degradation: Motivation to 1) Highway network and 2) ResNet

이 부분은 원글에 잘 설명되어 있어서 따로 찾아보지는 않았다.

- Overfitting: Training error는 줄어드는데 Test error는 줄어들지 않는 현상
- Degradation: Layer를 깊게 쌓았는데 얕게 쌓을 때보다 Training error와 Test error가 모두 높은 현상 (Layer를 깊게 쌓으면서 학습이 제대로 이루어지지 않음)

이 Degradation 문제를 해결하기 위해 등장한 것이 1) Highway network와 2) ResNet이다.

일단 ResNet에 집중해서 보긴 할 건데 Highway network에 대해 이해한 것을 간단히만 정리하면..
LSTM에서 (시간적으로) 앞의 정보를 유지되도록 하기 위해 Cell state라는 개념을 쓴 것과 비슷하게 앞 Layer의 정보를 (비교적 손실이나 변형 없이?) 뒷 Layer에 전달하고자 한 것이다.

원래 뒤 Layer에 전달하는 값이 (x는 인풋, W_H는 Weight, H는 Non-linear(Activation) function)
$$y = H(x, W_H)$$였다면 Highway network에서 뒤 Layer에 전달하는 값은 $$y = t * H(x, W_H) + (1 - t) * x$$이다. (단, 0<= t <= 1)

1) 그냥 인풋과 2) Non-linear를 통과한 인풋을 적절한 비율로 가져와 다음 Layer로 보내는 개념이다.
단 t는 간단히 쓴 것이고 실제로는 T(x, W_T)이다. t값 자체도 W_T를 학습시켜서 나타낼 수 있도록 한 것이 아닐까 싶다. 또 t는 [0, 1] 범위의 값이므로 Sigmoid를 써서 만든다. 정리하면 아래와 같다. $$t = T(x, W_T)$$ $$T(x) = Sigmoid(W_T x + b_T)$$

갑자기 든 생각이..
원글에서 NN에서 (학습시켜야 하는) Parameters는 Weight와 Bias라고 했는데 위 식에 있는 b_T가 여기서 말하는 Bias가 아닐까 싶다. Bias가 여러 맥락에서 해석될 수 있어서 아까 찾다가 그냥 넘어갔는데.. 아마 이거 같다.

 

ResNet

원래 어떤 Layer로 학습시키고 싶은 함수가 H(x) 였다면 ResNet은 H(x) = F(x) + x 로 두고 F(x)를 학습시킨다. 결국 똑같은 것 같지만 x를 다음 Layer로 보내는 길을 열어준다는 데에 의미가 있다.

Highway network든 ResNet이든 결국 Layer를 깊게 쌓고 싶어서 등장한 것이다. (Layer를 깊게 쌓고 싶었으나 Degradation 문제가 발생해 Degradation 문제를 해결하기 위해 등장한 거니까) 이 맥락에서 Layer를 깊게 쌓아도 기존의 정보를 최대한 잃지 않게 하기 위해 별도의 샛길을 뚫어주는 느낌으로 이해하면 될 것 같다.

ResNet에서 또 중요한 게 Batch normalization을 사용하는 것이라고 한다. 실제로 x와 더해지는 F(x)는 이것이다. $$bn(conv(relu(bn(conv(x)))))$$
이걸 x와 Element-wise 더한 다음 relu에 넣는다. 정리하면 아래와 같다. $$relu(x + bn(conv(relu(bn(conv(x))))))$$이걸 Residual block이라고 한다.

ResNet의 실제 구조

논문에서는 1) VGG에 레이어를 추가한 Plain network와 2) ResNet을 비교한다. 아래 그림에서 확인할 수 있다.

https://arxiv.org/pdf/1512.03385.pdf

원글에서 혼동되는 부분이 Plain network와 ResNet이 공유하는 두 가지 규칙이였는데 내용은 아래와 같다.

1) (해당 Convolutional layer에 대하여) Feature map size가 같으면 Filter 개수도 같다.
2) Feature map size가 절반이 되면 Filter 개수는 두 배가 된다. (Feature map size가 절반이 되는 것은 strides=2)

' ~하면 ~하다'의 형식으로 쓰여있어서 인과 관계인줄 알았는데 아니고, 그냥 이런 경우에는 이렇다~ 정도의 내용이다. 그림에서도 확인할 수 있다. Shortcut connection이 점선인 부분을 보면, Filter 개수는 두 배가 되고 (가령 64에서 128, 128에서 256...) Feature map size가 절반이 되는 것은 Filter 개수 뒤에 '/2' 라고 표현한 듯 싶다.

* 점선 Shortcut connection: Feature map size가 절반이 되는 경우 (1x1 convolution과 bn을 적용하므로 Parameters가 있음)
* 실선 Shortcut connection; 그렇지 않은 경우 (Parameters가 없음)

위 그림은 34-layer 일 때의 구조였는데, Layer 개수를 다르게 했을 때의 구조는 아래와 같다.

https://arxiv.org/pdf/1512.03385.pdf

ResNet은 어느정도 Degradation에 효과가 있다고 밝혀졌다. CIFAR-10에 적용한 이야기를 제외하면 ResNet에 대한 이야기는 여기서 끝난다. 다만 같은 저자의 이후 논문에서 Residual block 내부 구조 순서를 변경한 Pre-activaion 구조를 제안하였는데, 이것으로 더 Layer를 깊이 쌓을 수 있었다고 한다. (원래 구조는 Post-activation 구조) 이 부분은 원글의 From 100 to 1000 Layers 부분을 참고하면 된다. 짧다.