Label smoothing

Attention Is All You Nedd(2017) 5.training 파트에 label smoothing 에 관한 내용이 두 줄 나온다.

나는 처음보는 내용이고, 언제나 처럼 어정쩡하게 그냥 넘어갈 뻔 했지만 박사님께서 집어주셔서 알고 넘어가야 할 내용같아 기록해둔다.

 

Attention Is All You Nedd(2017)  5.training-Label Smothing

 

Label이 A와 B인 binary classification task의 경우에 아래와 같이 0또는1이 아니라 smooth하게 부여하는 방법이다.

 

Label	A	B
predict	1	0

 

Label	A	B
predict	0.9	0.1

 

 

장점은 

1. label을 0 또는 1이 아니라 smooth하게 부여해서 잘못된 loss의 영향을 줄일 수 있고,

2. mislabeling 된 데이터를 고려하기 위해 사용되는 것에 추가적으로 regularization에 도움을 주며 model generalization과 calibration에 도움이 된다고 한다.