김동화 - Transformer & BERT

[잘못된 내용 수정사항]
- 1:39:24 warmup step 이전: warmup learning rate, 이후: learning rate
- 48:13의 Attended encoder output은 영어가 아닌 한글을 의미하며 각 행은 한글단어의 벡터를 의미하는 것으로 해석될 수 있을 것 같습니다

[발표자료]
https://drive.google.com/open?id=11sFhmiAsOL8WgNkqZighXgk7BPPqnieL

[참고한 코드]
Transformer: https://github.com/Kyubyong/transformer
BERT: https://github.com/google-research/bert

[추가 내용]
위 코드에 Transformer의 multi-head-attention의 linear transformation이 생략이 됬는데 논문에는 한번 더 projection이 있는것을 참고하시길 바랍니다.

Видео 김동화 - Transformer & BERT канала 고려대학교 산업경영공학부 DSBA 연구실