Deep Learning入門：Attention（注意）

Deep LearningにおいてConvolutional Neural Networksに並んで大変ポピュラーに用いられつつあるニューラルネットワークの基本的な構造、Attention（注意）について解説します。

前回の動画：「量子化によるニューラルネットワークのコンパクト化」
https://www.youtube.com/watch?v=qpd9I8m1bOA

Deep Learning入門：ニューラルネットワーク設計の基礎
https://www.youtube.com/watch?v=O3qm6qZooP0

Deep Learning入門：Recurrent Neural Networksとは
https://www.youtube.com/watch?v=yvqgQZIUAKg

Deep Learning入門：数式なしで理解するLSTM（Long short-term memory）
https://www.youtube.com/watch?v=unE_hofrYrk

再生リスト「Deep Learning入門」
https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3

再生リスト「実践Deep Learning」
https://www.youtube.com/playlist?list=PLg1wtJlhfh20zNXqPYhQXU6-m5SoN-4Eu

再生リスト「Deep Learning 精度向上テクニック」
https://www.youtube.com/playlist?list=PLg1wtJlhfh216rnmSv_oEDuchRjgUqxBi

Neural Network Console
https://dl.sony.com/ja/

Neural Network Libraries
https://nnabla.org/ja/

Squeeze-and-Excitation Networks
Jie Hu, Li Shen, Samuel Albanie, Gang Sun, Enhua Wu
https://arxiv.org/abs/1709.01507

Attention Is All You Need
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
https://arxiv.org/abs/1706.03762

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
https://arxiv.org/abs/1810.04805

Видео Deep Learning入門：Attention（注意） канала Neural Network Console