O'Reilly Japan - ゼロから作るDeep Learning

ディープラーニング

• 層を深くしたニューラルネットワーク
• 例
  • 3x3のフィルター
  • ReLU
  • 全結合の後にDropout
  • Adam
  • Heの初期値
  • 99%を超える認識精度
  • 間違っているのは人間も間違うようなもの
• What is then class of this image?
  • MNISTに対する各手法のランキングがある
  • 1位はあまり層が深くない手法
  • 手書き数字認識という比較的単純な問題はディープになることの表現力を生かせない
• Data Augmentation
  • 画像を変形して訓練データを増やす

層を深くする

• 理論的にはあまり詳しいことはわかっていない
• 画像認識のILSVRCなどディープラーニングが良い成績
  • 層を深くすると認識精度が上がる傾向
• パラメータ数が少なくて済む
• 表現力が増す
  • 活性化関数により非線形の力が加わる回数が増える
• データが少なくて済む
• 各層はそれぞれシンプルな問題に分解できる

高速化

• ビット削減
  • 浮動小数点は16ビットで問題ない

歴史や最近のトレンドなどはメモするのを控える。