O'Reilly Japan - ゼロから作るDeep Learning

ディープラーニング

  • 層を深くしたニューラルネットワーク
    • 3x3のフィルター
    • ReLU
    • 全結合の後にDropout
    • Adam
    • Heの初期値
    • 99%を超える認識精度
    • 間違っているのは人間も間違うようなもの
  • What is then class of this image?
    • MNISTに対する各手法のランキングがある
    • 1位はあまり層が深くない手法
    • 手書き数字認識という比較的単純な問題はディープになることの表現力を生かせない
  • Data Augmentation
    • 画像を変形して訓練データを増やす

層を深くする

  • 理論的にはあまり詳しいことはわかっていない
  • 画像認識のILSVRCなどディープラーニングが良い成績
    • 層を深くすると認識精度が上がる傾向
  • パラメータ数が少なくて済む
  • 表現力が増す
    • 活性化関数により非線形の力が加わる回数が増える
  • データが少なくて済む
  • 各層はそれぞれシンプルな問題に分解できる

高速化

  • ビット削減
    • 浮動小数点は16ビットで問題ない

歴史や最近のトレンドなどはメモするのを控える。