O'Reilly Japan - ゼロから作るDeep Learning

誤差逆伝播法

計算グラフ

連鎖率の原理

ノード

単純なレイヤの実装

ニューラルネットのレイヤ実装

数値微分の必要性

学習の全体図

  1. ミニバッチの抽出
  2. 勾配の算出
  3. パラメータの更新
  4. 繰り返す

誤差逆伝播法は2を効率化するもの。

そういえば積分は?

全然本書とは関係ない話。

数値積分(長方形近似)

積分も本書で扱ってる微分と同じ。
数値積分はわかりやすい。

誤差逆伝播法みたいに積分を効率的にやる手法もあるのかな?