一応動くところまで。
https://pycall-mnist.herokuapp.com

GIFではうまく言ってるようにみえるけど思ったより認識精度よくない。
参考アプリでは結構入力の画像をいじってたのでその辺りの工夫が必要かも。

参考