https://github.com/rails/activesupport-json_encoder
を入れたら解消した。
たぶん最新版のRailsだと発生しないんでしょう。