機械学習で読んだ本 - Hello p-adic World

機械学習関係で読んだ本とその内容について紹介します. 全部を熟読した本はないのと，私は数学系の人間なので，理論系に厳しいのはご了承ください．

理論系

Understanding Machine Learning:From Theory to Algorithms

Understanding Machine Learning: From Theory to Algorithms

作者: Shai Shalev-Shwartz,Shai Ben-David
出版社/メーカー: Cambridge University Press
発売日: 2014/05/19
メディア: ハードカバー
この商品を含むブログを見る

いくつか見た機械学習の本で一番数学科向けの本です. 比較的定義もしっかりしている.真面目に勉強するならこの本しかないかもしれない.

ただ400ページ以上あるので,適切にトピックを選んだほうがよい気がしているのと, VCDimension等使う際はそこまでという部分はとばしてもいいかもしれません.

パターン認識と機械学習

パターン認識と機械学習上

作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇
出版社/メーカー: 丸善出版
発売日: 2012/04/05
メディア: 単行本（ソフトカバー）
購入: 6人クリック: 33回
この商品を含むブログ (20件) を見る

とても有名な本ですが，私は最初の一章を読んで，やめました．最初に読む気がなくなったのは過学習の説明です. 過学習は訓練誤差が徐々に落ちるが，評価誤差がどんどんあがる現象という理解です.

これは次数を増やすに連れ,評価誤差がどんどんあがるから過学習だと言っているように読めました．

ここは不満が二つあります. 1つはモデルのとれる場所を途中で変えていること．機械学習はある関数のなす集合から，訓練データに対する誤差を小さくする関数をもとめています. なので,訓練データの点だけに特化しすぎた関数になるのはわかるのですが, 上の説明は関数のなす集合を変更しています.

また,10個の点を通る10時多項式は一意に定まりますが,10個の点を通る100次多項式は一意に定まらないし，なかには評価データに対しても誤差が低いものがあるかもしれません．(私は計算していないので実際はわかりません)

ですが，そうした状況を何1つ考慮せずに断定している状況をみて,この本を読んでも，客観的にそれが正しいか確認できる状態にならず,勉強にならないと思いやめました．細かくはいろいろ不満がありますが，この本で勉強するのをやめた理由はそこです.

Deep Learning

Deep Learning (Adaptive Computation and Machine Learning series)

作者: Ian Goodfellow,Yoshua Bengio,Aaron Courville,Francis Bach
出版社/メーカー: The MIT Press
発売日: 2016/11/18
メディア: ハードカバー
この商品を含むブログ (1件) を見る

2章,3章は私かるすとお気持ちが並んでいるだけに見えたので, 理論的な理解をしたい人は,この本を読む理由はないのかなと思っています. 後ろの方は実用的な話かもしれません.

グラフィカルモデル

グラフィカルモデル (機械学習プロフェッショナルシリーズ)

作者: 渡辺有祐
出版社/メーカー: 講談社
発売日: 2016/04/20
メディア: 単行本（ソフトカバー）
この商品を含むブログ (1件) を見る

Amazonの書評で数学書みたいと書いてあったのをきっかけに前半を読みました. きっちり書いてくれている部分も多いですが, 数学書だと思うと言いたいことは多数あります. 特につらいのは証明が汚いことです.作者は証明を理解しているんだろうかという気持ちになったものも多数あります. (僕がTAで採点しているなら☓にしようかなと思うものが…)

ある程度わかりましたが,今ひとつ消化しきれていないです.