ツイート

本書の概要

深層学習は，2012年に行われた画像認識のコンペティションで優れた成績を収め，急速に注目されるようになった機械学習の技術です．

本書は，2013年5月〜2014年7月の7回にわたる人工知能学会誌での連載解説「DeepLearning（深層学習）」に大幅な加筆を行い，索引などを追加して書籍としてまとめたものです．2015年時点での深層学習についてのほとんどの話題について解説しています．

各章は独立した読み物となっており，それぞれの話題について個別に知ることができます．一方で，索引を充実させて，深層学習に関する様々なキーワードについて調べることができるようにもしました．

一方で，多数ある深層学習のソフトウェアを用いる方法については述べていません．本書はこれらのソフトウェアを誤用しないために，深層学習の動作原理を紹介し，各手法の適用可能範囲を知っていただくためのものです．

関連情報

本書の関連情報

• 近代科学社（出版元）の本書の紹介：本書の章構成などを掲載しています
• 韓国語版 (ISBN:9784764904873)
• 人工知能学会の特集の紹介：本書の元となった人工知能学会の連載特集の前書きです
• Amazon.co.jp：Amazon.co.jp での本書の販売ページ
• 前書き・目次・索引 (pdf)：第1刷 (2015年10月31日)のものです
• ニューラルネットワーク・深層学習研究の歴史 (pdf)：本書の編集時にまとめた研究の歴史です

深層学習の関連情報

• Neural Networks for Machine Learning：無料で公開されている講義サイト Coursera にある，深層学習の中心研究者 G. Hinton によるニューラルネットの講義
• International Conference on Learning Representations：表現学習など深層学習に関連の問題を扱う国際会議
• deeplearning.net：Y. Bengio の研究グループがまとめている深層学習の情報
• NETtalk Test：1980年代後半に Sejnowski らが誤差逆伝播法を用いたニューラルネットの実用性を示したデモ
• Who Invented Backpropagation?：誤差逆伝播法に関連したアイデアは Rumelhart 以前にもいろいろな形で提案されていました
• Who introduced the term “deep learning”：“deep learning”という用語は，現在の深層学習研究が始まる前の1986年にすでにあるとのこと
• Deep Learning：やはり中心研究者であるY.~Bengioが執筆中の書籍のドラフト稿
• 「深層学習」が登場するツイート：日本語の『深層学習』という訳語は，ネット上では2011年5月には使われていました

正誤表

第8刷 (2017/06/30)

この刷では誤りは見つかっていません．

第7刷 (2016/10/31)

• p.xiii, L.12：「2〜3層の浅いのニューラルネットワーク」→「2〜3層の浅いニューラルネットワーク」
• p.14，最後の式のΣの中身：「\(\delta^{(n+1)}_j w^{(n+1)}_{k,j}\)」→「\(\delta^{(n+1)}_k w^{(n+1)}_{k,j}\)」

第6刷 (2016/06/30)

この刷では誤りは見つかっていません．

第5刷 (2016/04/30)

• P.161，Sec.5.2.4，L.3：「〜変換した\(32 \times 32 \times 1\) 画素の〜」→「〜変換した\(36 \times 36 \times 1\) 画素の〜」

第4刷 (2016/01/31)

• P.56，式(2.37)：「\(j \in \mathcal{N}_{i}\)」→「\(j \in \mathcal{N}(i)\)」
• P.57，アルゴリズム 2.3，4行目：「\(j \in \mathcal{N}_{i}\)」→「\(j \in \mathcal{N}(i)\)」
• P.57，式(2.38)：「\(j \in \mathcal{N}_{i}\)」→「\(j \in \mathcal{N}(i)\)」
• P.66，式(2.53)：「\(\displaystyle\prod_{j \in \mathcal{H}_2}\)」→「\(\displaystyle\prod_{j \in \mathcal{H}^{(2)}}\)」，「\(\displaystyle\sum_{j \in \mathcal{H}_1}\)」→「\(\displaystyle\sum_{j \in \mathcal{H}^{(1)}}\)」
• P.69，L.2： 「\(\tilde{\mathbf{v}}^{(0,m)}=\{v_i^{(0,m)} \mid i \in \mathcal{V}\}\)」 →「\(\tilde{\mathbf{v}}^{(0,m)}=\{\tilde{v}_i^{(0,m)} \mid i \in \mathcal{V}\}\)」， 「\(\tilde{\mathbf{h}}^{(r)(0,m)}=\{h_j^{(r)(0,m)} \mid j \in \mathcal{H}^{(r)}\}\)」 →「\(\tilde{\mathbf{h}}^{(r)(0,m)}=\{\tilde{h}_j^{(r)(0,m)} \mid j \in \mathcal{H}^{(r)}\}\)」（tildeの追加）
• P.121，文献[22]：「Daniel Jiwoong Im, Ethan Buchman, and Graham W. Taylor, Understanding Minimum Probability Flow for RBMs Under Various Kinds of Dynamics, International Conference on Learning Representations, 2015.」

第3刷 (2015/12/31)

この刷では誤りは見つかっていません．

第2刷 (2015/11/30)

• P.47：第1式の右辺 \(-\Phi(\mathbf{V},\mathbf{H};\theta)\) → \(-\Phi(\mathbf{v},\mathbf{h};\theta)\)
• P.50，L.2：「…観測データ点に依存する．隠れ変数…」→「…観測データ点に依存する，隠れ変数…」（読点を句点に）
• P.55：第1式の次行の先頭に挿入「ここで，\(\mathbf{s}^{(r)} = \{s_i^{(r)} \mid i \in \Omega\}\)としている．」
• P.57：アルゴリズム2.3のタイトル「平均場近似」→「平均場近似の逐次代入法による解法」
• P.57，L.6：「 \(\mathrm{E}_{p(\mathbf{X}|\theta)}[\mathbf{X}_i]\) 」→「 \(\mathrm{E}_{p(\mathbf{X}|\theta)}[X_i]\) 」
• P.57，L.8：「期待値の咳」の後に挿入「 \(\mathrm{E}_{p(\mathbf{X}|\theta)}[X_iX_j]\approx m_i m_j\) 」
• P.58，式(2.39)：左辺「 \(\Phi(\mathbf{v},\mathbf{h};\boldsymbol{\theta})\) 」
• P.58，式(2.39)：左辺「 \(\Phi(\mathbf{V}=\mathbf{v},\mathbf{H}=\mathbf{h};\boldsymbol{\theta})\) 」
• P.69，L.2：「…る．」の後に次の文を挿入「 \(\tilde{\mathbf{v}}^{(0,m)}=\{v_i^{(0,m)} \mid i \in \mathcal{V}\}\) は可視層 \(\mathcal{V}\) からのサンプル点であり，\(\tilde{\mathbf{h}}^{(r)(0,m)}=\{h_j^{(r)(0,m)} \mid j \in \mathcal{H}^{(r)}\}\) は第 \(r\) 層目の隠れ層からのサンプル点である． 」
• P.69，式(2.58)：左辺「 \(\mathrm{E}_{p(\mathbf{V},\mathbf{H}|\boldsymbol{\theta})}[X_i,X_j]\) 」→「 \(\mathrm{E}_{p(\mathbf{V},\mathbf{H}|\boldsymbol{\theta})}[X_iX_j]\) 」（引数の区切りの「,」を削除）
• P.69，式(2.58)：右辺のベクトルの \(\mathbf{v}\) や \(\mathbf{v}\) をスカラーに変更
• P.76，式(2.66)の前行：規格化条件を変更「 \(\sum_{\mathbf{h}^{(1)}}q(\mathbf{h}^{(1)}\mid\mathbf{v}^{(\mu)})=1\) 」
• P.77，式(2.68)の次行：条件付き確率を「 \(q(\mathbf{H}^{(1)}\mid\mathbf{V})\) 」に変更

第1刷 (2015/10/31)

この刷では誤りは見つかっていません．