マスターアルゴリズムとは...
それは、過去、現在、未来に渡るすべての知識を獲得できる万能学習器のこと。中でも重要なのは、未来に関する知識だ。人間の認識能力は時間の矢に幽閉されているのだから。いや、機械学習の次元では、そんなものに束縛されないのやもしれん...
かつて計算機に仕事をさせるには、まず目的に適ったアルゴリズムを書き下ろし、それを計算機に喰わせるというのが定番であった。機械学習は、これとは違う方針をとる。それは、データに基づいて計算機自身が推論し、自らアルゴリズムを編み出すことにある。さらにデータが不十分と見れば、その収集、分析までもやってのける。
万能チューリングマシンが演繹的であるのに対し、マスターアルゴリズムは極めて帰納的だ。経験値を積めば積むほど、人間の仕事はどんどん奪われていきそうな...
叙事詩人ヘシオドスは、こんなことを詠った。誠実な労働生活こそが人間のあるべき姿... と。仕事を失った人間は、どうなるのだろう。生き甲斐までも失っちまうのか。いや、仕事の定義も変わっていくだろう。究極の機械学習が編み出されれば、逆に人間が機械に問われるやもしれん。人間足るとはどういうことか？と。それで機械に説教されてりゃ、世話ない...
機械学習の根本には、ヒュームの帰納問題が内包されている。それは、「すでに見たものを汎化して、まだ見たことがないものにも適用することを常に正当化できるか。」という問いである。それが正当化されないとしても、そこに人間は答えを出す。誤っていようとも。失敗を重ねながらも。そもそも学習とは、そうしたものであろうし、現在を生きるとは、そういうことであろう。
つまり、思考アルゴリズムには、ある程度の無駄も必要ということになる。何事にも遊びがなければ、心に余裕が生まれない。機械学習に心が芽生えるかは知らんが、そうした余裕のようなものが機械学習にも必要なのやもしれん。それが、帰納法的思考の本質なのやもしれん。
合理主義か経験主義か、理想論か現実論か、はたまた演繹法か帰納法か... こうした概念の狭間で人間の思考は揺れる。そして、機械学習の思考アルゴリズムもまた...
さて、しつこい前戯はこのぐらいにして...
本書は、機械学習の学派を大まかに五つに区分する。記号主義者、コネクショニスト、進化主義者、ベイズ主義者、類推主義者と。ペドロ・ドミンゴスは、この五つの学派を統合する視点から、より強力なアルゴリズムの構築を試みる。言うなれば、いいとこ取り...
尚、神嶌敏弘訳版(講談社)を手に取る。
それぞれの学術的立場は...
「記号主義者」は、すべての知識は記号化、言語化できるという信念のもとで人間の知能をモデリングする。それは、コンピュータの構造が数学的であることを最も忠実に再現しようとする立場と言えよう。
「コネクショニスト」は、ニューラルネットワークによる神経細胞の結合の強さなどを調整して、人間の脳をモデリングする。
「進化主義者」は、学習原理を自然淘汰に求め、人間が長い年月をかけて獲得してきた経験値から認識メカニズムを構築する。
「ベイズ主義者」は、すべての関心事を不確実性に絡め、事前確率をもとに確率的推論を組み立てる。ベイスの定理は、この不確実性と事前確率の関係を記述する。
「類推主義者」は、事象間の類似性を解析し、一つの類似点を見つければ、他にも類似している点があると仮定しながら知能モデルの幅を広げていく。
それぞれの最適化アルゴリズムは...
記号主義者は、論理を信条とした逆演繹法。
コネクショニストは、ニューラルネットを基軸とする誤差逆伝搬法や勾配降下法。
進化主義者は、適合度探索による遺伝的プログラム。
ベイズ主義者は、重み付き論理式を実装した確率伝搬法やマルコフ連鎖モンテカルロ法。
類推主義者は、最近謗法やサポートベクトルマシンを用いた制約付き最適化。
こうして各学派を渡り歩いていく中で、過学習、ノーフリーランチ定理、次元の呪い、バイアス - バリアンス分解、探索と活用のジレンマといった機械学習でよく見かける問題を紹介してくれる。
「過学習」とは、特定のデータパターンをあまりに多く覚え込んでしまったために、例外や未知のデータへの応用が利かなくなり、柔軟性を失うといった現象。
「ノーフリーランチ定理」とは、学習器がどれくらいうまく予測できるかについての制限を示すもので、「いかなる学習器も、無作為な推測よりよい予測はできない」と告げる。学習アルゴリズムには必ず偏向が見られ、あらゆる問題を汎用的に解決することは理論的に不可能であると。
「次元の呪い」とは、空間次元の増加に伴い、目的を特定するのに必要な訓練量が指数関数的に増えるというもの。例えば、最も簡潔かつ高速な学習アルゴリズムとされる最近謗法は、二次元や三次元ではうまくいっても、ちょいと次元が増えるだけで行き詰まったり。高次元では、サポートベクトルマシンが重み付きの k 近傍法に見えたりと。
「バイアス - バリアンス分解」とは、それぞれ「偏り」と「分散」に当たる語で、予測結果に対する調整の指標とされる。そして、判断材料とされるデータに、どれだけノイズが含まれるかが問われる。例えば、学習器が同じ誤りを繰り返すなら、バイアス傾向にあり、より柔軟性のある方向に調整する。あるいは、誤りに一定の傾向が見られなければ、バリアンス傾向にあり、より柔軟性を抑えた方向に調整する。
「探索と活用のジレンマ」とは、探索と活用のタイミングを問う問題で、例えば、うまくいった方法を一度見つけ、それをずっと続ければ、もっとよい方法に出会う機会を失う.... あるいは、他にもっと良い方法があるはずだと躍起になるあまり、過去に出会った最適な方法を見過ごしてしまう... といったこと。
こうした機械学習が抱える問題は、そのまま人間の認識に当てはまる。知識が多すぎるために、判断を誤ったり、行動を躊躇したり。学問の専門化が進めば、逆に視野が狭くなって全体像が見えなくなったり。調査活動に夢中になるあまり肝心な行動が鈍ったり、行動を急ぐあまり調査が不十分であったり。理想の人との出会いを求めるあまり、最良の人との出会いを不意にしたり...
パターン化と柔軟性、調査と行動、専門性と汎用性といったものには、少なからずトレードオフの関係にある。そして、情報量が増えれば、ムーアの法則のごとく指数関数的に選択肢も増え、混乱も増える。
「生命を計算機と捉えて考えると、多くのことが明らかになる。計算機にとっての先天性とは、その上で実行するプログラムであり、後天性とは、計算機が取得するデータである。どちらが重要かという疑問は滑稽である。プログラムとデータの両方がなければ出力結果は得られないし、出力結果の 60% がプログラムによるもので、40% がデータによるものという類いのものでもない。これは、線形モデルに囚われた思考の一種であり、機械学習に慣れ親しめば克服できる。」
しかしながら、これら五つの学派をもってしても、共通した欠陥があるという。それは、正しい答えを教えてくれる教師が必要だということ。人間とて、先生に教わらずして学ぶことは難しい。
その証拠に、手っ取り早く学ぶためにノウハウセミナーはいつも活況で、ハウツー本はいつも大盛況ときた。恋愛レシピから幸福術、あるいは人生攻略法に至るまで。多忙とは、威厳をまとった怠惰に他ならない... とは誰の言葉であったか。
大量のデータにもめげず、自己分析を地道にやり、真に独学を実践するという点では、人間よりも機械学習の方が得意であろう。そして、真に自立型アルゴリズムへの道は... 一つの方程式が石碑に刻まれる。過去を振り返るな！と...
P = ew・n / Z
左辺は、確率 P。右辺は、重みベクトル w とその個数 n の内積に指数関数を適用して、全ての積の総和 Z で割る。マルコフ過程に基づいた言語認識プログラムは、方程式を並べ立てればモデル化できそうな予感。ここには、一つの呪文が透けてくる。すべての機械学習器が自己無矛盾である必要があるのか？と...
「さあ我等が治める地を一つにせん。そなたは我が規則に重みを加えられよ。さすれば、この地の果てまでも新たな表現が満ちるであろう。... そして、我等が世継ぎは、マルコフ論理ネットワークとならん！」
