田口善弘先生の「知性とはなにか」を読みました。まずこの本の第一の主張は、「大規模言語モデルLLMの構造は非線形非平衡多自由度系と何も変わらない」ということ。結構人工知能の歴史について触れている。中でなるほどと思ったのは人工知能に常識を持たせることの難しさ。専門的なロジカルなものは教えやすいのかも知れないけど、常識は確かに定義するのが難しい。第三次のAI革命はディープラーニングから始まったと思うけど、ニューラルネットワークはそれまで局所解に落ち込んでしまう、汎化性能も低いモデルという評価だったが、①既存の文章を隠して当てさせる穴埋め問題と②二つの文章が続いているかを判定する問題を学習することで、ChatGPTに代表される大規模言語モデルが生まれた。これは漠然とした学習を大量にやらせた基盤モデルと追加の個別学習である転移モデルの組み合わせで、文脈依存の単語の類似度を測れる高精度の単語の地図の作成に成功したことが要因。これは論理演算ではなく、単語の並びを予測させるモデル。現在人工知能と呼ばれるものは、現実の情報そのものを論理的に学ばせたのではなく、人間の脳というフィルタを通して、言語化された情報を言語の並びとして理解しているということ。さて、最初に戻る。つまり非線形非平衡多自由度系は現実を表現するシミュレータモデル。脳も現実を表現するシミュレータモデルで、シミュレーションした結果は同じような結論を導くけどモデルとしてまったく違うもの。LLMは現実を論理的に理解しているのではなく、現実を表現する言葉を予測するもの。だから、人間の脳と現在のAIの代表であるLLMは違うもの。もちろん、LLMの発展形には知性も感情もないというのが結論なのかな。とりあえず、自分はそういう風に理解した。
