GEB読書メモ 形式システムと諸々の創発的特性について
形式システムと知能の関係について
P308
「コンピュータはしろと言われたことしかできない」という古い金言があるが、これは次の2つの点を見逃している。すなわち、我々はコンピュータに「しろ」と言ったことの結果をあらかじめ分かってはいない（場合がある：例えば円周率を計算するプログラムは、円周率の値を知っていれば実行する意味がない）。また、プログラムが複雑になればなるほど、我々はコンピュータに何を「しろ」といったのか明確には分からなくなるということだ。
P561,562
外界の事象の知的な内部表現を達成するためのプログラムの開発には、直接的な解釈ができない（現実の要素には直接対応付けられない）構造や過程を使わざるをえないだろう。心象及び類推の思考過程は、演繹的推論のように「最高レベルをすくいとる」ことはできない：創造性はある種の解釈不可能な低レベルの事象に決定的に依存している。
コメント
今日の人工知能の発展を牽引しているニューラルネットについて考えると、上記の事柄がより実感を持って理解できる。例えば、NNは円周率の計算と同様に、その出力の正確な値自体は事前に知らないタイプのプログラムである（逆：計算機の信頼性と速度を基盤とした「機械的な」応答をするシステム）。また「機械的な」システムと違ってプログラム自体がコードレベルで命令の内容と意図が理解できるものではなく、ニューロンや層といった高レベル記述に頼らざるを得ない。
さらに決定的なのは、NNの解釈性（説明可能性）についてである。恐らくモデルの登場時から長らく議論されてきたであろうこの問題は、我々の「直観的な」理解を超えた解釈不可能な状態ネットワークこそが、知能のもつ掴みどころのない高次的機能を生み出しているという考えを強力に支持するものだと思われる。
著者は「すべての人を打ち負かすチェス・プログラムは（中略）できないだろう」（P667）と予想している。チェスですべての人を打ち負かすプログラムは、チェス以外の全く関係ない事柄にも興味を示すような、全体的な概観能力をもった一般的知能（いわゆる汎用AI）になるだろうと考えていたようだ。この考えは第3次AIブームの初期段階で否定されてしまうが、この強力な手法をもってしても汎用AIへの道はいまだ見えてこないという事実から、知能の要件（学習、創造性、感情的反応、美的感覚、自我意識等）について今一度検討する必要性が示されているのではないか。
その他、話題にしたいこと
- 心の本質は自己認識や自己改変が可能なことにある。この事実はすぐさま「自己認識を行っている自己を認識する自己を...という無限連鎖」を想起させるが、心は出来の悪いプログラムのように無意味な無限退行に陥ったりはしない。このことは、心が自己言及できるシステムを含むさらに強力なシステムに支配されていることを表す（？）
ちょうどプログラムがプロセッサというハードウェアを前提としているように、脳というニューロンが固定配線されたハードウェアによって「底入れ」されている。
- 全く選択の余地がなく物理法則に従ったのみなのか、自由意志によるものなのか。なぜそのような感覚の違いが生まれるのか
自由意志は自己認識と自己無知の間に生じる。生理反応や無条件反射のような全く己の感知しない行動に関して自らの「選択」を感じることはないが、反対に自己と外界の全ての物理を把握している意識が仮にあるとすると、これも「選択」している感じは生まないだろう。
「意味」は単独では存在できない。図と地。禅。DNA及び複製プロセスの実現。
資本主義社会は人間に「取り換えが効く」という感じをもたせてしまうことによる弊害が非常に大きいことがますます明らかになってきている。そのような悩みが競争心や独創性を働かせることは言うまでもないが、行き過ぎたそれは不可避的に実存的不安をもたらす。
ところで、実際人間の脳はどの程度取り換えが可能なのか？ミミズなどの虫では神経細胞の数は1000程度であり、その神経細胞1つ1つがどの個体でも対応するらしい。人間の脳も解剖学的なレベルではほぼ完全な同型対応がとれるものの、それより下のレベルでは全くそのようなことは不可能で、実際我々がものを考える仕方は人によって相当に異なっている。
