答えを出す方法を人間が決め、コンピュータが判断する。「このような状況であれば、これが正解」というように、人間のルールの中で手なずけられて稼働する。コンピュータによる機械学習がさらに発展し、人間の神経回路を模したニューラルネットワークが多層化することで、データ分析や学習が強力なディープラーニングは、コンピュータが勝手に判断するルールを探す。

機械学習では判断基準を指定する必要があるが、ディープラーニングではそれを自ら学習し、能力を向上させる。極めて複雑な関係のニューラルネットワークを解明するのは、現時点では不可能に近い。特徴量（目の付けどころ）を能動的に発見する賢さゆえ、どのような根拠で判断を下したかがブラックボックスとなる。

優れたディープラーニングが、難易度の高い病気の診断や治療を行い、“天才医師”となる。巨額の資金運用を任されれば、名うてのファンドマネージャーも敵わない。ところが、思わぬ悪い結果となったとき、なぜ失敗したかの原因を把握することは困難だ。このような診断を下した理由、この銘柄を選択した理由、さらには人工知能の欠陥なのか、正しく動いた結果が期待どおりではなかっただけなのかすら、分からない。仮に欠陥だとしても、ブラックボックスのままでは原因を特定するのが難しく、改善したくてもその方策を見つける以前の問題となる。

高度な人工知能になればなるほど、判断のプロセスも複雑になり、人間の理解から遠ざかる。人工知能が私たちの生活に欠かせなくなった10年後の日本を舞台とした映画『ＡＩ崩壊』。日常の健康から、重病を持つ方への投薬、手術に至るまで的確に処置をしてくれる医療ＡＩ「のぞみ」。人を救うはずの医療ＡＩ「のぞみ」が突然暴走を始め、人間の生きる価値を選別し、殺戮を開始する。大沢たかおさん演じる桐生は、警察からＡＩを暴走させたテロリストに断定されてしまい、日本中にＡＩ捜査網が張り巡らされる中、逃亡劇を繰り広げる羽目になる。全国民の個人情報を完全に掌握し管理している医療ＡＩ「のぞみ」がまさかの暴走をしたことで、人々はパニックに陥る。起きた事象もさることながら、高度で複雑な人工知能ゆえに、暴走を止めることの困難さがパニックにつながっていく。「ブラックボックス・パニック」とでも称そうか。中華人民共和国湖北省武漢市において、2019年12月以降、発生が報告された新型コロナウィルス。発生の報告後、瞬く間に国をまたいで感染者が世界各国に広がり、パニックとなる。予防や治療、感染状況、あらゆるものが未知数の中で、感染者の拡大ばかりが焦燥感を煽る。そこにデマも混ざり込み、真実が曇ることでパニックを助長する。新型コロナウィルスは人工知能ではないが、「ブラックボックス・パニック」に通ずる様相だ。プロセスや根拠がはっきりしないことは、目の前で起こる現象としての恐怖よりも、時として恐ろしく感じるものである。

人工知能が出した答えや判断基準が分からないという問題は、どんな結果であろうとも、プロセスを理解することで納得感を得たい人間の心理を揺さぶる。人工知能がどのようなプロセスを辿ろうとも、結果がよければそれで結構という考え方もあるし、ブラックボックスを透明化して説明責任を果たせる「説明可能な人工知能」を追究する専門家もいる。ただ僕は、これから増えると見ている「ブラックボックス・パニック」こそが人類にとって大きな脅威になると考えている。人間にとって、プロセスや判断基準に対する納得感は、結果同等に重要なのだ。天才人工知能医に家族の治療を委ねて、万が一が起きた場合、「治療のプロセスは説明できません。結果がすべてです」と、もしあなたが言われたら、それで納得できるだろうか。