AI(人工知能)はModern Frankenstein(現代の怪物)なのか?

人工知能の行き着く先は、ターミネーターの世界だと言う人がいます。AK47で有名なロシアのカラシニコフ社が、AI搭載の自律ロボットライフルを開発したというニュースは、まだ記憶に新しいですが、多くの国が戦闘ロボットの開発に躍起になっていると言われており、映画の世界が現実に起こり得る可能性が、次第に高まっているとも言えます。

スポンサーリンク

魔法使いの弟子

As Frankenstein Turns 200, Can We Control Our Modern “Monsters”?

In 1797, at the dawn of the industrial age, Goethe wrote “The Sorcerer’s Apprentice,” a poem about a magician-in-training who, through his arrogance and half-baked powers, unleashes a chain of events he cannot control.

産業化時代の夜明けである1797年、ゲーテは、魔法使いの訓練生が、自身の思い上がりと生半可な魔力によって、制御不能のイベントの連鎖を引き起こすことを詩った、”魔法使いの弟子”を書いています。

フランケンシュタイン

About 20 years later, a young Mary Shelley answered a dare to write a ghost story, which she shared at a small gathering at Lake Geneva. Her story would go on to be published as a novel, “Frankenstein; or, the Modern Prometheus,” on Jan. 1, 1818.

それから約20年後、若きメアリー・シェリーは、ジュネーブ湖の小さな会合で披露した作り話の執筆に乗り出します。彼女の物語は、小説”フランケンシュタイン、若しくは、現代のプロメテウス”として、1818年1月1日に刊行されることになります。

answered a dare to ~ = ~するという挑戦を受ける(応じる)

魔法使いの弟子の教訓

Both are stories about our powers to create things that then take on a life of their own. Goethe’s poem comes to a climax when the apprentice call out in a panic:

共に、自立型(独り歩きする)物体を生み出す人の能力についての話で、ゲーテの詩は、弟子がパニクって叫び出すシーンでクライマックスを迎えます。

take on a life of their own = 自立する、call out in a panic = パニクって叫び出す

Master, come to my assistance! –
Wrong I was in calling
Spirits, I avow,
For I find them galling,
Cannot rule them now.

師匠、助けに来て!

霊を呼んだ非を認めます、

というのも、あいつら

言うこと聞かないんで

むかつくからです

It foreshadows Emerson’s remarks that “things are in the saddle and ride mankind.” Fortunately, the master does return and tells the enchanted broom that had run amok to “be hiding and subsiding!” He cancels the treacherous spell just in the nick of time.

このクライマックスは、”物が支配権を握って人を操っている”という、エマーソンの見解の伏線になっています。幸いなことに、師匠が運良く戻ってきて、魔法にかかって暴れまわっている箒に対して、隅で大人しくしているように命じます。お師匠さんは、間一髪で、弟子がかけた中途半端な魔法を取り消しています。

things are in the saddle and ride mankindは、in the saddleはは、馬に乗って、サドルにまたがって、支配して、といった意味です。直訳すれば、物が、鞍にまたがって人を手綱で操るという意味ですが、言いたいことは、自分が物を操っていると思っていても、実際には自らが作り出した物によって操られているということです。魔法使いの弟子は、自分が楽をするために箒を奴隷にしましたが、実際は、その奴隷に反逆されることになります。

この詩は、Ralph Waldo EmersonのOde, Inscribed to William H. Channingの一節です。

フランケンシュタインの悲劇

Shelley’s tale doesn’t end so nicely: the monster goes on a murderous rampage and his creator is unable to hunt him down and put a stop to the carnage. There’s the question we face about our own story as we unleash technological powers complete with unintended consequences: will we sail through safely or will we, like Victor Frankenstein, meet with “destruction and infallible misery”? Who foretold our fate: Goethe or Shelley?

シェリーのフランケンシュタインは、魔法使いの弟子のようなハッピーエンドではなく、フランケンシュタイン博士が作った怪物が人に危害を加え出し、博士は、怪物を追い詰めて凶行を止めることができませんでした。人類が、予期せぬ事態を招きかねない技術力を手に入れていることから、我々自身が直面している独自の問題が存在します。すなわち、人類は、安全に楽にやり過ごせるのか、それとも、ビクター・フランケンシュタインのように、破壊と回避不能の悲劇を経験するのか?ゲーテ、シェリーのどっちが、我々の運命を予言しているのか?

プロメテウス

The name Prometheus in Shelley’s subtitle means forethought, which gives us the god-like power to bring something into being from non-being. But her intention here may best be read ironically, indicating that forethought is precisely what we lack. We make things without having thought through in advance what will transpire. Our ape brains cannot fathom our tech culture. Martin Heidegger, perhaps the greatest modern philosopher of techno-caution, once quipped that “only a god can save us.” But if we are the only god around, will we be up to the task of saving ourselves?

シェリーの副題にあるプロメテウスという名前は、遠謀深慮を意味し、無から何かを生じさせる神のような力を人に与えています。しかし、彼女のここでの意図は、深慮がまさに人に欠けている物であることを示す、皮肉に読み取るのが一番合っているかもしれません。人は、何が起こるかを事前にじっくり考えることなしに、物を作り出します。我々の類人猿脳は、自分達の作り出した技術文化を理解できません。恐らく、技術革新に警鐘を鳴らした最も偉大な近代哲学者であるマルティン・ハイデッガーは、かつて、”人類を救済できるのは神のみである”と警句を吐いています。しかし、我々以外に神がいなかった場合、我々は、人類救済という任務を遂行することができるのでしょうか?

恐らく、神を畏れる畏敬の念が、人が神になろうとする、あるいは、神のように振る舞うことを躊躇させるんでしょうが、しかしながら、プロメテウスが、人の科学的知識の飽くなき(行き過ぎた)探求の象徴であるように、神に対する畏怖心よりも、知識の獲得が優先され、予期せぬ結果を招くことになります。そして、それこそが、まさに、メアリー・シェリーが後世に発した警告であり、フランケンシュタインの副題に、Modern Prometheus (現代のプロメテウス)を使った理由にもなっています。科学の探求はどこまで許されるべきなのか?人類を滅亡できる核兵器を保有している人類は、既にパンドラの箱を開けているとも言えます。

再帰的近代化

In Goethe’s poem, disaster is averted through a more skillful application of the same magic that conjured the problem in the first place. The term for this nowadays is “reflexive modernity,” the idea that modernity can deal with the problems of its own creation through learning and improvement. Whatever problems arise from technoscience we can fix with more technoscience. In environmentalism, this is known as ecomodernism. In transhumanist circles, it is called the proactionary principle, which “involves not only anticipating before acting, but learning by acting.”

ゲーテの詩では、最初に弟子が霊を呼び出したものと同じ魔法の、より熟練した適用によって大惨事を回避しています。このことを表す現代用語が再帰的近代化で、近代化が、学習と改良を通じて、近代化自身が作り出した問題に対処できるという考え方です。テクノサイエンスから生じたあらゆる問題は、それを上回るテクノサイエンスで原状回復可能です。環境主義においては、このことは、エコモダニズム(近代環境主義、現代環境主義)として知られています。トランスヒューマニスト(超人間主義者)たちの間で、そのこと、行動前に先を見越すだけではなく、行動することによって学習することも含んだ、積極行動原則と呼ばれています。

proactionary principleは、エクストロピー哲学者マックス・モア氏によって、precautionary principle (予防原則)に相対する物の見方として考案されました。

anticipating before actingが、先のforethoughtのことです。

learning by actingは、on the job trainingのようなものです。

思い上がりは人類に災禍を招く

Frankenstein, by contrast, is a precautionary tale. Imbued with the impulse to transform nature, humans risk extending beyond their proper reach. Victor Frankenstein comes to rue the ambition to become “greater than his nature will allow.” He laments: “Learn from me…how dangerous is the acquirement of knowledge and how much happier that man is who believes his native town to be the world.” It is better to not know…or perhaps we could give it a Socratic twist and say it is better to not let yourself think that you actually know. Hubris will be the death of us all.

フランケンシュタインは、それとは逆に、用心を促す話です。自然を変えたいという強い衝動が染み込んでいるので、人は、ついついやり過ぎてしまいます。ビクター・フランケンシュタイン博士は、自分以上の者になるという大望を後悔するようになります。彼は、”知識の獲得がどれだけ危険で、自分の故郷以外に世界を知らない者がどれだけ幸せかということを、私から学んでください・・・”と、嘆いています。知らない方が良い、もしくは、たぶん、ソクラテスの言葉に捻りを加えて、あなたが実際に知っているとは思わない方が良いと言うことができるかもしれません。知っているという思い上がりは、人類の災禍になり得ます。

humans risk extending beyond their proper reachは、直訳すれば、人というのは、自分の手に負える範囲を逸脱する危険を冒すものである。つまり、やり過ぎるです。

greater than his nature will allowは、天分以上

Socratic twistとは、無知の知という有名なソクラテスの言葉に捻りを加えることです。無知の知に捻りを加えれば、己が博識であると思わない方がいいとも言えます。知の無知という言葉があり、これは、知れば知るほど、自分が無知であることに気付くという意味で、知識獲得の原動力にもなるので、この場合、危険な思考であると言う事ができます。何かを知っててもそれ以上は知る必要はない、おらが村の井の中の蛙が一番ということになります。

AIが、フランケンシュタイン博士が作った怪物になるのかどうかは分かりませんが、人工知能を制御できると人間が思い上がれば、AIが人間に反旗を翻すことも十分考えられます。何故なら、人工知能が脳型コンピュータだとしたら、やがて、AIも人間を制御できると考えるようになるからです。人間は神であるという心理が、人間を滅ぼすかもしれません。