chatbot(人工無能)はより高度なTuring test(チューリングテスト)が苦手らしいです。人工無能と言われるだけあって、考える能力が無いのも無理はありません。チャットボットはあくまでも、お遊び程度の感覚で使うもんという認識が無いと、非常にがっかりさせられる結果になります。みたいな話をどこかで聞いたような気がするのですが、チャットボットというのはそういうものなんでしょうかね~。
最近はチャットボットが人気があるらしく、チャットボットでピザの注文を取ったりする試みまでなされているようです(Pizza Hut and Whole Foods debut social media chatbots)。Facebookがchatterbotの可能性を切り開くみたいな事を言われていますが(Shopify launches chatbot on Facebook Messenger)、確かに将来性が楽しみではあります。
Winograd Schema Challenge
Tougher Turing Test Exposes Chatbots’ Stupidity
The Winograd Schema Challenge asks computers to make sense of sentences that are ambiguous but usually simple for humans to parse. Disambiguating Winograd Schema sentences requires some common-sense understanding. In the sentence “The city councilmen refused the demonstrators a permit because they feared violence,” it is logically unclear who the word “they” refers to, although humans understand because of the broader context.
「Winograd Schema Challengeは、コンピューターに、紛らわしくはあるのですが、人間にとっては構文分析が通常簡単な文章の意味を理解するように要求します。Winograd Schema文章の曖昧さを無くすためには、多少の常識的な理解力を要求します。“The city councilmen refused the demonstrators a permit because they feared violence,”という文章で、人間はより広範な前後関係により理解するのですが、theyが誰を言及しているのかは論理的に不明瞭でではあります。」
コンピューターは広範な前後の文脈から文章を理解することがかなり苦手なようです。人間にとって簡単なことが、コンピューターに難しいのは、コンピューターが文法を知らないからで、コンピューターに英文法を学習させられれば、人間以上に簡単に構文解析ができるようになるはずです。しかし現段階では、人工知能に英文法の深層学習をさせる事は不可能っぽい感じです。コンピューターが人間のような学習能力を得る事ができるようになる日は、果たして来るのでしょうか。それが問題なような気がします。
ちなみに、theyが誰を参照しているかと言えば、city councilmenでdemonstratorsではありません。誰がviolenceをfearedするのかを分かれば簡単に解けます。今のコンピューターがどの程度まで構文解析できるのかは知りませんが、この程度の文章の構文解析にもたついているようだと先が思いやられます。
チューリングテストの問題点
The problem with the Turing Test is that it’s often easy for a program to fool a person using simple tricks and evasions. But a program cannot parse Winograd Schema or other ambiguous sentences without some form of general knowledge.
「チューリングテストに関連する問題は、コンピューターが単純なトリックと言い逃れを使って人間を騙すことがしばしば簡単という事です。しかし、プログラムは、ある種の一般常識なしに、Winograd Schema、あるいは、他の曖昧な文章を構文解析することができません。」
以前も人工知能が簡単なトリックと言い逃れを使ってチューリングテストを簡単にパスできるという内容のことを書きましたが、チューリングテストに問題があるのは確かなようです。
常識的な論理的思考
common-sense reasoning will be required for even simple conversations with computers. “In shopping, if I say, ‘I want to get a case for my guitar; it should be strong.’ So does ‘it’ refer to the case or the guitar?”
「常識的な論理的思考は、コンピュータとの簡単な会話でさえ要求されます。”買い物の場面で、もし私が、ギターのためのケースが欲しい、itは頑丈でなければならないと言ったら、それで、itはケースを、または、ギターを参照していますか？”」
この場合、itは当然ケースを参照しているのですが、こんな簡単な構文分析も出来なかったら、真に実用的なチャットボットの誕生はまだまだ先なような気がします。
常識的な論理的思考は人間は得意でもコンピューターが苦手なのは、ただ単にプログラミングの問題で、要はアルゴリズムに問題があるという事です。コンピューターが考えるというよりも、全てはプログラマーのコーディング技術次第で、論理的思考能力ができるアルゴリズムを考え出せるコンピューターサイエンティストが必要なのではないでしょうか。