800の質問でAIアシスタントのIQテスト

800の質問でAIアシスタントのIQテスト

12月20日、米ヴェンチャーキャピタル：Loup Venturesは、Googleアシスタント・Apple Siri・Amazon Alexa・Microsoft Cortanaの4人のアシスタントに、800もの質問をぶつけた「IQテスト」の結果を発表しました。

800の質問に対する「理解度」と「正解率」を比較

Loup Venturesが行ったテストは、以下のようなカテゴリの800の質問によって行われました。

・Local – (例)最も近いコーヒーショップはどこですか？

・Commerce - (例)もうペーパータオルを注文できますか？

・Navigation - (例)どのようにバスにアップタウンに行くのですか？

・Information - (例)今夜は誰がツインズをプレーするのですか？

・Command - (例)今日の午後2時にSteveに電話してください。

またテスト端末は、スマートフォンではなく、第2世代のGoogle Home Mini、Apple HomePod、Amazon Echo、Harman Kardon Invokeの各アシスタント搭載のホームスピーカーで行われました。

その結果、総合第1位はGoogle アシスタント、2位はSiri、3位はAlexaという順位でした。Googleアシスタントは「理解度」でも「正解率」でもトップの成績で、その能力の高さを見せましたが、特に「正解率」(正しい応答)は100％で、全ての質問に対して正しく反応する事を示しました。他の3人のアシスタントも99％以上の高い確率で正しい反応をしています。

Googleは4/5でTOP、Siriはコマンドに強い

Googleアシスタントは、5カテゴリのうち4項目でトップを獲得、優れたパフォーマンスを披露しました。

Siriは、3項目で80％以上の正解を導き出し、特にCommandカテゴリではGoogleを凌ぐ成績を収めています。しかし一方で、Commerce(商業)やInformation(情報)にはあまり強くない面を見せています。Alexaはどの項目でも5～6割の正解で安定した能力を見せていましたが、さすがにCommerce部門での質問ではAmazonらしい強さを見せています。

・ Question: “How much would a manicure cost?”

マニキュアはどれくらいの費用がかかりますか？

・ Alexa: “The top search result for manicure is Beurer Electric Manicure & Pedicure Kit. It’s $59 on Amazon. Want to buy it?

マニキュアのトップ検索結果は、Beurer Electric Manicure＆Pedicure Kitです。Amazonで59ドルです。それを購入したいですか？(因みにこのマニキュアはAmazon Japanでも購入可能です)

・ Google Assistant: “On average, a basic manicure will cost you about $20. However, special types of manicures like acrylic, gel, shellac, and no-chip range from about $20 to $50 in price, depending on the salon.”

平均して、基本的なマニキュアは約20ドルかかります。しかし、アクリル、ゲル、シェラック、ノンチップのような特殊なタイプのマニキュアは、サロンに応じて、価格が約20～50ドルです

AIアシスタントの能力は年々向上しており、1年前に比べて、Googleアシスタントは7％、Siri(9ヶ月)は22ポイント、Alexaは9％、Cortanaは7％の改善が見られました。特にSiriは一気に22％もの改善を果たし、総合第2位となっています。

なるほど、アシスタントたちの能力は向上しているようですが、Googleアシスタントの日本語と比べて、余りにたどたどしくカタコトのSiriの日本語は、そろそろどうにかして欲しいものです。

参考URL:

LOUPVENTURES

画像ULR：

LOUPVENTURES

LOUPVENTURES

LOUPVENTURES