【AI】2019年大学入試センター試験英語筆記科目においてAIが185点を獲得！[11/18]

サンダージョー ★

2019年11月18日
https://www.ntt.co.jp/news2019/1911/191118a.html

　日本電信電話株式会社（代表取締役社長：澤田純、以下、NTT）は、NTTグループのAI関連技術corevo®※1の研究開発、および大学共同利用機関法人情報・システム研究機構国立情報学研究所（所長：喜連川優、以下、NII）の人工知能プロジェクト「ロボットは東大に入れるか」※2（以下、東ロボ）の一環として、大学入試センター試験（以下、センター試験）の英語筆記科目に挑戦した結果、2019年センター試験の英語筆記本試験において、185点（偏差値64.1）の極めて高い成績を達成しました。NTTがこれまで継続的に取り組んできた、センター試験の英語科目の自動解答技術や、深層学習を用いた自然言語処理に関する知見を適用することで、最新の深層学習による機械読解技術を単純に適用した場合の成績に対し、30点以上（偏差値約7相当）の改善を実現しました。
研究の背景・意義

　NTTのコミュニケーション科学基礎研究所※3（以下、NTT CS研）では、機械翻訳や情報検索、対話処理などに応用可能なコンピュータによる自然言語処理、知識処理の基礎研究に取り組んでいます。

　人間は社会の実際的な問題を解くために、さまざまな自然言語処理を統合的に行っています。たとえば、ある特定の話題について、文献を調査しレポートにまとめるといった問題は、文書の内容を理解し、それらの要約をまとめ、文の流れを整えるという自然言語処理が統合的になされる必要があります。今後、自然言語処理の技術が、より人間に役立つものとなるためには、人間が扱うような社会の実際的な問題に対して、有効性を評価していく必要があります。

　「東ロボ」プロジェクト（プロジェクトディレクター：新井紀子教授）は、NIIが中心となって1980年以降細分化された人工知能分野を再統合することで新たな地平を切り拓くことを目的に、若い人たちに夢を与えるプロジェクトとして発足しました。具体的には、センター試験や東京大学の第2次学力試験を用い、人間が実際に解く問題を人工知能がどこまで解けるのかを明らかにすべく研究活動を進めています。この中で、英語問題は、自然言語処理、知識処理の統合的な問題を多く含みます。NTT CS研では、「東ロボ」プロジェクトを自然言語処理、知識処理の基礎研究を進めるベンチマークと捉え、センター試験に含まれる多様な英語問題に対する自動解答に関する知見を積み重ねてきました。

　一方で、近年深層学習に基づく文書読解技術が急速に進展しています。その最新技術であるXLNet※4は、大規模テキストによる事前学習を行ったベースモデルに、問題の性質に合わせた転移学習※5を施すことで、異なる種類の問題を比較的少量のデータから効率的に解くことを可能にしています。しかしながら、学習に利用できるデータが大きく不足している問題や、解答に辞書的な情報が不可欠な問題では、十分な精度で解答することが困難でした。

　今回、XLNetでは解答が困難であった、不要文除去・段落タイトル付与・発音問題について、NTT CS研を中心とした東ロボ英語チームの独自技術を適用しました。その結果、2019年本試験では点数が大きく伸び185点（200点満点、適用前154点）、受験者中の偏差値は64.1（独自技術適用前57.0）を達成しました。また、同じ技術を過去3年間のセンター本試験・追試験に対して適用した結果も、安定して偏差値60以上を達成できました（図1）。
https://www.ntt.co.jp/news2019/1911/image/191118aa.gif
https://www.ntt.co.jp/news2019/1911/image/191118ac.gif

（続きはソースで）