東京大学大学院工学系研究科電気系工学専攻の矢谷浩司准教授らのグループは、ユーザが行う教示動作を基に、撮影された静止画においてどの部分にユーザがAIモデルに学習させたいと思う物体があるかを推定し、その部分に重きをおいて学習を行うことができる対話型AIモデル構築システムLookHereを構築しました。このシステムにより、ユーザはシステムが学習させたい物体部分がAIモデルの学習に使われるかを事前に確認することができ、信頼性のあるAIモデルの構築に繋がります。さらに、LookHereシステムを実現するために収集した、ユーザの教示動作の画像データセットHuTicsも公開しており、ユーザインタフェースや人工知能の研究者・技術者が自由に使用して、新たな技術やアプリケーションを構築していくことが期待されます。

本研究成果は、2022年10月31日（米国太平洋夏時間）に国際会議 The ACM Symposium on User Interface Software and Technologyにおいて口頭発表とデモを行いました。

発表のポイント：

・ユーザが行う物体を示す動作（教示動作）を基に、撮影された静止画においてどの部分にユーザがAIモデルに学習させたいと思う物体があるかを推定し、その部分に重きをおいて学習を行うことができる対話型AIモデル構築システムLookHereを構築しました。
・持ち上げて見せる、指し示すなど、人間が自然と理解できるユーザの教示動作を、AIモデルの学習において明示的に考慮できるシステムを実現し、ユーザが意図する物体を正確にAIモデルの学習に取り入れることを可能としました。
・本研究成果はAIの専門家や開発者でない一般のユーザが信頼性のあるAIモデルを構築することを助け、AI開発の市民化を加速させることが期待されます。

jp
Technologies
0