研究テーマ

Web操作エージェントにおけるGUI操作精度向上手法の提案

WebサイトのUX評価では，LLMを用いたWeb操作エージェントによる 自動操作が活用されている。しかし，LLMは画像をパッチ単位で認 識するため，クリック位置に誤差が生じるほか，画面情報を正し く理解できず，次に実行すべき行動を誤って判断する場合がある 。その結果，タスク成功率が低下することがある。本研究では， 既存のAvenir-UXを対象とし，画面情報を補助的に入力する手法お よびLLM内で判断を補完する手法を提案する。既存手法との比較実 験を行い，タスク成功率およびタスク完了までのステップ数を評 価指標として，各手法の有効性を検証する。

研究担当: 村川 人胤