マルチモーダルLLMの日本語拡張したベンチマークを作りました。既存のベンチマークであるMMMUを精査し、文化依存性の少ない24科目の日本語訳と新たに作成した文化依存性の大きな4科目の全部で1320の問い(1118画像)から構成されています。HPでは、主要なマルチモーダルLLMのベンチマークも行いました。
https://mmmu-japanese-benchmark.github.io/JMMMU/
https://mmmu-japanese-benchmark.github.io/JMMMU/