![Banner small](../assets/banner-small-2021.png)
![Banner large](../assets/banner-2021.png)
漫画・デジタルミュージアム(2012年度)
- RESEARCH THEMES (2012)
ナビログ-画像認識を用いた博物館ガイドシステム-
博物館において,展示品の写真を撮影すると,それを認識し,被写体や撮影が行われた位置を推定するソフトウェアである.従来は,サーバ上に画像マッチングエンジンとデータベースを置いていたが,このシステムはタブレット端末上に必要なデータや処理プログラムの全てを置いている.このシステム構成では,サーバや通信回線が不要なので,準備,運営を簡便に行うことができる.また,回線の品質による処理の遅れがない.
まず,ユーザは館内で展示品の写真を撮影する.ユーザが撮影した写真には,重要な領域(展示品)と,重要ではない領域(他のお客さんなど)が含まれる.撮影した写真の上を指でなぞってもらい,それを領域分割のヒントとするインタフェースを採用している.これにより,全自動で誘目領域を推定するより,高速に処理を行うことができる.領域を分割した後には,局所特徴量のBag-of-Featuresにより,データベース中の写真と撮影された写真のマッチングを行う.ユーザは,検索結果から適切なものを選択すると,それに関連する説明を見たり,それまでの鑑賞履歴を振り返ることができる.
データベースの構築には,労力が必要であるが,ソフトウェアのインタフェースを工夫することで,ユーザに作業の一部を分担してもらうことができる.写真のマッチング後に,正しい被写体の候補を選択する工程がある.これは,写真に対して展示品名のタグを付ける工程とみなせるので,ユーザの写真をデータベースの拡充に使用する.
デジタルミュージアムのための屋内撮影画像による位置推定システム
近年,博物館や美術館など屋内環境において,位置情報を利用したサービスが開発されている.屋外ではGPSやWi-Fiによる位置推定技術が使えるが,屋内では精度・コスト・設置の手間などからまだ実用的な手法が確立しているとは言い難い.そこで,画像処理に基づいて,屋内で撮影された画像から,観覧者の位置を推定するシステムの研究をしている. 事前に,博物館や美術館を全方位カメラにより撮影し,その写真に座標情報を付与する.博物館の来訪者は,一般のデジタルカメラや携帯電話などで写真を撮影し,サーバに写真を送信する.サーバでは,全方位カメラの画像と来訪者の撮影した写真の照合が行われ,事前に付与した座標値を得ることができる.
このように推定した位置の履歴を地図上に表示し,履歴をもとに展示会場内を仮想的に観覧できるインタフェースを開発した.
鉄道博物館内の位置推定可視化インタフェース
デジタルミュージアムのための疎な位置からの経路推定とその共有
上記のように,来訪者の位置情報を写真から推定すると,写真が撮影された地点を推測することはできるが,それらの位置情報は時間的に疎な情報である.したがってそれらをつなぎあわせて,一連の経路として可視化することが必要である.博物館の通路の位置を事前に入力しておき,写真による位置情報とその時刻を用いることによって,それらを自然につなぎあわせた経路を推定することができるプログラムを開発した.
また,プログラムが推定・オた経路をユーザごとに保存し,以前に訪れた思い出を振り返ったり,経路にコメントを付け,おすすめコースとしてほかのユーザに推薦したりすることができるWebインタフェースを制作している.
鑑賞経路の推定結果
漫画に対するリターゲティング
電子漫画を閲覧する際,画面と画像のアスペクト比が異なる場合,漫画を縮小しなければならない.これを解決するため,我々は漫画に対するリターゲティング手法を提案した.提案手法は,漫画中の重要な領域を指定し,それ以外の部分にSeam Carvingを行う.これにより,キャラクターは変更せずに背景の不要領域だけを削りリサイズすることができる.
白黒漫画キャラクタの半自動彩色
国内の漫画を海外に輸出する際に労力が必要な作業が彩色である.そこで我々は参照画像の色情報を伝搬させ彩色を行う手法を提案した.あるキャラクターに色を塗る際,その正解データとなる彩色済みの参照ソース画像を用意しておき,その色関係をマウスで指定しターゲット画像と対応をとることで,簡単に色関係を伝搬させ,数クリックで彩色することができる.
漫画の顔検出
漫画のような線画のキャラクタに既存顔認識技術は上手く働かない.もし漫画の顔検出ができれば,大量の漫画アーカイブに対するアノテーションなど,様々な応用が考えられる.そこで我々は漫画の顔検出技術を提案した.提案手法は候補領域抽出を行った上でHOG特徴量とSVMを用い,従来手法より高精度で漫画中のキャラクタの顔を検出することができる.
スケッチ入力による漫画検索
漫画のアーカイブ検索では著者名とタイトルに対する単純な単語検索しか行われていない.もし画像内容を考慮した検索を行うことができれば有益である.そこで我々はスケッチ入力による漫画検索手法を提案した.提案手法はEOH特徴量を用い,入力スケッチに似た領域を大量画像中から特定することができる.これにより,よく覚えていないキャラクターの検索や,構図による検索など,応用的な検索を行うことができる.