ライフログ

当研究室はライフログと呼ばれる分野を開拓してきた.個人の生活体験のデジタル記録の取得,活用のために,スマートフォンさらにはウエアラブルデバイスの普及とともに,ライフログは始まっている.膨大なデータの処理,複合的なログの集約と連携,直感的なデータの可視化等が技術的な課題になる.汎用的なライフログに始まり,特定応用に向けたライフログを集約的に処理,利用する形態を追求している.

特に,食事ログの研究開発とその社会展開に取り組み,FoodLogと称するシステムを公開した. 開発したスマホツールで収集した食事記録数は,優に100万件を越えた.その共通性や個人等の差異,傾向の予測といった解析,大規模実データを使った認識等の課題を進めている.

ライフログについてもっと詳しく

3次元映像処理

実世界と3次元データをつなぐ技術が大きく進展している.取り込む技術としては,画像・映像から取り込むコンピュータビジョンの技術の進展,Kinectに代表されるデプスカメラも多用されるようになってきた.出力も,単なるグラフィックだけでなく,3Dプリンタも普及しつつある.カメラ自体もドローンの出現で自由度が大いに増している.

しかしながら,技術をスケールさせ,単一オブジェクトからシーンへ拡大することへの課題は未だに多い.対象オブジェクトも,動的なものになると困難になる.その利活用についても,通常のビデオや画像にははるかに及ばない.これまで,複数視点からの動的な対象の3次元復元,3次元データの圧縮,人物の動き解析,Kinectなどのデプスカメラ画像を用いた動作解析,デプス画像の超解像といった課題に取り組んできた.

3次元映像処理についてもっと詳しく

漫画に対する画像処理

漫画やアニメーションといった文化のためのメディア処理を進めている.とりわけ,漫画は,日本を代表するコンテンツであるものの,画像処理の対象にされることがとても少なかった.さらに,2値であるために通常の自然画像処理が通用しにくいという困難な対象でもある.

大きく2つの観点からの検討をすすめている.一つは,検索であり,スケッチに基づく漫画検索を実現し,インタラクティブな漫画の検索を進めている.セリフの認識などによる情報を取り込むことで,マルチモーダルな検索を目指す.もう一方は,作画支援であり,参照画像を用いた彩色,検索結果の漫画を利用した支援等に取り組んでいる.これらの要素技術として,セグメンテーション,スクリーントーンの分離など基礎的な課題もある.また,作家94名の協力を受け,世界的に希少な学術利用のための漫画データセットManga109も構築している.

漫画に対する画像処理についてもっと詳しく

ビジュアリゼーション

  • 大規模高速画像検索

    膨大なデータをコンパクトに表現し,可視化するための技術,直積量子化を用いた大規模な画像データベースの高速検索,内容を考慮したランキング,アスペクト比不変の画像コラージュの高速生成,ソーシャルメディアのデータを利用した個人アルバムデータの分類,感性を考慮した検索等の課題も検討している.

  • シンデレラテクノロジー

    女性研究者と共同でシンデレラテクノロジーと称して技術を介した女性のメークアップに関する研究も進めている.

ビジュアリゼーションのためのメディア処理についてもっと詳しく

一般のユーザが,高品質なコンテンツを生成したり適切なタグをつけたりするのは意外と難しい.そこで大規模データのマイニングにより,ユーザ一人一人の好みに応じたコンテンツ生成活動の支援したり,ユーザの体験そのものの質を高めたりする研究を行っている.最終的に,ユーザが日々生成するビッグデータそのものが高品質で豊かなものになり,その結果さらにビッグデータ解析が加速化するという「高富化」を目指している.

画像・映像のみならず,音声,テキストタグ,文書など多岐にわたるメディアを処理対象としている.具体的には,以下の3つの段階に分けて研究を行っている.

  • 行動デザイン支援
    例)旅行支援(ルート推薦,写真撮影支援,穴場推薦など)
  • 要素作成支援
    例)高品質な写真撮影支援
    例)人気獲得のための支援・推薦
  • コンテンツ作成支援
    例)高品質な動画作成支援
    例)プレゼンテーションの分類・評価・向上支援

大規模マルチメディアデータによるユーザナビゲーションについてもっと詳しく

画像認識・機械学習

当研究室では,機械学習も問題の難しさによって回答に対する自信が変化し,さらに自信が低い時には誤り率が高くなるという機械学習の「確信度」モデルを提唱している.機械学習の確信度を精度よく推定する手法,確信度が低い時に認識結果をより正しそうな結果に更新する手法などについて検討している.最近流行しているディープ・ラーニングにおいても「確信度」が算出できることも確認している.

最新の画像認識・機械学習アルゴリズムでは,最高の性能を得るために数多くのパラメータをチューニングしなければならないことが多い.しかし,扱う問題が変わったときにはそれらのパラメータを再度最適化しなければならず,大変な労力がかかる.そこで,進化計算などをもちいて複雑な画像認識アーキテクチャやパラメータを自動的に最適化する研究等を行っている.

画像認識技術の応用としてファッション画像検索なども行っている.

画像認識・機械学習についてもっと詳しく

画像処理の高速最適化

画像・映像処理では,解像度の増大化やデータの大規模化に伴い(例えば,10億枚以上の画像を扱っている),よりよい解を求めるための最適化手法と現実的な時間で計算するための高速化が求められる.そこで進化計算などを用いた最適化,階層処理による高速化,過去の処理事例の高速検索による画像処理などの研究を行っている.応用先は広く,ステレオ法による奥行き知覚,物体の動き解析,映像の非線形リサイズ,画像のコントラスト強調,物体認識など多種多様である.

画像処理の高速最適化についてもっと詳しく

その他

上記のカテゴリに属さない魅力的なマルチメディア・画像処理の研究も行っている.たとえば,下記に示すような研究を行っている.

  • 3次元モデルの圧縮品質とプリント品質の関係性評価
  • ビデオチャットやバーチャルミラーのためのデプスカメラを用いた顔モデルのリアルタイム生成・合成
  • 医用画像処理・認識
  • コンテンツセキュリティー(電子透かし,真贋判定)