![Banner small](../assets/banner-small-2021.png)
![Banner large](../assets/banner-2021.png)
ライフログ(2012年度)
- RESEARCH THEMES (2012)
研究概要
スマートフォンなどの各種デバイスが小型化・高性能化し,ブログやSNSの生活の記録・共有の広まりが進んでいる.個人の生活体験を長期間記録する環境が整いつつあるといえる.本研究室ではそのような個人体験記録を対象に,画像・映像を中心とした大容量情報の構造化に関する研究を行っている.
膨大な体験記録を処理していくためには,コンテンツのみならずコンテキストと言われる付加情報を最大限に活用する必要がある.たとえば加速度センサや照度センサなどの各種センサデータのほか,GPSや無線LANによる位置推定技術などを用いたユーザ位置情報も重要である.汎用のログばかりでなく,特定応用のログが実利用のために重要であると考え,下記のような提案をしている.
スケッチによる領域と経路の指定
クラスタリング
クエリーと結果
ストリートビューによるビジュアルツアー
食事ログの研究
より高度な処理を志向した特定行動限定のライフログシステムを提案している.これは,日々の食事を画像として解析することで,ユーザの食生活をより良いものにする手助けとなることを目標としている.現在,誰でも無料にhttp://www.foodlog.jp/において利用できる.ユーザは食事画像を撮影し,時折,画像解析の間違いを修正することで,自らのマルチメディア食事記録をつくることができる.
食事画像の抽出,栄養バランスの自動推定といった機能があり,画像認識における特徴抽出・機械学習といった技術を用いて実現している.現在,画像解析の新たな手法による精度向上,カロリー推定,食事傾向に基づく推薦などに取り組んでいる.
食事画像抽出(左),食事バランス推定(中央),確認・修正(右)
食事ログシステムのインタフェース
食事画像からのカロリー推定
食事の記録を行う上で多くの人々が気にするのは,その食事のカロリーであり,ユーザがアップロードした一般の食事画像から自動的にカロリーを推定することで,より簡便な食事記録を行うことが可能になる.
本研究では,食事画像から複数の特徴量を抽出して,辞書データと照合し,個別にカロリーの推定値を算出して,それらの重回帰分析を行うことにより,食事画像のカロリー推定を直接行う手法を提案した.更に,テクスチャなどの特徴量の利用,辞書データのより一層の充実などにより精度を上げることを試みた.最終的には,カロリー誤差±20%以内の正解率が38%,±40%以内の正解率が79%となった.
カロリー推定概要
食事ログ画像のクラスタリング
ユーザがアップロードした食事画像を分析することで各ユーザの食習慣を表現することができる.本研究では,食事記録として撮影された画像群を要約する手法として,食事画像間の類似度や,階層クラスタリングを用いた,食事画像のクラスタリングを行った.
クラスタリングによって得られる各クラスタが,撮影者の食習慣を表していることから,異なる食習慣を持つ撮影者によってアップロードされた食事画像をまとめてクラスタリングを行うと,クラスタがユーザー毎に分割されることを確認した.
食事画像のクラスタリング例
食事画像からのメニュー推定
ユーザがアップロードした画像に写った食事のメニューを推定することでより簡単に詳細な記録をとることが可能になる.本研究では,食事画像から,色やテクスチャ,局所特徴などの複数の特徴量を抜き出し,様々な認識手法によって,最も食事画像に適したメニュー認識手法の比較検討を行なった.
食事画像のメニュー認識例