![Banner small](../assets/banner-small-2021.png)
![Banner large](../assets/banner-2021.png)
3次元映像処理(2012年度)
- RESEARCH THEMES (2012)
概要
近年映像の3次元化が進み,3次元映像技術の重要性が日に日に増している.相澤・山崎・松井研究室ではそれに先駆けて3次元映像の取得や表示に関する基盤技術を研究してきた.現在は複数台の手持ちカメラを用いて密な3次元構造を復元する技術,動画像から人物の3次元運動を追跡する技術,デプスカメラを利用して前景の微細領域を抽出したり,それを複数台組み合わせて被写体のメッシュモデルを生成する技術,カラー画像を利用した奥行き画像を超解像技術等の研究開発を行っている.
TOFカメラを利用した高精度アルファマッティング
近年TOF(Time Of Flight)カメラ等のデプスセンサが安価になり,背景合成等で必須の前景領域抽出に利用される機会が増えてきた.しかし髪の毛のように細かく,曖昧な境界を持っている対象を撮影した場合に存在する測定誤差がコンテンツの品質を下げる要因となっている.この問題を解決するために,我々は距離画像の高精度化と前景境界を表す透明度の推定(alpha matting)を同時に行う事によって双方の精度の改善する手法を提案した.更に一般的なTOFカメラによって取得可能な近赤外画像も併用する事によって透明度推定の更なる改善が可能である事を示した.
透明度推定結果
距離画像高精度化結果
スパース回帰に基づいた照度差ステレオ法
照度差ステレオ法は,様々な光源環境によって生じる陰影の手掛かりを統合して,物体表面の密な法線マップを復元する技術である.広く用いられている手法は,観測輝度を光線方向および法線方向によって規定する単純なランバート反射モデルに対する逆問題を解くが,鏡面反射や影,画像ノイズ等のモデルから逸脱する成分が含まれた場合に誤った結果をもたらす.この問題に対して,我々は個々の逸脱成分が画像内で限られた領域でしか存在しないという事実に基づくスパース回帰モデルを考案し,逸脱に対して頑健な照度差ステレオ法を開発した.
実画像実験結果
法線方向のX,Y,Z のそれぞれの方向に対して球面上で色を対応させ可視化した
多視点距離画像からの3次元メッシュモデル復元
デプスカメラを利用すれば,特定の視点におけるシーンの距離画像を容易に取得する事ができる.しかし,距離画像間の空間的関係性は明示的ではないため,それらを統合して完全な3次元モデルを生成する事は容易ではない.我々はこの問題を解決するために,ICP(Iterative Closest Point)法に基づいて統合された3次元点群を仮想視点へ投影し,仮想視点に基づいてメッシュ化を行う事によって,高速かつ高効率に距離画像の統合とメッシュモデルの生成を行う技術を開発した.
実画像実験結果
左から,(1)入力画像,(2)距離画像,(3)復元された3 次元メッシュモデルを表している
多視点映像からのマーカレスモーションキャプチャ
特殊なスーツやマーカ等に頼らず映像のみから被写体の動きや3次元オブジェクトを高精度に復元する事は非常に重要な課題の一つである.我々はこの問題に対して高次元空間における人物姿勢抽出に基づいた運動追跡および高精度メッシュモデル推定法を提案した.提案手法は多視点映像から生成された粗いボクセルモデルを人体部位に基づくセグメントに分割し,それらから抽出された疎なサンプルを用いて隣接するフレーム間の運動を推定する.同時に推定された運動情報と入力シルエット画像を利用したメッシュ変形によって次フレームのメッシュモデルを生成する.評価実験によって提案手法が側転や逆立ちといった比較的高速な運動も頑健に推定可能である事が示された.
運動推定および3 次元モデル復元結果
左から,(1)入力画像,(2)復元されたスケルトンモデル,(3)復元された3 次元メッシュモデル,(4)人体部位のセグメント結果,を表している