画像群中の物品発見における計算量削減手法の提案.ppt

画像群中の物品発見における計算量削減手法の提案 電子情報工学科 近山?田浦研究室 60395　田中五大 背景 ライフログ画像から物品を発見したい 発表の流れ 背景 研究に利用したマッチング手法について 提案手法 実験 考察 まとめ 発表の流れ 背景 研究に利用したマッチング手法について 提案手法 実験 考察 まとめ 研究に利用したマッチング手法について 特徴点ベースの手法を利用 マッチングの計算コストが少ない 物品が移動してもマッチングできる Harrisオペレータ [C. Harris and M. Stephens, ’98] 画像の輝度勾配を用いてコーナーを抽出 二次元変換（平行移動など）に比較的強い テンプレートマッチングで対応付け SIFT [David G. Lowe, ’04] 輝度勾配のヒストグラムを用いる 128次元ベクトルの特徴量 アフィン変換に強い耐性 発表の流れ 背景 研究に利用したマッチング手法について 提案手法 実験 考察 まとめ 提案手法の概要 ライフログ画像とサンプル画像の全組合せをマッチングするのは膨大な計算量 提案手法の概要 時間的に連続した2枚のライフログ画像どうしを比較し、サンプル画像とのマッチングを行うべきものとそうでないものとに分類 ライフログ画像の変化をマッチングで調べる ライフログ画像の変化＝ 物品の画面内への出現など、新たにサンプル画像とのマッチングが必要になったとき 普通は変化が少ない 提案手法の概要 変化があった場合のみサンプル画像とのマッチングを行えば、計算量の削減が期待できる 手法1 特徴点を抽出しマッチング マッチング対応点を削除 マッチングした＝同じ物品上の点 手法1 領域をいくつかに分割（パラメータ：div） 各領域内の特徴点の個数の差分を取り、閾値以上の領域を探す（パラメータ：lmt） 新しい物品があったとしたら、その部分に特徴点が固まって残る 手法2 特徴点抽出とマッチング ここまでは手法1と同じ 手法2 特徴点の削除 同一座標の点 マッチング対応点近傍の特徴点（パラメータ：thd1） 対応点のまわりに写っているものも同じ物品だろう 手法2 残った特徴点を繋げる 一定の距離以内に隣接する点を結んでいく（パラメータ：thd2） 狭い範囲の塊だけでなく、直線的に並んだ特徴点群なども検出 閾値以上の個数がつながったものを探す（パラメータ：bind） 発表の流れ 背景 研究に利用したマッチング手法について 提案手法 実験 考察 まとめ 実験 実験環境 プログラムはC++で記述、Linux上でコンパイル Intel社のOpenCV（＋IPL）を使用 sheepクラスタ（65台、CPU : Xeon 2.4GHz）で実行 ライフログ画像のデータ 2007/11/13～27に4台の定点カメラで撮影された画像 要件（後述）に合うものを適宜選ぶ 実験 3つの場面を想定 case 1 　微妙な変化があるもの(影やカメラの揺れ等) case 2 　物品の移動や人が横切るなど、見た目変化はしているがマッチングするべきではないというもの case 3 　確実にマッチングが必要と思われるもの → 各場面に合った10枚程度の時間連続画像を何セットか取り出し、実験対象に 実験 評価基準 「どの画像がサンプル画像とマッチングすべきものなのか」（正解）は人間が決める case 1, case 2はマッチングすべき枚数「0枚」が正解 case 3は画像により異なる false positive マッチング不要と判断すべきを誤って必要と判断 false negative 要マッチングと判断すべきを誤って不要と判断 こちらのが致命的 ? false negativeがなるべく少ないのがよい 実験 実験手順 まず手法1、2ともSIFTを用いて実験 各手法について、どの程度望む結果（false negative小）が出せているかを評価 その後Harrisオペレータについても同じ画像データで実験 HarrisオペレータでSIFTの代用が可能かどうかを検討 SIFTを用いた実験：手法1 パラメータ div：分割する領域（div×div個に分割） 　div = 5, 8, 10, 16 lmt：領域内の特徴点の個数の差の閾値 　20～60まで5刻み ?全体的に値が大きい方が条件が厳しい ?計36通りのパラメータの組合せで実験 SIFTを用いた実験：手法1 case 1, case 2 条件を厳しくすればfalse positiveも減少 SIFTを用いた実験：手法1 case 3 case 1, case 2で結果の良かったパラメータでは逆にfalse negativeがほ