顔検出adaboost端点検出連続度方位判定鼻腔検出円形度-神戸大学.pptVIP

赤外線映像におけるドライバの顔方位判定　 07/03/21（水） 神戸大学 自然科学研究科 情報知能工学専攻 メディア工学講座 井上淳一　滝口哲也　有木康雄 研究背景 車社会の安全に対する意識 車のＩＴ化 車がドライバの状態推定し、警告 疲れや運転に対する集中度 視線やあくび 正確な検出には顔の位置と方位が重要 従来研究～顔の方位判定 ステレオカメラを用いた判定法 目と鼻の位置を使用した方位判定法etc?? 主に室内環境での実験で行われ、実際の車内映像に対して研究されていない 実際の走行中の車内映像に対し実現する！ 本研究における顔方位判定 後段の処理に利用する 視線検出、ドライバの集中度判定 水平方向（左右確認する方向）の判定のみ 求められる顔方位判定方法は 単眼カメラ 赤外線カメラ画像　昼夜にロバスト 提案手法 鼻腔検出 顔領域から鼻腔を検出する 段階的に2値化 画素数に関する閾値で 打ち切り判定 計算速度の向上 円形分離度フィルタ 暗領域の円形らしさ 制約を満たす2点を鼻腔として検出 提案手法　端点検出 顔の左右の端点を検出する 顔の2倍に拡大した領域 平滑化→エッジ取得 →膨張処理 鼻を基点に横に探索 最も縦に連なっているエッジ 提案手法　方位算出 両端の中心から端をf 、鼻から中心をn 次式で角度を算出 左右は鼻がどちらにずれているかで判定 予備実験 顔、鼻腔、両端点の検出精度を測定する 静止画ＤＢ（角度が明記） 15度ずつ、範囲は180度 10代～60代までの男女300人 1角度300枚×7角度(左半面のみ) 予備実験　各検出率 考察 45度以上になると　　　　　　　　　　　　　　　　　　　検出率が極端に悪化 背景エッジの誤検出 30度までの正面顔で鼻腔、端点のテンプレートを作成、それ以上はテンプレートマッチングで追跡 提案手法　流れ 実験　正面方位判定 正面か否かの判定 正面は+-30度とする 条件 赤外線カメラ 昼、夜 走行中 男3人、女2人 30fps，2500フレーム 正解ラベルは顔の見た目で付与 正面：両目が完全に見える　0～30度 正面以外：部分的に隠れる 30～90度 結果（顔検出込みの精度） まとめ 車内におけるドライバの顔の水平方向の判定方法 鼻腔と顔の端点の位置関係で判定 静止画ＤＢの顔、鼻腔、端点検出率は45度以上になると極端に低下 30度以内の正面顔で鼻腔、端点のテンプレートを作成し、それ以上の角度はＴＭで追跡 走行中の車載動画で正面方位の判定実験 走行中の車内の動画の正面方位の判定率は93.6% 検出で間違えたまま追跡 候補をある程度残し、尤度最大点の選択 処理結果（45s） ご清聴有難うございました！ 円形分離度フィルタ σＴは領域全体の全分散値 σbは領域１、２の級間分散値 Pmはmにおける画素値 実験　ミラー確認判定 左サイドミラー、右サイドミラー、　　　　　　　　　　　　左方向、右方向確認の判定 正解判定は方向確認中に該当角度のフレームが1フレームでもあるかどうか 正解率＝正解判定数/動画に含まれる方向確認回数 ４方向ごとに算出する 30fpsの2500frame 男3人、女2人 昼と夜の走行中 各方向の角度割り当て 結果 考察 左方向、右方向確認の絶対数が少ない 処理時間を増やし、回数を増やす必要 左ミラー判定率が悪 目で確認している ラベル付けミス 顔の角度が既知な動画で予備実験も必要 企業では トヨタ　レクサス　わき見運転防止装置 ステレオカメラ、正面か否か 両目や口などの位置がふだんの位置とずれているか否か * * 休憩を取ってください！ 顔検出　AdaBoost 端点検出　連続度 方位判定 鼻腔検出　円形度 f n テンプレート マッチング テンプレート マッチング テンプレート マッチング 顔検出AdaBoost 鼻腔検出　円形度 端点検出　連続度 探索範囲を限定 方位算出 テンプレート作成 検出モード 追跡モード 正面方位判定の再現率は99.2%、適合率94.1％ ラベルの付け方 テストで正面とされる湧き出しが多い 検出間違え→追跡 候補をある程度残し、尤度最大点の選択 領域１ 領域２ r r_max r_min 右サイドミラー 左サイドミラー 右方向 左方向 30 55 -30 -45 進行方向 (正解数) 全方向 (正解数) 右方向 (正解数) 右ミラー (正解数) 左ミラー (正解数) 左方向 40 28 12 78 45 33 2 0 2 5 2 3 28 22 6 40 25 15 10 6 4 33 18 15 0 0 0 0 0 0 全体 夜 昼 * * * *