面部特征定位性能在手术环境中的评估-计算机科学-人工智能-计算机视觉-面部检测算法.pdfVIP

面部特征定位性能在手术环境中的评估

InesFrajtag,MarkoŠvaco,andFilipŠuligoj

FacultyofMechanicalEngineeringandNavalArchitecture,UniversityofZagreb,

Croatia

ines.frajtag@fsb.unizg.hr

摘要机器人技术、计算机视觉及其应用在包括医学在内的各个领域中越

来越广泛。许多面部检测算法已在神经外科、眼科和整形外科等领域得到

本应用。使用这些算法的一个常见挑战是可变的光照条件以及检测位置的灵

译活性，以识别并精确定位患者。所提出的实验测试了在控制环境下利用机

中械臂自动调整位置来检测面部特征点的MediaPipe算法，同时手术灯光

和仿真人头保持固定位置。本研究结果表明，在手术照明下提高面部特征

1点检测的准确性显著增强了在较大偏航角和俯仰角下的检测性能。标准偏

v

8差/分散度的增加是由于对选定面部特征点检测不精确造成的。此分析允

4许讨论将MediaPipe算法整合到医疗程序中的潜在可能性。

2

8

1Keywords:MediaPipe，旋转角度，手术室，照明

.

7

0

51介绍

2

:

v

i随着科技和自动化的进步，医疗实践取得了显著的发展，为提高医疗程

x

r序的精确性、效率和安全性提供了新的解决方案。传统的手术方法通常依赖

a

外科医生的经验[1]和视觉技术，这可能会导致人为错误。现代智能解决方案

如机器人系统[2]、计算机视觉算法以及精准规划[3]被引入到手术环境中。

一种关键的计算机视觉技术是面部特征点检测，这使得识别特定的解剖

特征如眼睛、眉毛、鼻子和嘴巴成为可能。在医学应用中，特别是在整形手

术[4]、神经外科[3]或眼科[5]中，追踪特征点位置对于确定精确的手术部位

至关重要。大多数面部检测算法，如OpenPose[6]、MediaPipe[7]、Dlib库

[8]和FaceNet[9]均作为开源工具提供，并广泛用于情绪识别[10]、监控和身

份识别等任务。然而，这些算法在手术室中的应用尚待进一步探索。面部识

别算法和面部特征点检测在手术室中的实施有助于无缝识别患者手术的目

标区域。这不仅加快了手术过程，还通过在整个手术过程中持续跟踪面部及

2InesFrajtagetal.

其特征来提高安全性。本研究中提出的一个具体研究问题是：光照条件如强

度和角度如何影响手术室内面部特征点检测的准确性和重复性？

MediaPipe是一个基于BlazeFace方法[11]的开源框架，本研究的目的

是评估其在真实手术室条件下检测面部特征点的算法。

实验涉及使用带有附加3D相机和人体模型的机械臂，在控制医疗条件

下进行测试，所有设备均设置在手术室内。

此外，本研究旨