头动眼动数据融合的视线方向算法研究与应用

　　文档类型：研究论文
　　适用人群：计算机视觉、人机交互、心理学、智能监控等领域的研究人员、算法工程师及高校相关专业学生

　　文档核心内容：
　　该论文针对视线估计中头部姿势适应性差、精度不足的难点，提出一种基于三目八光源系统与深度卷积神经网络的头眼运动数据融合方法。研究从视线参数特征提取、头部姿态特征提取、头眼数据融合模型构建三个层面展开，通过非穿戴式设备采集人脸、人眼及头动数据，利用改进的ResNet18网络实现多源数据融合，最终将视线估计精度提升20°，为正脸分类准确率达到99%的实验结果提供了有力支撑。

　　可解决的实际问题：
　　在复杂头部运动场景下，传统视线估计方法易受头部姿态变化干扰，导致注视方向判断偏差。本文方法通过融合瞳孔中心、普尔钦斑、人眼图像及头部姿态（横滚、俯仰、偏航角及三轴位置速度）等多维特征，有效补偿头部运动对眼动的影响，适用于人机交互、驾驶行为分析、心理状态监测等需要高精度实时视线追踪的实际场景。

　　正文内容：
　　视线方向作为个体注意力的直接体现，在计算机视觉研究中具有重要地位，广泛应用于人机交互、心理学等领域。然而，头部姿势的多样性给视线估计的精确度带来了显著挑战。现有方法往往难以同时适应不同头部姿态并保持高精度，成为该领域的关键瓶颈。本研究在系统分析国内外视线估计算法的基础上，提出一种基于三目八光源系统与深度卷积神经网络的新方法，通过头眼运动数据融合来突破这一难题。

　　视线参数特征提取是本研究的第一步。该方法采用非穿戴式三目八光源系统，首先利用Haar特征与Adaboost算法完成人脸检测，再通过ASM算法对宽视野图像中的人脸特征点进行跟踪，从而截取人眼图像。为了提升视线精度，研究使用卷积神经网络从三个方向随机采集的人脸图像中识别出正视屏幕时的正脸，分类准确率高达99%。在正脸对应的人眼区域中，借助双重Haar-like特征提取器初步定位瞳孔位置，随后结合椭圆拟合与形态学像素模型精确确定瞳孔中心坐标。对于普尔钦斑（角膜反射光斑），通过图像阈值处理将其变为高亮点，运用Canny边缘检测算子与查找算法获取斑块位置，最后采用质心法得到普尔钦斑中心坐标。至此，视线参数特征（人眼图像、瞳孔中心、普尔钦斑中心）全部提取成功。

　　头部姿态特征提取是融合模型的重要组成部分。该研究将头部姿态数据定义为横滚角、俯仰角、偏航角以及空间三轴的位置与速度。为了高效获取这些数据，采用惯性传感器与基于图像的头部姿态估计相结合的策略。首先，利用四阶龙格库塔法、毕卡逼近法和加速度插值积分法将头部姿态的旋转四元数转化为旋转角度，实现传感器姿态运动的实时跟踪。同时，图像法根据人脸特征点，通过三维人脸模型变换将三维特征映射到二维空间，并调整深度参数来解算头部姿态角度。两种方法的结合显著提高了头部运动测量的效率与鲁棒性。

　　头眼数据融合视线估计模型是本文的核心创新点。基于实验室研究背景，研究团队专门设计了数据采集实验，招募八名研究生志愿者，在模拟操控过程中实时记录其人脸、人眼及头动数据，并以此数据集计算视线落点。通过分析头眼协调运动关系，发现头部运动能够补偿眼部运动，因此将头部数据与视线数据融合。具体实现上，对ResNet18网络的全连接层进行改进，将不同形态的人眼图像、瞳孔中心坐标、普尔钦斑坐标以及头部姿态数据作为多模态输入，进行联合训练。原本用于分类的网络结构被改造为回归任务，最终将视线估计精度提升了20°，验证了融合策略的有效性。

　　结论与建议：
　　该研究通过三目八光源系统与深度卷积神经网络的结合，成功构建了头眼运动数据融合的视线估计模型。实验结果表明，正脸分类准确率达99%，视线精度提升20°，有效解决了头部姿势变化带来的精度下降问题。建议后续研究可进一步扩大数据集规模，引入更多头部运动模式，并探索轻量化网络结构以实现实时嵌入式部署。

　　文档评价：
　　本文方法在特征提取环节兼顾了精度与效率，融合策略充分利用了头眼运动的互补关系，实验设计严谨，数据真实可靠。对于从事视线追踪、人机交互及多模态数据融合的研究者具有较高的参考价值，尤其适合需要高精度、非接触式视线估计的应用场景。

　　使用建议：
　　阅读时可重点关注视线参数特征提取中的双重Haar-like与椭圆拟合方法、头部姿态中惯性传感器与图像法的融合策略，以及改进ResNet18的多数据输入结构。若需复现实验，建议准备三目八光源硬件系统，并参照论文中的志愿者数据采集流程。