交互技术前沿学习分享 -----心得

• 交互技术前沿学习分享：关于《The Wiley Handbook of Human Computer Interaction》第21张章Corneal Imaging的学习心得
• 环境地图重建
• 多图像对齐
• 超分辨率图像估计
• 总结

交互技术前沿学习分享：关于《The Wiley Handbook of Human Computer Interaction》第21张章Corneal Imaging的学习心得

我们的眼睛是最重要的感觉器官之一，允许探索，分析，感知和与物理世界的视觉信息内容互动。 因此，眼睛及其运动为解释和理解一个人的愿望，需求，任务，认知过程，情感状态和人际关系提供了关键的贡献。眼睛独特的几何和光度特性为获取面部相关信息提供了重要的视觉线索; 它们独特的外观被用于生物识别和计算机图形学。
角膜成像的研究基于对眼睛结构的研究和模拟。

角膜映射可以分成以下三个关键步骤：环境地图重建、多图像对齐、超分辨率图像估计，其中多图像对其和超分辨率图像估计是设计图像处理和计算机视觉的部分，而第一步的环境地图重建则是依赖于对仿真模型测试结果的总结和逆向推理

环境地图重建

拍摄眼睛的图像捕获可见虹膜边界内的场景的镜面反射。使用开发的角膜反射模型允许恢复完整虹膜区域的反向光路。这相当于是一个逆向思维的过程，通过研究人体眼球，尤其是角膜的结构，建造实体物理模型，记录原图形和通过模型观测到的的图像，从而分析整个角膜成像的畸变过程，总结出逆向变换的公式，从而为角膜成像的复原做准备。此外，它编码角膜入射照明的方向信息，可用于一系列视觉任务，包括照明归一化和光度立体。

多图像对齐

关于连续视频帧中角膜位置的微小变化，可以假设角膜以世界原点为中心，其中对准任务相当于找到相对于世界帧的相机姿势。这是通过多步迭代过程实现的：（a）使用每个至少两个特征对应关系进行粗对齐LR图像。该环境地图之间的变换是围绕原点的旋转，通过最小化特征反射光线之间的偏差来估计。通过成对和束配准调整角膜球位置，进一步改善眼睛姿势估计。（b）通过使用正投影查找最小化均匀采样点处的绝对差之和（SAD），通过局部切平面中的图像匹配进行精细对准。通过平面中的2D子像素刚性配准来校正剩余的未对准。

超分辨率图像估计

对于每个LR眼睛图像，将感兴趣的区域投射到局部切平面，应用恢复的对准。获得的（LR）点表示在高斯点扩散函数（PSF）假设下通过基于MAP（最大后验）的SR方法估计的未知HR图像的非均匀样本（观察）。评估显示使用双边滤波器残留（MAP-BL）或双侧全变差滤波器（MAP-BTV）图像先验的策略表现最佳并且恢复丢失高频纹理（质量高到足以识别小字符，人脸和精细结构）。球面镜的类似结果表明其适用于其他非中心反射折射系统，例如日常环境中的镜面和液体表面。
这是整个处理过程中最重要的任务之一，因为经过处理之后的图像是模糊的（通过你想的推导，得到的目标图像往往只占捕获到的角膜图像的一小部分，方法并平整化处理之后图像会比较模糊），所以必须要经过估计处理，才能得到较好的结果。

总结

a~d：通过环境地图重建得到最初的处理图像
e~f：多图像对齐
g~h：超分辨率图像估计

本章全面概述了环境光照对角膜反射的建模，处理和分析，旨在提高对该主题的认识，促进新颖的发展。 内容涵盖整个处理流程，包括解剖背景介绍，几何眼建模技术描述，角膜反射建模，高级角膜图像处理，应用概述以及未来方向的讨论。
我们探讨了多个领域的相关性，包括视觉识别、计算机图形学、视觉、人机交互以及诊断研究。计算系统，设备和架构的进步需要新颖的接口和交互形式。 角膜反射分析将个体（眼睛）与物理世界联系起来有助于灵活地跟踪摄像机，眼睛和视觉场景信息，以解决各种问题。 这固有地允许在该领域中交互技术的临时和动态应用。
虽然角膜成像和应用是有前景的，但实际实施仍然需要更有能力的模型和解决技术问题的解决方案，以实现对无约束眼睛和场景信息的稳健处理。 对此，我们讨论了相关的未来方向，包括改进硬件，问题制定，替代方法和有趣的应用。促进灵活的框架，用于跟踪摄像机，眼睛和视觉场景信息，以解决各种问题。 这固有地允许在该领域中交互技术的临时和动态应用。