基于视觉显著性的视网膜假体人工视觉信息处理方法研究

Retinal prosthesis is proposed as a way of restoring vision for blinding retinal diseases by electrically stimulating the remaining retina, which elicits the “artificial vision” to the implant recipient in the form of discrete phosphenes. However, the maximum number of implantable electrodes and the size of the implant are limited, thus resulting in a low-resolution visual perception restricted in a small visual filed. Visual information provided is far less than that by normal human vision. Clinical tests have reported that the recipients still have difficulties with basic visual tasks in daily lives. Focusing on this issue, this research will investigate applicable information processing in artificial prosthetic vision, using information science and cognitive science. Real-time and robust detection algorithms for objects in real life scene is to be studied, based on certain computational models of visual saliency. In view of limited phosphenes, some image strategies for useful information optimization will be put forward in order to assist the perceptual organization under artificial vision. On these basis, a simulated mobility experiment is to be designed and conducted for verifying the effect of the strategies on the ability of object recognition and scene identification. A portable simulated artificial vision system implementing the proposed strategies will be worn by a group of normal vision subjects and tested in real time. These studies on visual information processing in artificial vision will help to optimize the design of image processing and information coding in retinal prosthesis, which provides solid experimental and theoretical basis to visual function rehabilitation for the blind.

针对致盲型视网膜疾病，视网膜假体通过电刺激诱发的离散光幻视构成“人工视觉”，实现植入者的视觉功能修复。而受限于阵列尺寸和可植入电极数目，较之正常视觉，人工视觉是一种有限视野内的极低分辨率视觉感受。因而植入者所能感知到的视觉信息非常有限，在日常生活中开展基本的视觉任务仍然存在一定的困难。针对上述问题，本申请课题拟开展基于信息科学及认知科学的视网膜假体人工视觉信息处理研究。面向基本的物体识别，拟基于仿生视觉注意机制的显著性计算模型，研究有效的图像处理方法，实时准确检测场景中的感兴趣物体；探索物体和背景信息的光幻视优化配置策略，辅助植入者在有限的人工视觉下的知觉组织过程；进而开展仿真人工视觉下的行动能力实验，评估方法对日常环境下的物体识别和场景判断的影响。以上研究工作的开展，能够为视网膜假体中人工视觉信息处理和优化编码提供新的思路和理论依据，并为植入者术后视觉功能恢复评估研究奠定实验基础。

针对致盲型视网膜疾病，视网膜假体通过电刺激诱发的离散光幻视构成“人工视觉”，实现植入者的视觉功能修复。而受限于阵列尺寸和可植入电极数目，较之正常视觉，人工视觉是一种有限视野内的极低分辨率视觉感受。因而植入者所能感知到的视觉信息非常有限，在日常生活中开展基本的视觉任务仍然存在一定的困难。针对以上问题，项目首先围绕“视觉显著性计算” 在视网膜假体诱发的人工视觉信息优化中的解决方案和应用可行性研究，基于图像全局亮度对比方法，改进提出可以适用于人工视觉下的优化表达方法。根据公开数据集的测试结果，方法对于显著物体的检测优于基础算法并能够实现快速处理。通过仿真人工假体视觉下的动态识别实验，对比验证方法能够提高自下而上的物体识别能力。表明本方法对于提升假体设备性能的有效性和预示其未来应用的可行性。研究方法的同时，根据近年本领域研究中的实验设计，构建起基于便携式移动工作站、轻型HMD、无线摄像设备的仿真实验平台，提出在仿真系统中整合面向AI技术的处理单元，为视网膜假体设备硬件提升和人工视觉仿真处理系统的设计提供了参考。同时，配套平台设计了移动端应用程序，用于在开展仿真实验时，便于对光幻视各类参数的可视化调整。为提高移动端应用程序与服务器端的协同开发效率，增强应用程序的可扩展性和测试效率，研究仿真软件移动编程优化设计，提出基于指令驱动模型的移动编程通讯接口，本部分内容为视网膜假体设备应用的可交互性，及更高效的设计开发提供了一定的技术方法参考。进一步，在该平台上设计并开展仿真实验，验证对比提出方法在人工假体视觉下的信效度和可行性。在研究基于显著性计算的图像识别方法过程中，利用当前主流深度学习实例分割技术，改进提出显著性计算与深度主动轮廓模型的决策级图像深浅特征融合技术框架，并针对果实目标检测识别开展应用研究。以上研究工作的开展，能够为视网膜假体中人工视觉信息处理和优化编码提供新的思路和理论依据，并为植入者术后视觉功能恢复评估研究奠定实验基础。