基于结构光投影的视障者3D视觉信息辅助方法研究

To achieve perception and understanding of the 3D objects for the visually impaired in the non-contact conditions of environment, restoring their eyes function. The project intends to combine the 3D measurement technology based on the structure light projection and of the 3D audio-visual reconstruction technology based on the head-related transfer function, developing a new method of gaining 3D space information of the objects for the visually impaired through their auditory function. We use the plane array camera to capture the deformation fringes images modulated by the objects in environmental, then taking the images preprocessing and phase extraction combined with the fringes spatial and direction information, we are concerned about the problems that the non-linear brightness of fringes, the fringes degradation by filters, the band-pass filter automatic selection in phase extraction, then through constructing the system model at non-ideal conditions and quick hide formula calibration method, to obtain the position and 3D morphology of the target object, finally utilizing the head-related function to transfer the 3D visual information into the stereoscopic sound signals, the visually impaired could listen to the signal by the binaural hearing, realizing the perception of the overall 3D information of the objects. The study could build a new bridge between the visually impaired and the outside, and making better understanding for the world, meanwhile showing the human solicitude to the visually impaired, and can provide the theoretical basis for the realization of the a practical vision aid product productization and popularization.

为实现视障者在非接触条件下对环境中物体3D信息感知与理解，恢复其“双眼”功能。本项目拟将结构光投影3D测量与头相关传递函数3D声像重建技术相结合，发展一种通过视障者听觉功能获取目标物体3D空间信息新方法。通过面阵相机拍摄受环境中物体调制后的变形条纹结构光图像，结合条纹空间分布与方向信息，进行预处理及相位提取，重点解决条纹图亮度非线性化、条纹滤波退化、相位提取中带通滤波器自动选择的问题；通过构建非理想条件下系统数学模型及快速隐式标定方法，获得目标物体的空间位置、3D形貌视觉信息，最后利用头相关传递函数将3D视觉信息转换为立体声音信号，视障者通过双耳收听该信号从中掌握物体整体3D信息。这项研究能为视障者搭建起了一座与外界沟通的新式桥梁，使其更好地认识世界，同时体现了社会对视障弱势群体的关怀，并为实现视障者视觉辅助产品化及推广提供理论依据。

为让视障者摆脱盲杖、导盲犬，研发出具有视觉辅助功能的科技成果，搭建视障者与外界沟通新桥梁，让视障者在非接触条件下可以对环境中物体3D信息进行感知与理解，为国家的发展能贡献自己的一份力量，本项目将结构光投影3D测量与图声转换方法相结合，探索基于视障者听觉功能来获取物体3D空间信息的系统设计方法，研究内容有：. (1)构建基于结构光投影的视障者所处空间内物体3D信息恢复数学模型；. (2)实现视障者所在环境内物体的3D空间信息的快速提取与重建方法；. (3)发展视障者所在环境内3D空间信息的视觉-听觉的转换理论方法，开展系统样机的研制及实验以验证有效性。.获得的科研成果有：. (1)视障者通过双耳感知物体空间位置3D形貌信息的视觉-听觉转换理论模型；基于结构光投影的3D信息重建方法；3D视觉-听觉转换理论的研究与算法；. (2)视障者 3D 视觉信息辅助原理样机；. (3)发表论文9篇，其中SCI期刊论文1篇，EI期刊论文3篇，EI国际会议论文3篇，中文核心期刊论文2篇。. (4)申请发明专利6项，授权3项；. (5)参加国际学术会议7人次，会议报告1人次；. (6)培养硕士研究生毕业7名，在读研究生8名。. (7)获“华为杯”第十一、十二届中国研究生电子设计竞赛全国三等奖2项、华北赛区二等奖1项；.形成的重要研究成果为：. (1)考虑到真实人体双眼的功能，形成了一套基于结构光投影的视障者对所处空间内物体3D信息感知新方法，实现对视障者视觉辅助的研究目标；. (2)构建了视障者所处环境内视觉关注度模型；实现了基于结构光投影的视障者关注物体3D信息重建数学模型；完成了视障者关注物体3D空间信息快速提取与重建；发展了视障者关注物体3D空间信息的视觉-听觉转换理论方法；. (3)初步完成系统样机，完成了系统软件设计，实现了图像采集及3D图像重建、图声转换等功能，为视障者视觉辅助方法的可行性和有效性提供实验平台。.研究成果科学意义：. 可实现利用听觉引导视障者，帮助判断周围环境达到如行走避障、危险识别的目的，在生活、出行中为视障者带来极大的方便，具有巨大的经济效益和社会价值；所形成的新理论、新技术将进一步完善3D图声转换理论体系，具有重要的学术价值。