有限像素下仿生视觉假体图像语义翻译研究

The pixels-limited bionic visual prosthesis can hardly reflect the "real" of the physical world, so the current bionic visual prosthesis can not satisfy the needs of human visual perception perfectly. Studies have shown that the difficulty of pixels-limited bionic visual prosthesis image processing lies in how to keep the image semantic information best after downsampling, and the traditional image processing technology can't handle it. Artificial intelligence technology is the best way to realize image semantic translation now, so in order to solve the problem, this topic propose the translation of biomimetic visual prosthesis image semantics by generative adversarial nets. It can achieve the pixel reconstruction of human, object and space structure, transforms the physical "real" to the sensory "real", so that humans can acquire conceptual knowledge easier. This topic will establish a conceptual mapping network by generative adversarial nets, achieve the semantic translation of pixels-limited bionic visual prosthesis image and get rid of the information loss problem caused by the downsampling, develop a control method of image semantic and improve the quality of training samples, establish a set of semantic consistency evaluation indicator and improve the quality of the generated samples, improve the intelligent level of bionic visual prosthesis and enhance the action ability and the social ability of blind patients.

有限像素的仿生视觉假体图像难以反映物理世界的“真实”，所以当前仿生视觉假体无法健全地满足人类视觉感知的需求。研究表明，有限像素下的仿生视觉假体图像处理的难点在于如何在降采样后仍能最佳地保留图像的语义信息，而传统的图像处理技术无法做到这一点。鉴于人工智能技术是当前实现图像语义翻译的最佳手段，所以为了解决该问题，本课题提出使用生成式对抗网络翻译仿生视觉假体图像的语义。该翻译过程将人、物、空间结构进行像素化的重建，把物理的“真实”转换为感觉的“真实”，从而让人类更方便地获取概念性知识。本课题预计将使用生成式对抗网络建立一个概念映射网络，实现有限像素下仿生视觉假体图像的语义翻译，解决降采样造成的信息丢失问题；开发一种图像语义控制方法，提高网络训练样本的质量；建立一套语义一致性评价指标，提高网络生成样本的质量；提升仿生视觉假体的智能化水平，增强失明患者的行动能力与社交能力。

为了提升仿生视觉假体的智能化水平，增强失明患者的行动能力与社交能力，本项目致力于对有限像素下仿生视觉假体图像的语义翻译进行研究。本研究产生了多项理论成果与技术成果：.1.我们揭示了在有限像素下，仿生视觉假体图像存在两种语义损失：空间语义损失和频谱语义损失。针对这两种损失，提出了语义一致性评价标准，及其相应的基于生成对抗网络的图像语义翻译训练策略，提高了生成样本的图像质量，并通过心理物理学实验进行了证明了我们的评价标准和训练策略的有效性.2.使用生成式对抗网络成功建立了概念映射网络，名为F2Pnet (face to Pixel networks)的人脸像素化网络。该网络能够在保持语义不变性和可理解性的前提下，将高分辨率的人脸转换为低分辨率的仿生视觉假体像素人脸，实现了有限像素下仿生视觉假体人脸图像的语义翻译.3.建立了第一个为仿生视觉假体应用设计的像素人脸数据库，命名为AIRS- PFD。它包含1278个像素大小为25×23的人脸图像，以及各种带有标签的特征和表情。在此基础上，我们通过心理物理实验建立了该数据库的人类基准，并将所有数据开放给世界各地的研究者.4.将概念映射网络在树莓派4B上进行了部署并达到了17.7fps的实时性要求.本研究产出期刊论文5篇（SCI 收录3篇，EI收录1篇，SCI投稿1篇），EI收录国际会议文章4 篇，提交申请专利4项。培养两名硕士生，一名已毕业，一名在读。.项目直接经费26万元，已使用248033.11元，结余11966.89元，各项支出与预算基本相符。项目结余经费将用于发表论文、著作所产生的费用和知识产权事务费用。