面向医疗的三维视频采集与编码技术研究

The research and development of three-dimensional (3D) visualization technology used in telemedicine has become a hot field of medical engineering in the 21st century. 3D medical video provides a comprehensive, 3D depth perception visual effects. This research provides a new solution to the problems of physician-patient brought by the uneven distribution of medical resources in China and lack of clinical practice cases for medical teaching. This project propose a HEVC-based 3D video coding framework. It aims to tackle the problems of short shooting distance, serious blocking, high precision requirement of reconstructed 3D video, large texture differences among organs or tissues, great impact of bleeding in medical. The proposed framework uses spatially two dimensional video capture and multiview plus depth information coding. By the combination of Time-of-Flight laser ranging techniques and stereo matching algorithm, to study the depth information generation. By fitting the priori affine coefficients, to provide a new motion vector prediction for the texture information prediction between the view points. According to the clues of prospects and backgrounds in depth sequence,a jointly depth and texture video coding scheme with an adaptively QP adjustment technique is proposed. By the DIBR technology of interview occlusion compensation, the high-definition video of any view is generated. This project will promote the research and development of 3D medical video coding and play a positive role in the development of telemedicine and distance education in China.

面向医疗的三维可视化技术已成为21世纪医学工程领域的研究热点，三维医疗视频通过深度感知提供了全方位、立体化的视觉效果，为我国医疗资源分布不均导致的医患问题以及医学生缺乏临床实践病例问题提供新的解决方案。本项目以基于HEVC的三维视频编码框架为基础，针对医疗视频拍摄距离短、遮挡严重、重建三维视频要求精度高、各组织器官纹理差异大、受出血影响大等特点，提出空间二维度采集与多视点加深度的编码框架，通过飞行时间激光测距技术与立体匹配算法的融合，研究高质量深度图的生成；通过先验的多视点间仿射系数的拟合，对纹理视频的视间预测提供新的运动矢量预测；依据深度视频中前景、背景线索，自适应调整纹理视频的QP模型，提出深度与纹理视频的联合编码；通过视间遮挡补偿的DIBR技术，生成任意视点的高清视频。本项目将为我国三维医疗视频编码技术的研发及其在远程医疗与医学教育中的应用起到积极的推动作用。

摘要. 远端手术指导和手术示教是解决我国医疗资源分布不均、提高欠发达地区医疗人员业务水平的重要和有效手段。随着计算机科学、人工智能技术的发展，医疗人员在任何时间和地点进行全方位、真三维医疗视频观看和指导成为可能。如何高效地编码多视点医疗视频、精确地展现任意视点下三维医疗视频，成为当前远程医疗中的关键技术。.本项目在四年研究中，基于HEVC的三维视频编码框架，针对医疗视频拍摄距离短、遮挡严重、重建三维视频要求精度高、各组织器官纹理差异大、受出血影响大等特点，搭建了摇臂式、固定机位式三维医疗视频采集平台，研究了面向医疗视频的深度图生成算法，提出了改进的基于像素点的手术视频立体匹配深度图生成算法、提出了自发光式近红外光手术器械定位的深度补偿算法；研究了深度与纹理视频的高效编码，提出了关键帧标注信息到非关键帧标注信息的传递算法、提出了面向HEVC的自适应边界依赖的变换优化编码算法、提出了基于纹理梯度的帧内并行编码方法、提出了基于算数编码的概率估计模型优化算法、基于HEVC 3DV的自适应环路深度图滤波与基于非局部结构特性的纹理视频自适应滤波、提出了自适应运动矢量精度预测编码
；研究了面向HEVC的基于DIBR的相邻视点遮挡补偿的深度图合成算法，提出了基于系统采集医疗视频的虚拟视点合成算法、提出了基于空洞填补和置信度改进的HEVC 3D虚拟视点合成算法。.本项目针对医疗视频视野小、手术室无影灯、手术主刀医师位置等特点搭建了固定及摇臂式多视点医疗视频采集平台，获取手术室视频及虚拟手术室视频百小时级。项目组目前发表学术论文13篇，包括SCI或EI期刊论文、EI国际会议论文、国内核心期刊论文，发明专利1项。还将研究成果带入课堂，发表教学论文1篇。.本项目的研究将为我国三维医疗视频编码技术的研发及其在远程医疗与医学教育中的应用起到积极的推动作用。