基于内容表达的小肠胶囊内窥镜视频筛选系统研究

Capsule endoscopy(CE) is a new noninvasive technology to examine the small bowel, however, about 30,000 images in a video are produced in each test for the samll bowel, which take about one hour on average for a physician to review. To solve the challenging problem of reducing the burden of physicians, we propose a new computer aided screening system for capsule endoscopy(CE) based on content description. To overcome the low resolution of CE video, new color textural features that are suitable for description of the video frame and are robust to illumination change will be proposed based on multiscale local binary pattern. Built upon such a content description, the inter-frame difference and an adaptive local thresholding method will be utilized to segment the small bowel CE video into different parts for tackling low frame frequency. To handle the problem of unstable motion of a CE in the small intestine, the key frame among each part,which will be concatenated to form the CE video screening result, is obtained through by constructing reference frame based on maximal spatial and temporal color distribution frequency. Physicians can be alleviated by reviewing the obtained small bowel video abstract. This proposal will effectively boost the development of computer aided diagnosis for CE video, building a good basis for the next generation of CE.

胶囊内窥镜是检查人体小肠疾病的一项新技术，每次检查产生近三万幅小肠图像，医生平均需约一小时查看视频数据。为解决医生浏览视频负担重这一挑战性难题，本项目拟通过基于视频内容表达的新思路来实现小肠胶囊内窥镜视频筛选系统的研究。针对小肠内窥镜视频分辨率低这一难点，提出适于描述帧内容的多尺度局部二进模式彩色纹理特征，该特征同时能较好地克服光照变化带来的影响；基于此内容描述，利用多帧间相异度模型和自适应局部阈值分析把小肠胶囊内窥镜视频分割成不同的视频段，这样能有效克服胶囊内镜低帧频的影响；在不同的视频段里面，为了克服胶囊不稳定运动所产生的挑战，提出基于颜色时空分布最大频度的参考帧来提取关键帧，把所有关键帧组合以完成对小肠胶囊内窥镜视频的筛选，从而大幅度减少医生所需分析的视频量进而减轻医生的负担。该项目将有效促进胶囊内窥镜计算机辅助诊断系统的发展，并为下一代胶囊内窥镜的研制奠定良好的基础。

胶囊内窥镜是检查人体小肠疾病的一项新技术，每次检查产生近三万幅小肠图像，医生平均需约一小时查看视频数据。为解决医生浏览视频负担重这一挑战性问题，本项目通过基于视频内容表达的新思路来实现小肠胶囊内窥镜视频筛选系统的研究。针对小肠内窥镜视频分辨率低这一难点，提出适于描述帧内容的多尺度局部二进模式彩色纹理特征，该特征同时能较好地克服光照变化带来的影响；基于此内容描述，利用多帧间相异度模型和自适应局部阈值分析把小肠胶囊内窥镜视频分割成不同的视频段，这样能有效克服胶囊内镜低帧频的影响；在不同的视频段里面，为了克服胶囊不稳定运动所产生的挑战，提出基于颜色时空分布最大频度的参考帧来提取关键帧，把所有关键帧组合以完成对小肠胶囊内窥镜视频的筛选，从而大幅度减少医生所需分析的视频量进而减轻医生的负担。. . 特征研究方面，我们先后提出了改进型词袋模型、基于显著度及自适应编码、基于空间金字塔和高斯局部二进纹理模式的相关图像特征，并在疾病检测和视频摘要方面取得了不错的研究成果。对于出血、炎症、息肉等常见病症，实现了逼近90%的检测准确度。视频摘要方面也实现了在80%压缩率的情况下，信息再现度90%的较好成果。关键帧提取方面，我们主要研究了基于颜色空间分布和时间分布的方法，能够对视频主旨进行较好的表达。相关研究成果发表在Medical Physics, IEEE Transactions on Medical Imaging, IEEE Transactions on Automation Science and Engineering, IEEE International on IROS 等有影响力的期刊及国际会议上面。 .整个研究工作对于胶囊内窥镜图像及视频的分析奠定了较好的基础，并产生了一定的影响力，目前我们的工作在整个胶囊内窥镜图像方面根据Google Scholar 统计，累计引用次数接近2000次。