基于成像畸变模型的鱼眼图像直接处理算法研究

The fisheye image is imaging by fisheye lens which has super wide-angle and the field of view generally at 180 degree to 230 degree. The circular fisheye image has ultra big view field which can imaging for a hemisphere space. However, the fisheye image has a big distortion so that it is not use widely in application. This project will be studied the directness processing model to realize the fish-eye image processing which arrived the directness preprocessing of distortion fish-eye image and the function of object detection and recognition.At last, the directness processing algorithms package of fish-eye image will be established to use in the application system. The studied content of this project includes: (1) The fisheye image distortion model will be established based on the fish-eye lens imaging principle and the robustness will be solved of the object detection and extraction in the different locations of fisheye image. (2) The direct processing algorithm model of fish-eye image will be established based on the distortion model to realeze the high efficiency and information lossless processing. (3) The algorithm of object detection will be studied which based on the fisheye distortion model to extract any object in the monitoring area. The segmentation algorithm of the object will be studied. The feature and track of object will be extracted which to recognize the object and outputs the recognition result. (4) All algorithms will be optimize through simulation in Matlab software and experiment in application system. (5) The algorithm of optimization will be designed a software package to facilitate transplantation and further application.

本项目以鱼眼成像畸变模型为基础开展鱼眼图像直接处理算法研究，实现对鱼眼图像直接预处理以及鱼眼图像中目标检测与识别功能，并建立鱼眼图像直接处理算法包，推动鱼眼镜头的实用化进程。本项目的具体内容包括：①以鱼眼镜头成像原理为基础，建立鱼眼图像成像畸变模型，解决鱼眼图像中目标在图像任意位置的检测稳定性，以及目标的形状和形态畸变问题；②以畸变模型为基础，建立鱼眼图像直接处理算法模型，实现鱼眼图像信息无损和高效处理；③以鱼眼图像直接处理模型为基础，提出或改进适合鱼眼图像的直接预处理专用算法，研究鱼眼图像中目标检测、跟踪和识别算法，并输出目标轨迹和相关属性，实现对鱼眼图像的高效、可靠处理；④对各个算法首先进行Matlab仿真，然后进行实验平台验证，最后根据仿真和实验的结果对算法进行优化，提高其稳定性和可靠性；⑤对优化设计后的算法进行打包，形成鱼眼图像直接处理算法软件包，方便移植和进一步应用。

本项目主要针对超大范围智能监控系统的实际要求，以鱼眼成像畸变模型为基础开展鱼眼图像直接处理算法研究，研究鱼眼图像的预处理算法和鱼眼图像中运动目标的检测和识别系列算法，主要进行了以下几个方面的研究：. (1) 建立了鱼眼图像畸变模型。①以鱼眼镜头成像原理为基础，建立了鱼眼图像成像通用几何模型，该模型由摄像机坐标系和成像像面坐标系构成；②以该模型为基础，计算了鱼眼镜头畸变系数，以及鱼眼镜头光学中心的校正；③基本解决了鱼眼图像中目标在图像任意位置由于目标的形状和形态畸变导致的的检测稳定性问题。.(2) 以畸变模型为基础构建了鱼眼图像直接处理算法模型，初步实现了鱼眼图像信息无损和高效处理。包括：①鱼眼图像直接预处理算法，主要的研究内容有：a. 鱼眼图像中圆形图像区域的获取算法，即从矩形CCD成像上得到圆形鱼眼图像成像有效区域；b. 图像滤波算法，过滤掉图像区域对目标造成可能干扰的各种噪声；c. 图像均衡算法，克服不同位置分辨率不同的影响，使图像层次清晰，目标突出。 ②基于直接处理模型的鱼眼图像中运动目标的检测、跟踪和识别算法研究，主要的研究内容有：a. 采用运动点团模式，基本上实现了对鱼眼图像中比较稳定、可靠的运动目标检测算法；b. 对检测到的运动目标区域进行标记、跟踪和分割，并建立了算法的综合性能评价机制。③对鱼眼图像分割出的运动目标开展了目标识别方面的研究，根据畸变模型，利用多分类器思想和模糊理论融合等技术，结合目标的形状、大小和运行轨迹等进行识别研究，由于鱼眼图像边缘大畸变和低分辨率的特点，直接目标识别效果不理想，仅仅在图像中间部分以及目标较大时有较好的识别率，无实际应用价值。.(3) 针对鱼眼图像边缘大畸变导致的目标严重变形而无法识别的特点，提出了鱼眼相机和PTZ相机相结合的主从目标检测与识别方法，充分利用鱼眼相机单机大视场的特点，将其作为主监控相机进行单机半球空间运动目标监控，然后利用畸变模型和直接处理模型检测可能的运动目标，并计算目标的P’T’Z’参数，然后进行参数映射，将其映射到PTZ相机空间，并输出给PTZ从相机进行目标的指向性二次高分辨率成像，最后再对PTZ高分辨率图像进行识别和跟踪等处理。目前已经完成了系统的搭建和初步实验，效果良好，这也将是我们下一步的主要研究内容。