辅助驾驶车载视频信息的结构场模型与理论研究

With application of assistant driving, we will draw intensive attentions to several critical issues in on-board video parsing, which can be naturally decomposed into some matters in computer vision as segmentation, detection, depth-and-velocity estimation and prediction problem of road situation. Unifying each task into structural field models, we should make efforts to achieve well-defined energies with typically distinct representations and regularize the learning and inference methodologies with sufficient considerations of efficiency, accuracy, robustness and flexibility. Separately, in video binary segmentation, we will focus second-order sequence in spatio-temporal field for graphcut-based inference in super-pixels; coupling with semantic labeling field in category detection, we intend making optimizations by smoothing continuous-parameter and propagating labels' belief for prediction in contextual constraints; associating with scale-smoothing properties in depth field, we should solve the tractable gradient of likelihood in newly-defined energies; and then the consistency in moving flow field should be maintained by introducing regularization as prior constraints, we may use stochastic gradient method to estimate two orthogonal sub-velocities; finally, the road situation should be represented as binary-decision vectors with multi-transition matrix and likelihood estimator can be achieved from multiple cues, such as object location, relative speed and distance from own car, we will employ belief propagation to predict the next-time situation and following speed-controlling strategies.

在辅助驾驶的应用背景下，分析车载视频中关于分割、检测、深度和速度估计的计算机视觉问题及路况状态预测问题，将各个任务模块置于结构场模型的框架内，定义不同类型的场能量形式，充分考虑效率性、准确性、鲁棒性和灵活性，用统一的学习推理方法求解子问题。研究视频二值分割的时序二阶关系，在时空场上分析超像素图切割推理方法；构建目标检测时空场和语义标记场表达，在语义关联和空间约束下平滑连续参数的求解过程，用置信度传播方法推理类别标记；分析深度空间场的尺度关联特性，实现尺度平滑策略下参数和变量的梯度似然求解方法；讨论运动光流场下局部区域速度的一致性，引入正则化先验约束，用随机梯度方法近似场能量似然项进行速度分解估计；采用二值检测向量描述路况状态场，定义不同状态的跳转矩阵，根据计算出的目标位置、运动和深度信息得到当前路况的似然估计，通过置信度传播预测路况状态信息并给出控速决策。

在辅助驾驶的应用背景下，分析视频中涉及的分割、检测、深度和速度估计的问题特点，将各任务模块置于结构场模型中，充分考虑效率性、准确性、鲁棒性、灵活性，设计不同类型的表示、建模和推理过程。主要包括：目标前景分离、目标检测标记推理、场景深度估计、目标运动场估计、车载视频分析系统五个部分。..（1）在目标前景分离方面，依据视觉神经元的周围抑制感知特性，研究视频时序二阶关系，提出一种运动能量抑制模型；研究超像素图切割的推理方法，提出近邻传播的集成谱聚类算法；充分考虑图像分割中的时间和空间约束，提出了立体结构描述下的尺度-空间映射法则。..（2）在目标检测标记推理方面，分别考虑了视频特征的有效表达和建模。模仿视觉皮层上的颜色表层机制，提出了主动抠图的跟踪方法；研究场景颜色复原，提出面向区域的非均匀光照估计方法；借助视觉注意理论，提出了基于两层级联梯度特征的快速目标检测模型；面向潜层语义的字典表达，提出了独立子空间下的特征增量学习方法。.针对目标检测语义标记场，提出局部特征匹配核的场景分类模型，提出基于近邻消息传播的样本重要性估计方法；针对目标跟踪中的时序关系，提出基于实例的目标相似度测度；研究置信度传播方法，提出贝叶斯先验约束下的混合判别方法；针对推理过程中的支持竞争关系，提出协同演化的推理方法；针对负迁移问题，提出可迁移测度准则下的协变量偏移修正多源集成方法。..（3）在场景深度估计方面，结合场景的透视线索估计目标的场景深度，分析深度空间场和尺度关联特性，对未知区域的场景深度进行推理，实现尺度平滑策略下的近似求解方法，考虑场景深度对目标检测的约束，提出了遮挡补偿模型。..（4）在目标运动场估计方面，讨论运动光流场下局部速度的一致性，实现目标运动表达。根据人类视觉特征的编码机制，提出多特征下的运动描述的稀疏字典学习算法，提出自底向上的时空运动显著性计算模型，提出基于空间约束的目标跟踪方法；针对置信度传播问题，提出融合局部-全局约束的推理求解方法，提出历史时序采样下的参数估计方法。..（5）在车载视频分析系统方面，搭建车载视频分析系统，提供目标位置运动、深度等信息的参数估计功能，进行车辆速度估计，利用跟踪方法预测道路下一步路况，以便实现车辆运动控制速度的决策，完成车辆运动状态监测软件设计，并进行了车载视频数据的测试分析。