基于FAST—9角点与光流法的机载视频稳像算法

酒锐波 李冰寒 刘玉婷

摘 要：针对机载视频图像受载体姿态运动及抖动而出现的不稳定现象，提出FAST-9角点与光流法结合的电子稳像算法。首先对参考帧提取FAST-9角点，利用光流法在当前帧找到匹配特征点以求取帧间运动矢量。采用卡尔曼滤波计算出补偿分量，对各帧图像进行运动补偿。经过稳像前后的视频序列帧间差值对比可知，很好地去除了视频序列的抖动。

关键词：FAST-9 光流法 机载视频 稳像

中图分类号：TP391.41 文献标识码：A 文章编号：1672-3791（2019）01（a）-00-03

Abstract：The image sequence of airborne imaging equipment was taken as the research object.The feature matching by feature points was utilized to calculate the motion vectors between frames.Kalman filter was applied in the motion parameter estimation to remove the jitter component.To achieve motion vector compensation，the improved frame by frame compensation methods was presented.After contrast of the interframe difference in the video sequence between before and after stabilities，it is well done to remove the jitter of the video sequence.

Key words：FAST-9； Optical flow algorithm； Airborne video； Video stabilization

机载光电系统中，视频图像序列受载体姿态运行及抖动的影响会出现不规则运动，导致相邻帧间图像出现平移、旋转及缩放等现象，严重影响视频图像质量，因此需要进行稳像处理。电子稳像技术具有稳像精度高、适应性强及成本低等特点，在军事领域应用广泛。电子稳像大多基于角点检测与匹配算法，角点检测算法采用Harris[1]、Shift[2]、SURF[3]算法，这些角点检测算法比较复杂，而FAST-9角点[4]计算速度快，提取的特征点较好。基于Harris等角点的匹配算法不如金字塔光流法[5]估算精度高和鲁棒性强。该文通过比较各种角点检测和角点匹配方法，最终确定基于FAST-9角点和金字塔光流法进行稳定处理。

1 电子稳像原理

对输入的原始视频图像，首先，在参考帧通过随机点和FAST-9角点提取特征点；其次，在当前帧利用金字塔光流法获取匹配的特征点，利用RANSAC[6]方法进行特征点筛选，获取运动估计参数；然后对运动估计参数进行卡尔曼滤波，获取运动补偿参数，最后采用相邻帧补偿算法，获取稳定的视频图像。具体算法框图如图1所示。

2 图像预处理与特征点提取

2.1 图像预处理

图像预处理是电子稳像算法的第一步，本文采用双边滤波与直方图均衡算法，实现视频图像降噪和提高图像对比度，预处理后的图像有利于提取特征点。

2.2 FAST-9角点提取与改进

FAST-9角点的特点是与其周围像素点灰度相差大，且差异具有连续性。该角点检测算法计算简单，运行速度较快，实时性好。为了使角点更适于估计视频图像的运动向量，本文对FAST-9角点检测算法进行改进。角点数目越多，计算运动向量的精度也就越高，但计算量也随之增加，考虑到算法的运算速度与精度，最终将角点数量控制在100～200之间。

在实际图像中，显著的角点大多位于一组图像像素点构成的区域，而FAST-9角点检测算法仅仅是对图像的单个像素进行判断，因此算法首次提取的角点会出现局部区域聚集现象，也就是角点分布过于密集。本文采用非极大值抑制算法二次提取局部区域中的最优角点，首先以某一初选角点P的坐标（x，y）为中心选取（2m+1）×（2m+1）的局部区域，然后计算区域内所有初选角点与其圆周上16个点的像素绝对误差和S，最后选择局部区域内像素绝对误差和最大的初选角点作为区域最优角点，这就是非极大值抑制算法，计算公式如下：

利用非极大值抑制算法，减少FAST-9角点的初选角点数目，增强角点鲁棒性，有利于后续的特征点匹配。考虑到角点的离散程度及保留数量，试验中设定抑制半径m为10，图2是角点抑制前后对比图。

2.3 随机特征点提取

考虑到视频图像中场景的多样性，该文参考概率统计方法，将图像区域划分成9块，在每一块图像区域依概率随机选取一定数量特征点，和FAST-9角点合并作为待匹配的特征点。

因此该文选取特征点的方法不仅计算速度快，而且选取的特征点能够保证特征点分布相对均匀，并能有效控制特征点的数量。针对不同的视频场景，提取的特征点具有较高稳定性。

3 运动估计与运动补偿

3.1 光流法

该文采用高斯金字塔光流法进行特征点匹配，对视频图像建立3层高斯金字塔图像，高斯金字塔第0层的图像为原始图像，它具有原始图像的分辨率，原始图像降采样得到高斯金字塔第1层的图像，它具有原始图像的1/4分辨率，第1层图像降采样得到高斯金字塔第2层的图像，它具有原始图像的1/16分辨率，从第0层到第2层图像分辨率逐渐降低，因此特征点匹配的计算量也随着层数的增加而逐渐减小。特征点匹配的计算首先从第2层开始，得到的特征点对为粗略估计特征点对，将该粗略估计特征点对在第1层图像进行匹配，再將第1层的计算结果在第0层图像上进行匹配，最终在第0层估计出准确的特征点匹配对。

3.2 运动估计

相邻帧间图像的重叠区域比较大，图像中也不存在突变内容，因此，在相邻两帧图像之间进行运动向量估计，计算的运动参数精确更高，稳像效果更好。另外，采用RANSAC方法筛选图像的匹配特征点对，消除误匹配的影响，提高运动估计的准确度。将匹配特征点对代入仿射变换方程，求解仿射运动参数，实现运动估计。

3.3 卡尔曼滤波与运动补偿

由相邻帧的运动向量得到视频序列的运动轨迹，其中既包含摄像机的正常运动，又有机载带来的随机抖动，视频稳像就是要滤除随机抖动。从运动分离效果和算法速度分析，卡尔曼滤波效果较好。卡尔曼滤波以递推的方式估计当前状态，不必要存储大量的数据，并且运动轨迹经过滤波后平稳光滑。通过卡尔曼滤波对运动估计参数进行平滑，获取运动补偿向量。

电子稳像的最后一步是运动补偿，根据当前得到的运动补偿向量，对前一帧视频做平移、旋转、缩放变换，得到稳像后的视频图像，作为当前帧图像进行输出。

4 实验结果与分析

我们从机载视频序列中选取了某一段视频，对本文算法进行仿真实验。其中图3（b）为本文算法提取特征点的结果图像，从图中可以看出，特征点分布均匀，具有较好的独特性，且信息量丰富，能够避免特征点和特征窗口在图像中分布过于集中。在获取特征点后，利用光流法在当前图像进行特征点的匹配，找到对应的匹配特征点，最后进行运动估计与补偿，即可得到稳定后的图像，如图3（c）所示。

稳像效果可通过输入输出视频序列的前后两帧图像差值或峰值信噪比等评价。为了直观地评价稳像后的效果，我们给出稳定前后差值图像比较，如图3所示。通过差值图的比较，我们可以看出，稳定后图像差值比原始差值变小，说明补偿图像效果较好。

5 结语

总之，实验结果表明，基于随机点和FAST角点特征提取的运动估计方法和卡尔曼滤波和相邻帧补偿的运动估计方法相结合能很好地适应机载光电视频图像的电子稳像处理。

参考文献

[1] 李鹏程，曾敏，张梦.一种改进的Harris角点检测算法[J].南京师大学报：自然科学版，2014，37（2）：49-54.

[2] 李兆祥，李靖.视频稳像的Sift算法优化[J].哈尔滨理工大学学报，2013，18（2）：109-113.

[3] 初守艳，席志红.结合SURF的数字稳像技术[J].计算机辅助设计与图形学学报，2014，26（2）：241-247.

[4] 吴金津，王鹏程，龙永新，等.基于FAST角点检测的图像配准算法[J].湖南工业大学学报，2014，28（4）：71-75.

[5] 郭晓冉，崔少辉.基于光流法的多分辨率电子稳像算法[J].半导体光电，2014，35（2）：340-344.

[6] 赵烨，蒋建国，洪日昌.基于RANSAC的SIFT匹配优化[J].光电工程，2014，41（8）：58-65.

[7] 乔磊.复杂抖动的电子稳像概述[J].山西电子技术， 2013（3）：91-93.

[8] 彭小江，张家树.基于特征匹配和校验的鲁棒实时电子稳像[J].光子学报，2011，40（9） ：1442-1446.

[9] 周同，邹丽新，尤金正，等.基于改进Canny边缘检测算子的电子稳像算法研究[J].光子学报，2010，27（2）：506-508.

[10] 陆勤锋.电子稳像技术在DM642上的实现[J].光子學报，2011（3）：19-23.

本文由： 科学技术创新杂志社编辑部整理发布，如需转载，请注明来源。

科学技术创新杂志社

2020-12-29