舜宇智能光学开发者论坛
 找回密码
 立即注册
上一篇 科普 介绍了机器人视觉的一些基础信息,说到机器人视觉的核心任务是estimation,理论框架是射影几何理论。然而,整个estimation 的首要条件是已知像素点坐标,尤其是多幅图中对应点的像素坐标。

单幅图像的处理方法不赘述,想讲讲不变点检测与不变特征。由于机器人在不断运动,所以可能从不同方向对同一物体进行拍摄。而拍摄的距离有远近,角度有titled. 由于射影变换本身的性质,无法保证两幅图中的物体看上去一样。所以我们需要一种特征提取方法(特征点检测),能够保证检测是旋转,缩放不变的。除此之外还要一种特征描述方法,同样对旋转和缩放不变。

1、SIFT特征提取

SIFT特征提取可以分为以下几个步骤:

1、多尺度卷积
2、构造金字塔
3、3D非极大值抑制

多尺度卷积的作用是构造一个由近及远的图像。金字塔则由下采样进行构造。




对于不同尺度的图像同一个像素,我们可以跟踪它“灰度”的变化。我们发现,如果某一点对不同 sigma 的模版响应是不同的,最大响应(卷积后的灰度)所对应的scale 成为该点本征scale。这有点像对一个机械结构给不同频率的激励,某一频率下会发生共振,我们可以记录此频率一定程度上代表了此结构(单摆频率只和ml有关,有了f就可以重现系统)。

所以,我们只要找到一个合适的模版(激励方式),再找到最大响应,就可以获取图片中各个点的 Intrinsic Scale(本征尺度)。同一物体在不同距离拍摄后,都会统一在Intrinsic Scale下进行响应。由此解决了尺度不变的问题。

3D非极大值抑制是指在某点的3*3*3邻域内,仅取最大响应,作为特征点。由于该点是空间邻域中响应最强的,所以该点也是旋转不变的。从各个方向看,该点响应最强。


2、SIFT特征描述

特征提取和特征描述实际上是两码事。在上一节中特征提取已经结束了。假如有两幅图片,那么相同的特征点肯定会被找到。特征描述的作用是为匹配做准备,其以特征点局部区域信息为标准,将两幅图中相同的特征点联系起来。特征的本质是一个高维向量。要求尺度不变,旋转不变。

这里所使用的是HOG特征。特征描述可以分为两步:

1、局部主方向确定
2、计算梯度直方图

以sigma作为特征描述选择范围是一个合理的想法,因为sigma描述了尺度,特征点位置+尺度 = 特征点所代局部信息。在此基础上,统计其领域内所有像素的梯度方向,以方向统计直方图作为特征向量,至此完成HOG特征构造。重要的是,在统计方向之前,需要把图像主方向和X轴方向对齐。示意图如下:




图中黄色的有点像时钟的东西是特征点+scale,指针代表该片小图像的主方向(PCA)。绿色的是直方图的bin,用于计算特征向量。

最后,我们只要匹配特征向量就可以得到   图像1 --- 图像2  的对应点对,通过单应矩阵的计算就可以将两幅图拼接在一起。如果已知标定信息则可进行3D reconstruction.

------------------扩展链接-------------------


机器人视觉科普① | 什么是相机模型与消失点?

机器人视觉科普② | 如何从场景中提取特征点进行匹配?

机器人视觉科普③ | 如何保证拟合误差最小?

机器人视觉科普④ | 详解双目视觉中最重要的极几何

机器人视觉科普⑤ | 有了位置、姿态,如何拼接三维重建东西

机器人视觉科普⑥ |顶尖方法Bundle Adjustment

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
分享至 : QQ空间
收藏
欢迎大家来到舜宇智能光学开发者论坛!

0 个回复

您需要登录后才可以回帖 登录 | 立即注册