基于CNN-KNN的点云匹配方法和装置

(19)中华人民共和国国家知识产权局(12)发明专利 申请 关于撤销行政处分的申请关于工程延期监理费的申请报告关于减免管理费的申请关于减租申请书的范文关于解除警告处分的申请 (10)申请公布号CN112614166A(43)申请公布日2021.04.06(21)申请号202011462107.X(22)申请日2020.12.11(71)申请人北京影谱科技股份有限公司地址100000北京市朝阳区朝阳公园南路3号楼6层601内702室(72)发明人吉长江　(74)专利代理机构北京万思博知识产权代理有限公司11694代理人高镇(51)Int.Cl.G06T7/33(2017.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求 书 关于书的成语关于读书的排比句社区图书漂流公约怎么写关于读书的小报汉书pdf 1页说明书6页附图3页(54)发明名称基于CNN-KNN的点云匹配 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 和装置(57)摘要本申请公开了一种基于CNN‑KNN的点云匹配方法和装置，涉及点云匹配领域。该方法包括：使用CNN对两个输入图片进行特征提取分别得到各自的特征图；使用KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间的匹配点；截取所述匹配点周围指定长度的像素，输入到ANN中进行匹配质量的判别，确定所述匹配点是否匹配正确。该装置包括：CNN模块、KNN模块和ANN模块。本申请可以解决空间角度过大时的配准精度，还能保障配准的质量，而且数据驱动的模型，对大数据量的处理能力较强，算法时间和空间复杂度可控，实现了高效、高分辨率的点云匹配。CN112614166ACN112614166A权　利　要　求　书1/1页1.一种基于CNN‑KNN的点云匹配方法，其特征在于，包括：使用卷积神经网络CNN对两个输入图片进行特征提取分别得到各自的特征图；使用K最邻近分类算法KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间的匹配点；截取所述匹配点周围指定长度的像素，输入到人工神经网络ANN中进行匹配质量的判别，确定所述匹配点是否匹配正确。2.根据权利要求1所述的方法，其特征在于，使用卷积神经网络CNN对两个输入图片进行特征提取分别得到各自的特征图，包括：使用由10个卷积层与1个池化层组成的三维CNN，对两个输入图片进行512维的特征提取，分别得到各自的特征图。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：所述CNN的每个卷积层都选用线性修改单元Relu作激活函数，在特征提取的过程中进行线性修正。4.根据权利要求1所述的方法，其特征在于，使用K最邻近分类算法KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间的匹配点，包括：使用KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间欧氏距离最小的点作为匹配点，根据所述欧氏距离估算出所述两个特征图之间的变换矩阵。5.根据权利要求1‑4中任一项所述的方法，其特征在于，所述方法还包括：确定匹配正确的匹配点则保留，确定匹配错误的匹配点则剔除。6.一种基于CNN‑KNN的点云匹配装置，其特征在于，包括：CNN模块，其配置成使用卷积神经网络CNN对两个输入图片进行特征提取分别得到各自的特征图；KNN模块，其配置成使用K最邻近分类算法KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间的匹配点；ANN模块，其配置成截取所述匹配点周围指定长度的像素，输入到人工神经网络ANN中进行匹配质量的判别，确定所述匹配点是否匹配正确。7.根据权利要求6所述的装置，其特征在于，所述CNN模块具体配置成：使用由10个卷积层与1个池化层组成的三维CNN，对两个输入图片进行512维的特征提取，分别得到各自的特征图。8.根据权利要求7所述的装置，其特征在于，所述CNN模块还配置成：所述CNN的每个卷积层都选用线性修改单元Relu作激活函数，在特征提取的过程中进行线性修正。9.根据权利要求6所述的装置，其特征在于，所述KNN模块具体配置成：使用KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间欧氏距离最小的点作为匹配点，根据所述欧氏距离估算出所述两个特征图之间的变换矩阵。10.根据权利要求6‑9中任一项所述的装置，其特征在于，所述ANN模块还配置成：确定匹配正确的匹配点则保留，确定匹配错误的匹配点则剔除。2CN112614166A说　明　书1/6页基于CNN‑KNN的点云匹配方法和装置技术领域[0001]本申请涉及点云匹配领域，特别是涉及一种基于CNN‑KNN的点云匹配方法和装置。背景技术[0002]目前，在计算机视觉和SLAM等领域中,由于深度相机采集的点云数据存在不完整、旋转平移错位等情况,因此，要得到完整的三维点云,就需要对局部点云进行配准,将各个视角得到的点集合到统一的坐标系下，形成完整的三维点云数据的配准。[0003]现有的点云配准的方法有多种，包括基于构建几何特性的直方图方法，基于距离度量的ICP算法，基于几何形状的配准算法，以及基于深度学习的点云配准方法等等。其中，直方图方法如基于快速点特征直方图FPFH计算方法，通过多维直方图来描述查询点与邻域点之间的空间差异。ICP算法通过最小二乘的方法重复选择对应关系点对，计算最优刚体变换，直到满足正确配准的收敛精度要求。基于几何形状的配准算法如4PCS算法，通过查找两个点集上全等且共面的四边形建立对应关系来进行配准。Xiao等提出的SHAPENET将深度学习用于三维几何形状的重建，使用CAD数据作为训练数据，使用卷积DBN网络构建了一个3D SHAPENETS，对kinect传感器获取的2.5维深度图进行目标识别和复原，从而得到全局三维形状。[0004]上述各种算法对场景简单的点云数据配准能够得到较好的效果，但是在某些应用场景中，如SLAM应对帧间配准解决环闭合问题时，从深度相机获取的点云数据，往往存在只有部分局部点云重合、旋转平移变换角度大等情况，导致匹配质量不佳，往往难以取得较为理想的效果。发明内容[0005]本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。[0006]根据本申请的一个方面，提供了一种基于CNN‑KNN的点云匹配方法，包括：[0007]使用卷积神经网络CNN(卷积神经网络)，对两个输入图片进行特征提取分别得到各自的特征图；[0008]使用K最邻近分类算法KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间的匹配点；[0009]截取所述匹配点周围指定长度的像素，输入到人工神经网络ANN(人工神经网络)中进行匹配质量的判别，确定所述匹配点是否匹配正确。[0010]可选的，使用卷积神经网络CNN对两个输入图片进行特征提取分别得到各自的特征图，包括：[0011]使用由10个卷积层与1个池化层组成的三维CNN，对两个输入图片进行512维的特征提取，分别得到各自的特征图。[0012]可选的，所述方法还包括：[0013]所述CNN的每个卷积层都选用线性修改单元Relu(Rectified Linear Unit)作激3CN112614166A说　明　书2/6页活函数，在特征提取的过程中进行线性修正。[0014]可选的，使用K最邻近分类算法KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间的匹配点，包括：[0015]使用KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间欧氏距离最小的点作为匹配点，根据所述欧氏距离估算出所述两个特征图之间的变换矩阵。[0016]可选的，所述方法还包括：[0017]确定匹配正确的匹配点则保留，确定匹配错误的匹配点则剔除。[0018]根据本申请的另一个方面，提供了一种基于CNN‑KNN的点云匹配装置，包括：[0019]CNN模块，其配置成使用卷积神经网络CNN对两个输入图片进行特征提取分别得到各自的特征图；[0020]KNN模块，其配置成使用K最邻近分类算法KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间的匹配点；[0021]ANN模块，其配置成截取所述匹配点周围指定长度的像素，输入到人工神经网络ANN中进行匹配质量的判别，确定所述匹配点是否匹配正确。[0022]可选的，所述CNN模块具体配置成：[0023]使用由10个卷积层与1个池化层组成的三维CNN，对两个输入图片进行512维的特征提取，分别得到各自的特征图。[0024]可选的，所述CNN模块还配置成：[0025]所述CNN的每个卷积层都选用线性修改单元Relu作激活函数，在特征提取的过程中进行线性修正。[0026]可选的，所述KNN模块具体配置成：[0027]使用KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间欧氏距离最小的点作为匹配点，根据所述欧氏距离估算出所述两个特征图之间的变换矩阵。[0028]可选的，所述ANN模块还配置成：[0029]确定匹配正确的匹配点则保留，确定匹配错误的匹配点则剔除。[0030]根据本申请的又一个方面，提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法。[0031]根据本申请的又一个方面，提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上所述的方法。[0032]根据本申请的又一个方面，提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述的方法。[0033]本申请提供的技术 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ，通过使用卷积神经网络CNN对两个输入图片进行特征提取分别得到各自的特征图，使用K最邻近分类算法KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间的匹配点，截取所述匹配点周围指定长度的像素，输入到人工神经网络ANN中进行匹配质量的判别，确定所述匹配点是否匹配正确，相比于原有的点4CN112614166A说　明　书3/6页云数据配准方法，可以解决空间角度过大时的配准精度，还能保障配准的质量，而且数据驱动的模型，对大数据量的处理能力较强，算法时间和空间复杂度可控，实现了高效、高分辨率的点云匹配。[0034]根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。附图说明[0035]后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：[0036]图1是根据本申请一个实施例的基于CNN‑KNN的点云匹配方法 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 图；[0037]图2是根据本申请另一个实施例的基于CNN‑KNN的点云匹配方法流程图；[0038]图3是根据本申请另一个实施例的基于CNN‑KNN的点云匹配示意图；[0039]图4是根据本申请另一个实施例的基于CNN‑KNN的点云匹配装置结构图；[0040]图5是根据本申请另一个实施例的计算设备结构图；[0041]图6是根据本申请另一个实施例的计算机可读存储介质结构图。具体实施方式[0042]图1是根据本申请一个实施例的基于CNN‑KNN的点云匹配流程图。参见图1，该方法包括：[0043]101：使用卷积神经网络CNN对两个输入图片进行特征提取分别得到各自的特征图；[0044]102：使用K最邻近分类算法KNN对得到的两个特征图之间的特征点进行搜索，找出两个特征图之间的匹配点；[0045]103：截取匹配点周围指定长度的像素，输入到人工神经网络ANN中进行匹配质量的判别，确定匹配点是否匹配正确。[0046]本实施例中，可选的，使用卷积神经网络CNN对两个输入图片进行特征提取分别得到各自的特征图，包括：[0047]使用由10个卷积层与1个池化层组成的三维CNN，对两个输入图片进行512维的特征提取，分别得到各自的特征图。[0048]本实施例中，可选的，上述还包括：[0049]CNN的每个卷积层都选用线性修改单元Relu作激活函数，在特征提取的过程中进行线性修正。[0050]本实施例中，可选的，使用K最邻近分类算法KNN对得到的两个特征图之间的特征点进行搜索，找出两个特征图之间的匹配点，包括：[0051]使用KNN对得到的两个特征图之间的特征点进行搜索，找出两个特征图之间欧氏距离最小的点作为匹配点，根据欧氏距离估算出两个特征图之间的变换矩阵。[0052]本实施例中，可选的，上述方法还包括：[0053]确定匹配正确的匹配点则保留，确定匹配错误的匹配点则剔除。5CN112614166A说　明　书4/6页[0054]本实施例提供的上述方法，通过使用卷积神经网络CNN对两个输入图片进行特征提取分别得到各自的特征图，使用K最邻近分类算法KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间的匹配点，截取所述匹配点周围指定长度的像素，输入到人工神经网络ANN中进行匹配质量的判别，确定所述匹配点是否匹配正确，相比于原有的点云数据配准方法，可以解决空间角度过大时的配准精度，还能保障配准的质量，而且数据驱动的模型，对大数据量的处理能力较强，算法时间和空间复杂度可控，实现了高效、高分辨率的点云匹配。[0055]图2是根据本申请另一个实施例的基于CNN‑KNN的点云匹配方法流程图。参见图2，该方法包括：[0056]201：使用由10个卷积层与1个池化层组成的三维CNN，对两个输入图片进行512维的特征提取，分别得到各自的特征图；[0057]其中，CNN的每个卷积层都选用线性修改单元Relu作激活函数，在特征提取的过程中进行线性修正。通过Relu线性修正可以提高应对方向和角度变化的能力。另外，由于初始输入的维度较小,所以结构中仅包含了1个池化层,这样可以避免数据信息的丢失。[0058]202：使用KNN对得到的两个特征图之间的特征点进行搜索，找出两个特征图之间欧氏距离最小的点作为匹配点，根据欧氏距离估算出两个特征图之间的变换矩阵；[0059]203：截取匹配点周围指定长度的像素，输入到人工神经网络ANN中进行匹配质量的判别，确定匹配点是否匹配正确；[0060]其中，指定长度可以根据需要来进行设置，如以像素p为例，可以p为中心，选取半径为3的圆上的16个像素点，输入到ANN中进行判别。[0061]204：确定匹配正确的匹配点则保留，确定匹配错误的匹配点则剔除。[0062]本实施例中采用的实验数据集可以为斯坦福点云数据集，当然也可以采用其他数据集来实现，具体不限定。[0063]图3是根据本申请另一个实施例的基于CNN‑KNN的点云匹配示意图。参见图3，点云匹配的流程如下：将图像A和图像B输入CNN中进行特征提取，分别得到特征图A和特征图B，然后使用KNN对这两个特征图之间的特征点进行搜索，找出这两个特征图之间的匹配点，截取所述匹配点周围指定长度的像素，输入到ANN中进行匹配质量的判别，确定所述匹配点是否匹配正确。[0064]本实施例提供的上述方法，通过使用卷积神经网络CNN对两个输入图片进行特征提取分别得到各自的特征图，使用K最邻近分类算法KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间的匹配点，截取所述匹配点周围指定长度的像素，输入到人工神经网络ANN中进行匹配质量的判别，确定所述匹配点是否匹配正确，相比于原有的点云数据配准方法，可以解决空间角度过大时的配准精度，还能保障配准的质量，而且数据驱动的模型，对大数据量的处理能力较强，算法时间和空间复杂度可控，实现了高效、高分辨率的点云匹配。[0065]图4是根据本申请另一个实施例的基于CNN‑KNN的点云匹配装置结构图。参见图4，该装置包括：[0066]CNN模块401，其配置成使用卷积神经网络CNN对两个输入图片进行特征提取分别得到各自的特征图；6CN112614166A说　明　书5/6页[0067]KNN模块402，其配置成使用K最邻近分类算法KNN对得到的两个特征图之间的特征点进行搜索，找出两个特征图之间的匹配点；[0068]ANN模块403，其配置成截取匹配点周围指定长度的像素，输入到人工神经网络ANN中进行匹配质量的判别，确定匹配点是否匹配正确。[0069]本实施例中，可选的，CNN模块具体配置成：[0070]使用由10个卷积层与1个池化层组成的三维CNN，对两个输入图片进行512维的特征提取，分别得到各自的特征图。[0071]本实施例中，可选的，CNN模块还配置成：[0072]CNN的每个卷积层都选用线性修改单元Relu作激活函数，在特征提取的过程中进行线性修正。[0073]本实施例中，可选的，KNN模块具体配置成：[0074]使用KNN对得到的两个特征图之间的特征点进行搜索，找出两个特征图之间欧氏距离最小的点作为匹配点，根据欧氏距离估算出两个特征图之间的变换矩阵。[0075]本实施例中，可选的，ANN模块还配置成：[0076]确定匹配正确的匹配点则保留，确定匹配错误的匹配点则剔除。[0077]本实施例提供的上述装置，可以执行上述任一方法实施例提供的方法，详细过程详见方法实施例中的描述，此处不赘述。[0078]本实施例提供的上述装置，通过使用卷积神经网络CNN对两个输入图片进行特征提取分别得到各自的特征图，使用K最邻近分类算法KNN对得到的两个特征图之间的特征点进行搜索，找出所述两个特征图之间的匹配点，截取所述匹配点周围指定长度的像素，输入到人工神经网络ANN中进行匹配质量的判别，确定所述匹配点是否匹配正确，相比于原有的点云数据配准方法，可以解决空间角度过大时的配准精度，还能保障配准的质量，而且数据驱动的模型，对大数据量的处理能力较强，算法时间和空间复杂度可控，实现了高效、高分辨率的点云匹配。[0079]根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。[0080]本申请实施例还提供了一种计算设备，参照图5，该计算设备包括存储器1120、处理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序，该计算机程序存储于存储器1120中的用于程序代码的空间1130，该计算机程序在由处理器1110执行时实现用于执行任一项根据本发明的方法步骤1131。[0081]本申请实施例还提供了一种计算机可读存储介质。参照图6，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的方法步骤的程序1131′，该程序被处理器执行。[0082]本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本发明的方法步骤。[0083]在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算7CN112614166A说　明　书6/6页机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。[0084]专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。[0085]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non‑transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。[0086]以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。8CN112614166A说　明　书　附　图1/3页图1图29CN112614166A说　明　书　附　图2/3页图3图4图510CN112614166A说　明　书　附　图3/3页图611