一种基于汽车环视相机的盲区中车辆监测方法及系统(发明专利)

专利号:CN201610244615.8

申请人:深圳市航盛电子股份有限公司

  • 公开号:CN105711501A
  • 申请日期:20160419
  • 公开日期:20160629
专利名称: 一种基于汽车环视相机的盲区中车辆监测方法及系统
专利名称(英文): A blind area of the camera based on the automobile around the vehicle monitoring method and system
专利号: CN201610244615.8 申请时间: 20160419
公开号: CN105711501A 公开时间: 20160629
申请人: 深圳市航盛电子股份有限公司
申请地址: 518000 广东省深圳市宝安区福永街道和平居委福园一路航盛工业园
发明人: 曹腾; 杨力; 许勤军
分类号: B60R1/00; H04N7/18 主分类号: B60R1/00
代理机构: 深圳市科吉华烽知识产权事务所(普通合伙) 44248 代理人: 张英; 彭益宏
摘要: 本发明适用于汽车监测领域,提供了一种基于汽车环视相机的盲区中车辆监测方法及系统,所述系统包括环视鱼眼相机、处理器及显示器,所述环视相机与所述处理器连接,所述处理器与所述显示器双向通讯连接。解决车辆后视镜的视野不够,车辆两侧始终会存在目视观察的盲区,给车辆变道、并线等行车环节带来安全隐患。车辆在盲区中不同位置成像所导致的视角差异,实现较好的检测效果,同时还具有检测更大范围的盲区,更可靠的检测结果,以及检测速度较快的优点。
摘要(英文): The invention is suitable for automotive monitoring field, provides a blind area of the camera based on the automobile around in the method and system for monitoring vehicle, the system comprises a panoramic fish-eye camera, processor and display, the panoramic camera is connected with the processor, the processor and the display of the two-way communication connection. The field of vision is not enough of the rear-view mirror of the vehicle, the two sides of the vehicle will always have visual observation of a blind area, the vehicle lane change, the driving link, such as by doubling the potential safety hazard. Different positions in the vehicle in the blind spot caused by the differences in the visual angle of the Image, the detection effects of realizing good, at the same time also has a detect a greater range of blind area, more reliable the detection result, and the advantages of detecting speed.
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
  • 商标交易流程
一种基于汽车环视相机的盲区中车辆监测方法,其特征在于,包括环视鱼眼相机、处理器及显示单元,所述方法包括以下步骤:A、环视鱼眼相机捕捉原始鱼眼图像,建立车体坐标系,以汽车在地面上的垂直投影的最小外接矩形的下边的中心点为车体坐标系原点,垂直向前记为X方向,水平向右记为Z方向,垂直向上记为Y方向,通过方程式x=u-u0fxy=v-v0fyx=x1+k1r2+k2r4+k3r61+k4r2+k5r4+k6r6+2p1xy+p2(r2+2r2)y=y1+k1r2+k2r4+k3r61+k4r2+k5r4+k6r6+2p2xy+p1(r2+2y2)进行校正,得到校正后的透视图像;其中(u′,v′)为校正后的透视图像上的像素坐标,(u0,v0)为主点像素坐标,fx和fy分别为图像水平方向和垂直方向上的焦距,k1,k2,k3,k4,k5,k6为径向畸变参数,p1和p2为切向畸变参数,r2=x′2+y′2,(u,v)为原始图像上的对应像素坐标,(x′,y′)为以毫米为单位的实际的图像点的坐标,(x″,y″)为由透视模型计算出来的图像点坐标的理想值;B、对环视鱼眼相机进行转动得到虚拟相机,通过方程式将真实相机与虚拟相机进行映射,生成侧视图像;其中Pv和P0分别为虚拟相机和真实相机图像上的点,S是一个缩放因子,Kv和K0分别为虚拟相机和真实相机的内参数矩阵,K0V表示两个相机之间的旋转矩阵,R0表示真实相机相对于参考坐标系的旋转矩阵,RV表示虚拟相机相对于车体坐标系的旋转矩阵;C、根据透视投影基本原理,通过方程式s′p=K(RP+t)得到虚拟相机的内参数矩阵及外参数矩阵,只考虑地面,令Y=0,通过方程式生成地面距离矩阵;其中P(X,Y,Z)T表示车体坐标系下一个三维点,p(u,v,1)T表示相应的图像坐标系下的像素点的齐次坐标,S表示缩放因子,K,R和t是虚拟相机的内参矩阵和外参矩阵,(x,z)为车体坐标系下的X方向和Z方向这两个方向上的坐标;D、根据距离矩阵在地面上的垂直投影用矩形区域表示,矩形区域相对于距离矩阵,生成以轮胎中心点表示的监测区域图像ROI′;遍历距离矩阵中的每个点,对于某个点(u,v)来说,它的值为(x,z),如果这个值满足不等式方程,则令ROI′(u,v)=255,否则ROI′(u,v)=0;其中,X-和X+是预设的车体坐标系下X方向需要监测的最小值和最大值的阈值,Z-和Z+是预设的车体坐标系下Z方向需要监测的最小值和最大值的阈值;每个点的值为0或255,0表示该点不需要进行后续的物体检测,255表示该点需要进行后续的物体检测;E、将以轮胎中心点表示的监测区域图像ROI′,通过方程式转换成以该矩形的左上角坐标表示的监测区域图像ROI,进而转换成监测点数组A在进行具体的物体检测;其中,M、N为目标物体的检测窗口大小M×N像素;F、对监测点数组A中的元素(u,v)所表示的检测窗口为(u,v,M,N),输入检测窗口和侧视图像,采用公知技术进行检测,最后输出是否是目标物体。

1.一种基于汽车环视相机的盲区中车辆监测方法,其特征在于,包括环视鱼眼相机、处 理器及显示单元,所述方法包括以下步骤: A、环视鱼眼相机捕捉原始鱼眼图像,建立车体坐标系,以汽车在地面上的垂直投影的 最小外接矩形的下边的中心点为车体坐标系原点,垂直向前记为X方向,水平向右记为Z方 向,垂直向上记为Y方向,通过方程式 x = u - u 0 f x y = v - v 0 f y ]]> x = x 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 1 x y + p 2 ( r 2 + 2 r 2 ) y = y 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 2 x y + p 1 ( r 2 + 2 y 2 ) ]]> 进行校正,得到校正后的透视图像;其中(u′,v′)为校正后的透视图像 上的像素坐标,(u0,v0)为主点像素坐标,fx和fy分别为图像水平方向和垂直方向上的焦距, k1,k2,k3,k4,k5,k6为径向畸变参数,p1和p2为切向畸变参数,r2=x′2+y′2,(u,v)为原始图像 上的对应像素坐标,(x′,y′)为以毫米为单位的实际的图像点的坐标,(x″,y″)为由透视模 型计算出来的图像点坐标的理想值; B、对环视鱼眼相机进行转动得到虚拟相机,通过方程式将 真实相机与虚拟相机进行映射,生成侧视图像;其中Pv和P0分别为虚拟相机和真实相机图像 上的点,S是一个缩放因子,Kv和K0分别为虚拟相机和真实相机的内参数矩阵,K0V表示两个 相机之间的旋转矩阵,R0表示真实相机相对于参考坐标系的旋转矩阵,RV表示虚拟相机相对 于车体坐标系的旋转矩阵; C、根据透视投影基本原理,通过方程式s′p=K(RP+t)得到虚拟相机的内参数矩阵及外 参数矩阵,只考虑地面,令Y=0,通过方程式生成地面距离矩阵;其 中P(X,Y,Z)T表示车体坐标系下一个三维点,p(u,v,1)T表示相应的图像坐标系下的像素点 的齐次坐标,S表示缩放因子,K,R和t是虚拟相机的内参矩阵和外参矩阵,(x,z)为车体坐标 系下的X方向和Z方向这两个方向上的坐标; D、根据距离矩阵在地面上的垂直投影用矩形区域表示,矩形区域相对 于距离矩阵,生成以轮胎中心点表示的监测区域图像ROI′;遍历距离矩阵中的每个点,对于 某个点(u,v)来说,它的值为(x,z),如果这个值满足不等式方程,则令ROI′(u,v)=255,否 则ROI′(u,v)=0;其中,X-和X+是预设的车体坐标系下X方向需要监测的最小值和最大值的 阈值,Z-和Z+是预设的车体坐标系下Z方向需要监测的最小值和最大值的阈值;每个点的值 为0或255,0表示该点不需要进行后续的物体检测,255表示该点需要进行后续的物体检测; E、将以轮胎中心点表示的监测区域图像ROI′,通过方程式转换成以该矩形的左上角坐标表示的监测区域图像ROI,进而转换成监测点数组A在进行具 体的物体检测;其中,M、N为目标物体的检测窗口大小M×N像素; F、对监测点数组A中的元素(u,v)所表示的检测窗口为(u,v,M,N),输入检测窗口和侧 视图像,采用公知技术进行检测,最后输出是否是目标物体。

2.根据权利要求1所述的盲区中车辆监测方法,其特征在于,所述步骤A中还包括步骤: A1、通过张正友标定法得到环视鱼眼相机的内参数矩阵、径向畸变参数、切向畸变参数 及环视鱼眼相机相对于车体坐标系的外参数矩阵。

3.根据权利要求1所述的盲区中车辆监测方法,其特征在于,所述步骤B中还包括步骤: B1、转动环视鱼眼相机得到一个光轴与检测平面垂直的虚拟相机,通过虚拟相机可以 得到消除透视失真后的图像; B2、在车辆正常行使过程中,将虚拟摄像机指向当前车辆左侧或右侧,即可得到侧后方 来车的无失真的轮胎图像。

4.根据权利要求1所述的盲区中车辆监测方法,其特征在于,所述步骤F中还包括步骤: F1、对检测窗口进行特征提取和计算,然后将计算得到的特征值输入给神经网络进行 分类器的判断。

5.根据权利要求4所述的盲区中车辆监测方法,其特征在于,所述步骤F1中的特征提取 包括Haar矩形特征或LBP特征或HOG特征,所述步骤F1中的分类器为级联弱分类器或SVM分 类器。

6.一种基于汽车环视相机的盲区中车辆监测系统,所述系统包括环视鱼眼相机、处理 器及显示单元,所述环视相机与所述处理器连接,所述处理器与所述显示单元双向通讯连 接,其特征在于, 所述透视图像模块,用于环视鱼眼相机捕捉原始鱼眼图像,建立车体坐标系,以汽车在 地面上的垂直投影的最小外接矩形的下边的中心点为车体坐标系原点,垂直向前记为X方 向,水平向右记为Z方向,垂直向上记为Y方向,通过方程式 x = u - u 0 f x y = v - v 0 f y ]]> x = x 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 1 x y + p 2 ( r 2 + 2 r 2 ) y = y 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 2 x y + p 1 ( r 2 + 2 y 2 ) ]]> 进行校正,得到校正后的透视图像;其中(u′,v′)为校正后的透视图 像上的像素坐标,(u0,v0)为主点像素坐标,fx和fy分别为图像水平方向和垂直方向上的焦 距,k1,k2,k3,k4,k5,k6为径向畸变参数,p1和p2为切向畸变参数,r2=x′2+y′2,(u,v)为原始图 像上的对应像素坐标,(x′,y′)为以毫米为单位的实际的图像点的坐标,(x″,y″)为由透视 模型计算出来的图像点坐标的理想值; 所述侧视图像模块,用于对环视鱼眼相机进行转动得到虚拟相机,通过方程式 将真实相机与虚拟相机进行映射,生成侧视图像;其中Pv和 P0分别为虚拟相机和真实相机图像上的点,S是一个缩放因子,Kv和K0分别为虚拟相机和真 实相机的内参数矩阵,K0V表示两个相机之间的旋转矩阵,R0表示真实相机相对于参考坐标 系的旋转矩阵,RV表示虚拟相机相对于车体坐标系的旋转矩阵; 所述距离矩阵模块,用于根据透视投影基本原理,通过方程式s′p=K(RP+t)得到虚拟 相机的内参数矩阵及外参数矩阵,只考虑地面,令Y=0,通过方程式生成地面距离矩阵;其中P(X,Y,Z)T表示车体坐标系下一个三维点,p(u,v,1)T表示相应的图 像坐标系下的像素点的齐次坐标,s表示缩放因子,K,R和t是虚拟相机的内参矩阵和外参矩 阵,(x,z)为车体坐标系下的X方向和Z方向这两个方向上的坐标; 所述监测区域图像ROI′模块,用于根据距离矩阵在地面上的垂直投影用矩形区域 表示,矩形区域相对于距离矩阵,生成以轮胎中心点表示的监测区域图像 ROI′;遍历距离矩阵中的每个点,对于某个点(u,v)来说,它的值为(x,z),如果这个值满足 不等式方程,则令ROI′(u,v)=255,否则ROI′(u,v)=0;其中,X-和X+是预设的车体坐标系下 X方向需要监测的最小值和最大值的阈值,Z-和Z+是预设的车体坐标系下Z方向需要监测的 最小值和最大值的阈值;每个点的值为0或255,0表示该点不需要进行后续的物体检测,255 表示该点需要进行后续的物体检测; 所述监测点数组模块,用于将以轮胎中心点表示的监测区域图像ROI′,通过方程式 转换成以该矩形的左上角坐标 表示的监测区域图像ROI,进而转换成监测点数组A在进行具体的物体检测;其中,M、N为目 标物体的检测窗口大小M×N像素; 所述检测输出模块,用于对监测点数组A中的元素(u,v)所表示的检测窗口为(u,v,M, N),输入检测窗口和侧视图像,采用公知技术进行检测,最后输出是否是目标物体。

7.根据权利要求6所述的盲区中车辆监测系统,其特征在于,还包括标定单元; 所述标定单元,用于通过张正友标定法得到环视鱼眼相机的内参数矩阵、径向畸变参 数、切向畸变参数及环视鱼眼相机相对于车体坐标系的外参数矩阵。

8.根据权利要求6所述的盲区中车辆监测系统,其特征在于,还包括消除透视失真后的 图像单元及无失真的轮胎图像单元; 所述消除透视失真后的图像单元,用于转动环视鱼眼相机得到一个光轴与检测平面垂 直的虚拟相机,通过虚拟相机可以得到消除透视失真后的图像; 所述无失真的轮胎图像单元,用于在车辆正常行使过程中,将虚拟摄像机指向当前车 辆左侧或右侧,即可得到侧后方来车的无失真的轮胎图像。

9.根据权利要求6所述的盲区中车辆监测系统,其特征在于,还包括判断单元; 所述判断单元,用于对检测窗口进行特征提取和计算,然后将计算得到的特征值输入 给神经网络进行分类器的判断。

10.根据权利要求6-9任一项所述的盲区中车辆监测系统,其特征在于,所述环视鱼眼 相机可扩展。

PDF文件加载中,请耐心等待!
一种基于汽车环视相机的盲区中车辆监测方法,其特征在于,包括环视鱼眼相机、处理器及显示单元,所述方法包括以下步骤:A、环视鱼眼相机捕捉原始鱼眼图像,建立车体坐标系,以汽车在地面上的垂直投影的最小外接矩形的下边的中心点为车体坐标系原点,垂直向前记为X方向,水平向右记为Z方向,垂直向上记为Y方向,通过方程式x=u-u0fxy=v-v0fyx=x1+k1r2+k2r4+k3r61+k4r2+k5r4+k6r6+2p1xy+p2(r2+2r2)y=y1+k1r2+k2r4+k3r61+k4r2+k5r4+k6r6+2p2xy+p1(r2+2y2)进行校正,得到校正后的透视图像;其中(u′,v′)为校正后的透视图像上的像素坐标,(u0,v0)为主点像素坐标,fx和fy分别为图像水平方向和垂直方向上的焦距,k1,k2,k3,k4,k5,k6为径向畸变参数,p1和p2为切向畸变参数,r2=x′2+y′2,(u,v)为原始图像上的对应像素坐标,(x′,y′)为以毫米为单位的实际的图像点的坐标,(x″,y″)为由透视模型计算出来的图像点坐标的理想值;B、对环视鱼眼相机进行转动得到虚拟相机,通过方程式将真实相机与虚拟相机进行映射,生成侧视图像;其中Pv和P0分别为虚拟相机和真实相机图像上的点,S是一个缩放因子,Kv和K0分别为虚拟相机和真实相机的内参数矩阵,K0V表示两个相机之间的旋转矩阵,R0表示真实相机相对于参考坐标系的旋转矩阵,RV表示虚拟相机相对于车体坐标系的旋转矩阵;C、根据透视投影基本原理,通过方程式s′p=K(RP+t)得到虚拟相机的内参数矩阵及外参数矩阵,只考虑地面,令Y=0,通过方程式生成地面距离矩阵;其中P(X,Y,Z)T表示车体坐标系下一个三维点,p(u,v,1)T表示相应的图像坐标系下的像素点的齐次坐标,S表示缩放因子,K,R和t是虚拟相机的内参矩阵和外参矩阵,(x,z)为车体坐标系下的X方向和Z方向这两个方向上的坐标;D、根据距离矩阵在地面上的垂直投影用矩形区域表示,矩形区域相对于距离矩阵,生成以轮胎中心点表示的监测区域图像ROI′;遍历距离矩阵中的每个点,对于某个点(u,v)来说,它的值为(x,z),如果这个值满足不等式方程,则令ROI′(u,v)=255,否则ROI′(u,v)=0;其中,X-和X+是预设的车体坐标系下X方向需要监测的最小值和最大值的阈值,Z-和Z+是预设的车体坐标系下Z方向需要监测的最小值和最大值的阈值;每个点的值为0或255,0表示该点不需要进行后续的物体检测,255表示该点需要进行后续的物体检测;E、将以轮胎中心点表示的监测区域图像ROI′,通过方程式转换成以该矩形的左上角坐标表示的监测区域图像ROI,进而转换成监测点数组A在进行具体的物体检测;其中,M、N为目标物体的检测窗口大小M×N像素;F、对监测点数组A中的元素(u,v)所表示的检测窗口为(u,v,M,N),输入检测窗口和侧视图像,采用公知技术进行检测,最后输出是否是目标物体。
原文:

1.一种基于汽车环视相机的盲区中车辆监测方法,其特征在于,包括环视鱼眼相机、处 理器及显示单元,所述方法包括以下步骤: A、环视鱼眼相机捕捉原始鱼眼图像,建立车体坐标系,以汽车在地面上的垂直投影的 最小外接矩形的下边的中心点为车体坐标系原点,垂直向前记为X方向,水平向右记为Z方 向,垂直向上记为Y方向,通过方程式 x = u - u 0 f x y = v - v 0 f y ]]> x = x 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 1 x y + p 2 ( r 2 + 2 r 2 ) y = y 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 2 x y + p 1 ( r 2 + 2 y 2 ) ]]> 进行校正,得到校正后的透视图像;其中(u′,v′)为校正后的透视图像 上的像素坐标,(u0,v0)为主点像素坐标,fx和fy分别为图像水平方向和垂直方向上的焦距, k1,k2,k3,k4,k5,k6为径向畸变参数,p1和p2为切向畸变参数,r2=x′2+y′2,(u,v)为原始图像 上的对应像素坐标,(x′,y′)为以毫米为单位的实际的图像点的坐标,(x″,y″)为由透视模 型计算出来的图像点坐标的理想值; B、对环视鱼眼相机进行转动得到虚拟相机,通过方程式将 真实相机与虚拟相机进行映射,生成侧视图像;其中Pv和P0分别为虚拟相机和真实相机图像 上的点,S是一个缩放因子,Kv和K0分别为虚拟相机和真实相机的内参数矩阵,K0V表示两个 相机之间的旋转矩阵,R0表示真实相机相对于参考坐标系的旋转矩阵,RV表示虚拟相机相对 于车体坐标系的旋转矩阵; C、根据透视投影基本原理,通过方程式s′p=K(RP+t)得到虚拟相机的内参数矩阵及外 参数矩阵,只考虑地面,令Y=0,通过方程式生成地面距离矩阵;其 中P(X,Y,Z)T表示车体坐标系下一个三维点,p(u,v,1)T表示相应的图像坐标系下的像素点 的齐次坐标,S表示缩放因子,K,R和t是虚拟相机的内参矩阵和外参矩阵,(x,z)为车体坐标 系下的X方向和Z方向这两个方向上的坐标; D、根据距离矩阵在地面上的垂直投影用矩形区域表示,矩形区域相对 于距离矩阵,生成以轮胎中心点表示的监测区域图像ROI′;遍历距离矩阵中的每个点,对于 某个点(u,v)来说,它的值为(x,z),如果这个值满足不等式方程,则令ROI′(u,v)=255,否 则ROI′(u,v)=0;其中,X-和X+是预设的车体坐标系下X方向需要监测的最小值和最大值的 阈值,Z-和Z+是预设的车体坐标系下Z方向需要监测的最小值和最大值的阈值;每个点的值 为0或255,0表示该点不需要进行后续的物体检测,255表示该点需要进行后续的物体检测; E、将以轮胎中心点表示的监测区域图像ROI′,通过方程式转换成以该矩形的左上角坐标表示的监测区域图像ROI,进而转换成监测点数组A在进行具 体的物体检测;其中,M、N为目标物体的检测窗口大小M×N像素; F、对监测点数组A中的元素(u,v)所表示的检测窗口为(u,v,M,N),输入检测窗口和侧 视图像,采用公知技术进行检测,最后输出是否是目标物体。

2.根据权利要求1所述的盲区中车辆监测方法,其特征在于,所述步骤A中还包括步骤: A1、通过张正友标定法得到环视鱼眼相机的内参数矩阵、径向畸变参数、切向畸变参数 及环视鱼眼相机相对于车体坐标系的外参数矩阵。

3.根据权利要求1所述的盲区中车辆监测方法,其特征在于,所述步骤B中还包括步骤: B1、转动环视鱼眼相机得到一个光轴与检测平面垂直的虚拟相机,通过虚拟相机可以 得到消除透视失真后的图像; B2、在车辆正常行使过程中,将虚拟摄像机指向当前车辆左侧或右侧,即可得到侧后方 来车的无失真的轮胎图像。

4.根据权利要求1所述的盲区中车辆监测方法,其特征在于,所述步骤F中还包括步骤: F1、对检测窗口进行特征提取和计算,然后将计算得到的特征值输入给神经网络进行 分类器的判断。

5.根据权利要求4所述的盲区中车辆监测方法,其特征在于,所述步骤F1中的特征提取 包括Haar矩形特征或LBP特征或HOG特征,所述步骤F1中的分类器为级联弱分类器或SVM分 类器。

6.一种基于汽车环视相机的盲区中车辆监测系统,所述系统包括环视鱼眼相机、处理 器及显示单元,所述环视相机与所述处理器连接,所述处理器与所述显示单元双向通讯连 接,其特征在于, 所述透视图像模块,用于环视鱼眼相机捕捉原始鱼眼图像,建立车体坐标系,以汽车在 地面上的垂直投影的最小外接矩形的下边的中心点为车体坐标系原点,垂直向前记为X方 向,水平向右记为Z方向,垂直向上记为Y方向,通过方程式 x = u - u 0 f x y = v - v 0 f y ]]> x = x 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 1 x y + p 2 ( r 2 + 2 r 2 ) y = y 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 2 x y + p 1 ( r 2 + 2 y 2 ) ]]> 进行校正,得到校正后的透视图像;其中(u′,v′)为校正后的透视图 像上的像素坐标,(u0,v0)为主点像素坐标,fx和fy分别为图像水平方向和垂直方向上的焦 距,k1,k2,k3,k4,k5,k6为径向畸变参数,p1和p2为切向畸变参数,r2=x′2+y′2,(u,v)为原始图 像上的对应像素坐标,(x′,y′)为以毫米为单位的实际的图像点的坐标,(x″,y″)为由透视 模型计算出来的图像点坐标的理想值; 所述侧视图像模块,用于对环视鱼眼相机进行转动得到虚拟相机,通过方程式 将真实相机与虚拟相机进行映射,生成侧视图像;其中Pv和 P0分别为虚拟相机和真实相机图像上的点,S是一个缩放因子,Kv和K0分别为虚拟相机和真 实相机的内参数矩阵,K0V表示两个相机之间的旋转矩阵,R0表示真实相机相对于参考坐标 系的旋转矩阵,RV表示虚拟相机相对于车体坐标系的旋转矩阵; 所述距离矩阵模块,用于根据透视投影基本原理,通过方程式s′p=K(RP+t)得到虚拟 相机的内参数矩阵及外参数矩阵,只考虑地面,令Y=0,通过方程式生成地面距离矩阵;其中P(X,Y,Z)T表示车体坐标系下一个三维点,p(u,v,1)T表示相应的图 像坐标系下的像素点的齐次坐标,s表示缩放因子,K,R和t是虚拟相机的内参矩阵和外参矩 阵,(x,z)为车体坐标系下的X方向和Z方向这两个方向上的坐标; 所述监测区域图像ROI′模块,用于根据距离矩阵在地面上的垂直投影用矩形区域 表示,矩形区域相对于距离矩阵,生成以轮胎中心点表示的监测区域图像 ROI′;遍历距离矩阵中的每个点,对于某个点(u,v)来说,它的值为(x,z),如果这个值满足 不等式方程,则令ROI′(u,v)=255,否则ROI′(u,v)=0;其中,X-和X+是预设的车体坐标系下 X方向需要监测的最小值和最大值的阈值,Z-和Z+是预设的车体坐标系下Z方向需要监测的 最小值和最大值的阈值;每个点的值为0或255,0表示该点不需要进行后续的物体检测,255 表示该点需要进行后续的物体检测; 所述监测点数组模块,用于将以轮胎中心点表示的监测区域图像ROI′,通过方程式 转换成以该矩形的左上角坐标 表示的监测区域图像ROI,进而转换成监测点数组A在进行具体的物体检测;其中,M、N为目 标物体的检测窗口大小M×N像素; 所述检测输出模块,用于对监测点数组A中的元素(u,v)所表示的检测窗口为(u,v,M, N),输入检测窗口和侧视图像,采用公知技术进行检测,最后输出是否是目标物体。

7.根据权利要求6所述的盲区中车辆监测系统,其特征在于,还包括标定单元; 所述标定单元,用于通过张正友标定法得到环视鱼眼相机的内参数矩阵、径向畸变参 数、切向畸变参数及环视鱼眼相机相对于车体坐标系的外参数矩阵。

8.根据权利要求6所述的盲区中车辆监测系统,其特征在于,还包括消除透视失真后的 图像单元及无失真的轮胎图像单元; 所述消除透视失真后的图像单元,用于转动环视鱼眼相机得到一个光轴与检测平面垂 直的虚拟相机,通过虚拟相机可以得到消除透视失真后的图像; 所述无失真的轮胎图像单元,用于在车辆正常行使过程中,将虚拟摄像机指向当前车 辆左侧或右侧,即可得到侧后方来车的无失真的轮胎图像。

9.根据权利要求6所述的盲区中车辆监测系统,其特征在于,还包括判断单元; 所述判断单元,用于对检测窗口进行特征提取和计算,然后将计算得到的特征值输入 给神经网络进行分类器的判断。

10.根据权利要求6-9任一项所述的盲区中车辆监测系统,其特征在于,所述环视鱼眼 相机可扩展。

翻译:
一种基于汽车环视相机的盲区中车辆监测方法及系统

技术领域

本发明属于汽车监测领域,尤其涉及一种基于汽车环视相机的盲区中车辆监测方 法及系统。

背景技术

在车辆行驶的过程中,驾驶员通过前窗两侧的后视镜观察车辆侧方和侧后方的交 通情况。由于车辆后视镜的视野不够,车辆两侧始终会存在目视观察的盲区,给车辆变道、 并线等行车环节带来安全隐患。为了消除车辆盲区对汽车安全驾驶的影响,目前主要有以 下几种盲区监测方法。

一是基于超声波探头的盲区监测系统,超声波探头将探测区域内障碍物的回波信 号送至控制器,控制器计算障碍物距离车辆的距离并发出报警信号。这种产品结构简单,成 本低,较经济实惠。但是超声波探头发射的信号通常角度比较窄,需要通过安装多个超声波 探头来扩大监视范围;能探测的直线距离较近,无法监测一定距离的区域。由于是基于回波 信号判断是否是障碍物,因此无法区分隔离带,护栏和树木等道边结构,也很容易受到空气 中漂浮物体的影响,无法精确做到只对盲区内车辆做出警告。

二是基于微波或激光测距技术的盲区监测系统,与基于超声波探头的盲区监测系 统相类似,也是基于回波信号计算与障碍物的距离并发出报警信号。与基于超射波探头的 盲区监测系统相比,这种产品的优点是具有更大的直线探测距离,但是其价格也会高很多。 由于也是基于回波信号判断是否是障碍物,同样会受到道边结构和空气中漂浮物体的影 响,无法精确做到只对盲区内车辆做出警告。

三是基于摄像头的盲区监测系统,摄像头拍摄得到的盲区图像传送至控制器,控 制器通过模式识别等算法识别车辆,并发出报警信号。与前两种产品相比,基于摄像头的盲 区监测系统具有较大的灵活性,可以根据需要识别不同的物体,当然相应的算法也会更复 杂。目前已知的基于摄像头的盲区中车辆监测方法的缺点在于由于盲区通常比较大,捕获 到的图像中车辆在盲区内不同位置会呈现出较大的视角变化,使识别的难度大大增加。另 外,各种不同类型的汽车,比如小轿车,MPV(Multi-PurposeVehicles),SUV(Sport UtilityVehicle),公交车,大卡车等由于其大小存在较大的差异,宽高比变化很大等因 素,也会增加识别的难度。

发明内容

本发明的目的在于提供一种基于汽车环视相机的盲区中车辆监测方法及系统,旨 在解决车辆在盲区中不同位置成像所导致的视角差异,实现较好的检测效果,车辆后视镜 的视野不够,车辆两侧始终会存在目视观察的盲区,给车辆变道、并线等行车环节带来安全 隐患的问题。

本发明是这样实现的,包括环视鱼眼相机、处理器及显示单元,所述方法包括以下 步骤:

A、环视鱼眼相机捕捉原始鱼眼图像,建立车体坐标系,以汽车在地面上的垂直投 影的最小外接矩形的下边的中心点为车体坐标系原点,垂直向前记为X方向,水平向右记为 Z方向,垂直向上记为Y方向,通过方程式 x = u - u 0 f x y = v - v 0 f y ]]> x = x 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 1 x y + p 2 ( r 2 + 2 r 2 ) y = y 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 2 x y + p 1 ( r 2 + 2 y 2 ) ]]>进行校正,得到校正后的透视图像;其中(u′,v′)为校正后的透视图像上的像 素坐标,(u0,v0)为主点像素坐标,fx和fy分别为图像水平方向和垂直方向上的焦距,k1,k2, k3,k4,k5,k6为径向畸变参数,p1和p2为切向畸变参数,r2=x′2+y′2,(u,v)为原始图像上的对 应像素坐标,(x′,y′)为以毫米为单位的实际的图像点的坐标,(x″,y″)为由透视模型计算 出来的图像点坐标的理想值;

B、对环视鱼眼相机进行转动得到虚拟相机,通过方程式将 真实相机与虚拟相机进行映射,生成侧视图像;其中Pv和P0分别为虚拟相机和真实相机图像 上的点,S是一个缩放因子,Kv和K0分别为虚拟相机和真实相机的内参数矩阵,K0V表示两个 相机之间的旋转矩阵,R0表示真实相机相对于参考坐标系的旋转矩阵,RV表示虚拟相机相对 于车体坐标系的旋转矩阵;

C、根据透视投影基本原理,通过方程式s′p=K(RP+t)得到虚拟相机的内参数矩阵 及外参数矩阵,只考虑地面,令Y=0,通过方程式生成地面距离矩 阵;其中P(X,Y,Z)T表示车体坐标系下一个三维点,p(u,v,1)T表示相应的图像坐标系下的像 素点的齐次坐标,S表示缩放因子,K,R和t是虚拟相机的内参矩阵和外参矩阵,(x,z)为车体 坐标系下的X方向和Z方向这两个方向上的坐标;

D、根据距离矩阵在地面上的垂直投影用矩形区域表示,矩形区域 相对于距离矩阵,生成以轮胎中心点表示的监测区域图像ROI′;遍历距离矩阵中的每个点, 对于某个点(u,v)来说,它的值为(x,z),如果这个值满足不等式方程,则令则令ROI′(u,v) =255,否则ROI′(u,v)=0;其中,X-和X+是预设的车体坐标系下X方向需要监测的最小值和 最大值的阈值,Z-和Z+是预设的车体坐标系下Z方向需要监测的最小值和最大值的阈值;每 个点的值为0或255,0表示该点不需要进行后续的物体检测,255表示该点需要进行后续的 物体检测;

E、将以轮胎中心点表示的监测区域图像ROI′,通过方程式转换成以该矩形的左上角坐标表示的监测区域图像ROI,进而转换成监测点数组A在进行具 体的物体检测;其中,M、N为目标物体的检测窗口大小M×N像素;

F、对监测点数组A中的元素(u,v)所表示的检测窗口为(u,v,M,N),输入检测窗口 和侧视图像,采用公知技术进行检测,最后输出是否是目标物体。

本发明的进一步技术方案是:所述步骤A中还包括步骤:

A1、通过张正友标定法得到环视鱼眼相机的内参数矩阵、径向畸变参数、切向畸变 参数及环视鱼眼相机相对于车体坐标系的外参数矩阵。

本发明的进一步技术方案是:所述步骤B中还包括步骤:

B1、转动环视鱼眼相机得到一个光轴与检测平面垂直的虚拟相机,通过虚拟相机 可以得到消除透视失真后的图像;

B2、在车辆正常行使过程中,将虚拟摄像机指向当前车辆左侧或右侧,即可得到侧 后方来车的无失真的轮胎图像。

本发明的进一步技术方案是:所述步骤F中还包括步骤:

F1、对检测窗口进行特征提取和计算,然后将计算得到的特征值输入给神经网络 进行分类器的判断。

本发明的进一步技术方案是:所述步骤F1中的特征提取包括Haar矩形特征或LBP 特征或HOG特征,所述步骤F1中的分类器为级联弱分类器或SVM分类器。

本发明的另一目的在于提供一种基于汽车环视相机的盲区中车辆监测系统,所述 系统包括环视鱼眼相机、处理器及显示单元,所述环视相机与所述处理器连接,所述处理器 与所述显示单元双向通讯连接,其特征在于,

所述透视图像模块,用于环视鱼眼相机捕捉原始鱼眼图像,建立车体坐标系,以汽 车在地面上的垂直投影的最小外接矩形的下边的中心点为车体坐标系原点,垂直向前记为 X方向,水平向右记为Z方向,垂直向上记为Y方向,通过方程式 x = u - u 0 f x y = v - v 0 f y ]]> x = x 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 1 x y + p 2 ( r 2 + 2 r 2 ) y = y 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 2 x y + p 1 ( r 2 + 2 y 2 ) ]]>进 行校正,得到校正后的透视图像;其中(u′,v′)为校正后的透视图像上的像素坐标,(u0,v0) 为主点像素坐标,fx和fy分别为图像水平方向和垂直方向上的焦距,k1,k2,k3,k4,k5,k6为径 向畸变参数,p1和p2为切向畸变参数,r2=x′2+y′2,(u,v)为原始图像上的对应像素坐标, (x′,y′)为以毫米为单位的实际的图像点的坐标,(x″,y″)为由透视模型计算出来的图像点 坐标的理想值;

所述侧视图像模块,用于对环视鱼眼相机进行转动得到虚拟相机,通过方程式 将真实相机与虚拟相机进行映射,生成侧视图 像;其中Pv和P0分别为虚拟相机和真实相机图像上的点,S是一个缩放因子,Kv和K0分别为虚 拟相机和真实相机的内参数矩阵,K0V表示两个相机之间的旋转矩阵,R0表示真实相机相对 于参考坐标系的旋转矩阵,RV表示虚拟相机相对于车体坐标系的旋转矩阵;

所述距离矩阵模块,用于根据透视投影基本原理,通过方程式s′p=K(RP+t)得到 虚拟相机的内参数矩阵及外参数矩阵,只考虑地面,令Y=0,通过方程式 生成地面距离矩阵;其中P(X,Y,Z)T表示车体坐标系下一个三维点,p (u,v,1)T表示相应的图像坐标系下的像素点的齐次坐标,s表示缩放因子,K,R和t是虚拟相 机的内参矩阵和外参矩阵,(x,z)为车体坐标系下的X方向和Z方向这两个方向上的坐标;

所述监测区域图像ROI′模块,用于根据距离矩阵在地面上的垂直投影用矩形区域 表示,矩形区域相对于距离矩阵,生成以轮胎中心点表示的监测区域图像 ROI′;遍历距离矩阵中的每个点,对于某个点(u,v)来说,它的值为(x,z),如果这个值满足 不等式方程,则令ROI′(u,v)=255,否则ROI′(u,v)=0;其中,X-和X+是预设的车体坐标系下 X方向需要监测的最小值和最大值的阈值,Z-和Z+是预设的车体坐标系下Z方向需要监测的 最小值和最大值的阈值;每个点的值为0或255,0表示该点不需要进行后续的物体检测,255 表示该点需要进行后续的物体检测;

所述监测点数组模块,用于将以轮胎中心点表示的监测区域图像ROI′,通过方程 式转换成以该矩形的左上角坐 标表示的监测区域图像ROI,进而转换成监测点数组A在进行具体的物体检测;其中,M、N为 目标物体的检测窗口大小M×N像素;

所述检测输出模块,用于对监测点数组A中的元素(u,v)所表示的检测窗口为(u, v,M,N),输入检测窗口和侧视图像,采用公知技术进行检测,最后输出是否是目标物体。

本发明的进一步技术方案是:还包括标定单元;所述标定模块,用于通过张正友标 定法得到环视鱼眼相机的内参数矩阵、径向畸变参数、切向畸变参数及环视鱼眼相机相对 于车体坐标系的外参数矩阵。

本发明的进一步技术方案是:还包括消除透视失真后的图像单元及无失真的轮胎 图像单元;所述消除透视失真后的图像单元,用于转动环视鱼眼相机得到一个光轴与检测 平面垂直的虚拟相机,通过虚拟相机可以得到消除透视失真后的图像;所述无失真的轮胎 图像单元,用于在车辆正常行使过程中,将虚拟摄像机指向当前车辆左侧或右侧,即可得到 侧后方来车的无失真的轮胎图像。

本发明的进一步技术方案是:还包括判断单元;所述判断单元,用于对检测窗口进 行特征提取和计算,然后将计算得到的特征值输入给神经网络进行分类器的判断。

本发明的进一步技术方案是:所述环视鱼眼相机可扩展。

本发明的有益效果是:解决车辆在盲区中不同位置成像所导致的视角差异,实现 较好的检测效果,同时还具有检测更大范围的盲区,更可靠的检测结果,以及检测速度较快 的优点,同时给车辆变道、并线等行车环节带来巨大的用处。

附图说明

图1是本发明实施例提供的一种基于汽车环视相机的盲区中车辆监测方法流程步 骤图;

图2是本发明实施例提供的是一种基于汽车环视相机的盲区中车辆监测系统框 图。

具体实施方式

附图标记:

图1示出了本发明提供的一种基于汽车环视相机的盲区中车辆监测方法,旨在解 决车辆在盲区中不同位置成像所导致的视角差异,实现较好的检测效果,车辆后视镜的视 野不够,车辆两侧始终会存在目视观察的盲区,给车辆变道、并线等行车环节带来安全隐患 的问题。

本发明是这样实现的,一种基于汽车环视相机的盲区中车辆监测方法,包括环视 鱼眼相机、处理器及显示单元,根据方法流程图包括以下步骤:

步骤S1,环视鱼眼相机捕捉原始鱼眼图像,建立车体坐标系,以汽车在地面上的垂 直投影的最小外接矩形的下边的中心点为车体坐标系原点,垂直向前记为X方向,水平向右 记为Z方向,垂直向上记为Y方向,通过张正友标定法得到环视鱼眼相机的内参数矩阵、径向 畸变参数、切向畸变参数及环视鱼眼相机相对于车体坐标系的外参数矩阵。通过方程式 x = u - u 0 f x y = v - v 0 f y ]]> x = x 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 1 x y + p 2 ( r 2 + 2 r 2 ) y = y 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 2 x y + p 1 ( r 2 + 2 y 2 ) ]]>进行校正,得到校正后的透视图像;其中(u′,v′)为校正后的透视图像上的 像素坐标,(u0,v0)为主点像素坐标,fx和fy分别为图像水平方向和垂直方向上的焦距,k1, k2,k3,k4,k5,k6为径向畸变参数,p1和p2为切向畸变参数,r2=x′2+y′2,(u,v)为原始图像上 的对应像素坐标,(x′,y′)为以毫米为单位的实际的图像点的坐标,(x″,y″)为由透视模型 计算出来的图像点坐标的理想值。

步骤S2,对环视鱼眼相机进行转动得到虚拟相机,转动环视鱼眼相机得到一个光 轴与检测平面垂直的虚拟相机,通过虚拟相机可以得到消除透视失真后的图像。在车辆正 常行使过程中,将虚拟摄像机指向当前车辆左侧或右侧,即可得到侧后方来车的无失真的 轮胎图像。通过方程式将真实相机与虚拟相机进 行映射,生成侧视图像;其中Pv和P0分别为虚拟相机和真实相机图像上的点,S是一个缩放因 子,Kv和K0分别为虚拟相机和真实相机的内参数矩阵,K0V表示两个相机之间的旋转矩阵,R0表示真实相机相对于参考坐标系的旋转矩阵,RV表示虚拟相机相对于车体坐标系的旋转矩 阵。

步骤S3,根据透视投影基本原理,通过方程式s′p=K(RP+t)得到虚拟相机的内参 数矩阵及外参数矩阵,只考虑地面,令Y=0,通过方程式生成地面距 离矩阵;其中P(X,Y,Z)T表示车体坐标系下一个三维点,p(u,v,1)T表示相应的图像坐标系下 的像素点的齐次坐标,s表示缩放因子,K,R和t是虚拟相机的内参矩阵和外参矩阵,(x,z)为 车体坐标系下的X方向和Z方向这两个方向上的坐标。

步骤S4,根据距离矩阵在地面上的垂直投影用矩形区域表示,矩形区域 相对于距离矩阵,生成以轮胎中心点表示的监测区域图像ROI′;遍历距离矩阵中的每个点, 对于某个点(u,v)来说,它的值为(x,z),如果这个值满足不等式方程,则令ROI′(u,v)= 255,否则ROI′(u,v)=0;其中,X-和X+是预设的车体坐标系下X方向需要监测的最小值和最 大值的阈值,Z-和Z+是预设的车体坐标系下Z方向需要监测的最小值和最大值的阈值;每个 点的值为0或255,0表示该点不需要进行后续的物体检测,255表示该点需要进行后续的物 体检测。

步骤S5,将以轮胎中心点表示的监测区域图像ROI′,通过方程式转换成以该矩形的左上角坐标表示的监测区域图像ROI,进而转换成监测点数组A在进行具 体的物体检测;其中,M、N为目标物体的检测窗口大小M×N像素。

步骤S6,对监测点数组A中的元素(u,v)所表示的检测窗口为(u,v,M,N),输入检测 窗口和侧视图像,对检测窗口进行特征提取和计算,然后将计算得到的特征值输入给神经 网络进行分类器的判断。特征提取包括Haar矩形特征或LBP特征或HOG特征。分类器为级联 弱分类器或SVM分类器。采用公知技术进行检测,最后输出是否是目标物体。

如图2示出了一种基于汽车环视相机的盲区中车辆监测系统,所述系统包括环视 鱼眼相机、处理器及显示单元,所述环视相机与所述处理器连接,所述处理器与所述显示单 元双向通讯连接。

所述透视图像模块,用于环视鱼眼相机捕捉原始鱼眼图像,建立车体坐标系,以汽 车在地面上的垂直投影的最小外接矩形的下边的中心点为车体坐标系原点,垂直向前记为 X方向,水平向右记为Z方向,垂直向上记为Y方向,通过方程式 x = u - u 0 f x y = v - v 0 f y ]]> x = x 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 1 x y + p 2 ( r 2 + 2 r 2 ) y = y 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 2 x y + p 1 ( r 2 + 2 y 2 ) ]]>进行校正,得到校正后的透视图像;其中(u′,v′)为校正后的透视图像上的像素坐标,(u0, v0)为主点像素坐标,fx和fy分别为图像水平方向和垂直方向上的焦距,k1,k2,k3,k4,k5,k6为 径向畸变参数,p1和p2为切向畸变参数,r2=x′2+y′2,(u,v)为原始图像上的对应像素坐标, (x′,y′)为以毫米为单位的实际的图像点的坐标,(x″,y″)为由透视模型计算出来的图像点 坐标的理想值。

所述标定单元,用于通过张正友标定法得到环视鱼眼相机的内参数矩阵、径向畸 变参数、切向畸变参数及环视鱼眼相机相对于车体坐标系的外参数矩阵。还包括消除透视 失真后的图像模块及无失真的轮胎图像模块。

所述侧视图像模块,用于对环视鱼眼相机进行转动得到虚拟相机,通过方程式 将真实相机与虚拟相机进行映射,生成侧视图像; 其中Pv和P0分别为虚拟相机和真实相机图像上的点,S是一个缩放因子,Kv和K0分别为虚拟 相机和真实相机的内参数矩阵,K0V表示两个相机之间的旋转矩阵,R0表示真实相机相对于 参考坐标系的旋转矩阵,RV表示虚拟相机相对于车体坐标系的旋转矩阵。

所述消除透视失真后的图像单元,用于转动环视鱼眼相机得到一个光轴与检测平 面垂直的虚拟相机,通过虚拟相机可以得到消除透视失真后的图像。

所述无失真的轮胎图像单元,用于在车辆正常行使过程中,将虚拟摄像机指向当 前车辆左侧或右侧,即可得到侧后方来车的无失真的轮胎图像。

所述距离矩阵模块,用于根据透视投影基本原理,通过方程式s′p=K(RP+t)得到 虚拟相机的内参数矩阵及外参数矩阵,只考虑地面,令Y=0,通过方程式生成地面距离矩阵;其中P(X,Y,Z)T表示车体坐标系下一个三维点,p(u,v,1)T表示相应的图 像坐标系下的像素点的齐次坐标,S表示缩放因子,K,R和t是虚拟相机的内参矩阵和外参矩 阵,(x,z)为车体坐标系下的X方向和Z方向这两个方向上的坐标。

所述监测区域图像ROI′模块,用于根据距离矩阵在地面上的垂直投影用矩形区域 表示,矩形区域相对于距离矩阵,生成以轮胎中心点表示的监测区域图像ROI′; 遍历距离矩阵中的每个点,对于某个点(u,v)来说,它的值为(x,z),如果这个值满足不等式 方程,则令ROI′(u,v)=255,否则ROI′(u,v)=0;其中,X-和X+是预设的车体坐标系下X方向 需要监测的最小值和最大值的阈值,Z-和Z+是预设的车体坐标系下Z方向需要监测的最小值 和最大值的阈值;每个点的值为0或255,0表示该点不需要进行后续的物体检测,255表示该 点需要进行后续的物体检测。

所述监测点数组模块,用于将以轮胎中心点表示的监测区域图像ROI′,通过方程 式转换成以该矩形的左上角坐 标表示的监测区域图像ROI,进而转换成监测点数组A在进行具体的物体检测;其中,M、N为 目标物体的检测窗口大小M×N像素。

所述检测输出模块,用于对监测点数组A中的元素(u,v)所表示的检测窗口为(u, v,M,N),输入检测窗口和侧视图像,采用公知技术进行检测,最后输出是否是目标物体。

所述判断单元,用于对检测窗口进行特征提取和计算,然后将计算得到的特征值 输入给神经网络进行分类器的判断。

所述环视鱼眼相机可扩展。

解决车辆在盲区中不同位置成像所导致的视角差异,实现较好的检测效果,同时 还具有检测更大范围的盲区,更可靠的检测结果,以及检测速度较快的优点,同时给车辆变 道、并线等行车环节带来巨大的用处。

通过将汽车环视鱼眼相机的图像转换为水平朝向侧面的透视相机的侧视图像,将 车辆检测转换为轮胎的检测,从而消除了被检测物体在盲区中不同位置所导致的不同视角 的成像差异,实现较好的检测准确性和可靠性。本系统实现不必须依赖于3个相机,下面的 说明以最全面、监测面积最大的3个相机的实现进行说明,实施例中同样给出了基于1个相 机或两个相机的例子。

汽车左侧,右侧和后侧3路环视鱼眼相机输出的原始的鱼眼图像分别为F1,F2和F3, 定义车体坐标系为:以汽车在地面上的垂直投影的最小外接矩形的下边的中心点为车体坐 标系原点,垂直向前记为X方向,水平向右记为Z方向,垂直向上记为Y方向。通过公知的张正 友标定法得到左侧、右侧和后侧的鱼眼相机的内参数矩阵K1,K2和K3,径向畸变参数和切向 畸变参数,以及相机相对于车体坐标系的外参矩阵[R1,t1],[R2,t2]和[R3,t3]。

x = u - u 0 f x y = v - v 0 f y - - - ( 1 ) ]]>

x = x 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 1 x y + p 2 ( r 2 + 2 r 2 ) y = y 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 1 + k 4 r 2 + k 5 r 4 + k 6 r 6 + 2 p 2 x y + p 1 ( r 2 + 2 y 2 ) - - - ( 2 ) ]]>

u = f x x + u 0 v = f y y + v 0 - - - ( 3 ) ]]>

根据方程(1)到(3)对原始的鱼眼图像进行校正,得到校正后的透视图像。其中 (u′,v′)为校正后的透视图像上的像素坐标,(u0,v0)为主点像素坐标,fx和fy分别为图像水 平方向

收缩
  • QQ咨询

  • 在线咨询
  • 在线咨询
  • 在线咨询
  • 在线咨询
  • 电话咨询

  • 02886312233