| 专利名称： | 一种图像合成标定方法 | ||
| 专利名称(英文)： | Picture synthesis calibration method | ||
| 专利号： | CN201410239145.7 | 申请时间： | 20140530 |
| 公开号： | CN104008530A | 公开时间： | 20140827 |
| 申请人： | 长城汽车股份有限公司 | ||
| 申请地址： | 071000 河北省保定市朝阳南大街2266号 | ||
| 发明人： | 齐明昭; 赵海龙; 惠辉; 侯万广 | ||
| 分类号： | G06T5/00; G06T5/50 | 主分类号： | G06T5/00 |
| 代理机构： | 北京中博世达专利商标代理有限公司 11274 | 代理人： | 申健 |
| 摘要： | 本发明公开一种图像合成标定方法，涉及汽车领域，解决了汽车的安全驾驶性能的问题。所述图像合成标定方法，包括：获取后视镜摄像头展开下任一点的第一点坐标并记录；建立其与相同世界点坐标的关系并记录；用内部参数模型获取第一畸变图像中相同点的像素值与第一点坐标的关系并记录；获取第一畸变图像中相同点的像素值与世界点坐标的关系并记录；获取摄像头折叠下任一点的第二点坐标并记录；建立相同点的第二点坐标与第一点坐标的关系并记录；用内部参数模型获取第二畸变图像中相同点的像素值与第二点坐标的关系并记录；获取第二畸变图像中相同点的像素值与世界点坐标的关系并记录。本发明用在汽车安全系统中。 | ||
| 摘要(英文)： | The invention discloses a picture synthesis calibration method, and relates to the field of automobiles. The picture synthesis calibration method achieves safe driving of the automobiles. The picture synthesis calibration method comprises the steps that a first point coordinate of any one point is obtained and recorded while a rearview mirror camera is unfolded; a relation between the first point coordinate and an identical world point coordinate is built and recorded; a relation between a pixel value and the first point coordinate of the same point in a first distortion picture is obtained through an internal parameter model and recorded; a relation between the pixel value and the world point coordinate of the same point in the first distortion picture is obtained and recorded; a second point coordinate of any one point is obtained and recorded while the camera is folded; a relation between the second point coordinate and the first point coordinate of the same point is built and recorded; a relation between the pixel value and the second point coordinate of the same point in a second distortion picture is obtained through the internal parameter model and recorded; a relation between the pixel value and the world point coordinate of the same point in the second distortion picture is obtained and recorded. The picture synthesis calibration method is applied to an automobile safety system. | ||
1.一种图像合成标定方法，其特征在于，包括： 步骤1、获取汽车后视镜摄像头在展开状态下的第一坐标系中任一点的第 一点坐标并记录； 步骤2、建立所述第一点坐标与相同点在世界坐标系中的世界点坐标之间 的对应关系并记录； 步骤3、在汽车后视镜摄像头展开状态下，用内部参数模型获取第一畸变 图像中相同点的像素值与所述第一点坐标之间的对应关系并记录； 步骤4、在汽车后视镜摄像头展开状态下，获取所述第一畸变图像中相同 点的像素值与所述世界点坐标的对应关系并记录； 步骤5、获取汽车摄像头在折叠状态下的第二坐标系中任一点的第二点坐 标并记录； 步骤6、建立相同点的所述第二点坐标与所述第一点坐标之间的对应关系 并记录； 步骤7、在汽车后视镜摄像头折叠状态下，用内部参数模型获取第二畸变 图像中相同点的像素值与所述第二点坐标之间的对应关系并记录； 步骤8、在汽车后视镜摄像头折叠状态下，获取所述第二畸变图像中相同 点的像素值与所述世界点坐标的对应关系并记录。
2.根据权利要求1所述的一种图像合成标定方法，其特征在于，在所述 步骤1之前，具体还包括： 步骤101、铺设标定板，所述标定板为黑白棋盘状的百格图； 步骤102、控制汽车行驶至所述标定板指定位置； 步骤103、确定标定诊断工具接口与所述汽车的车载诊断系统接口相连 接。
3.根据权利要求2所述的一种图像合成标定方法，其特征在于，所述步 骤1具体包括： 步骤11、操作所述标定诊断工具与所述汽车的电子控制单元建立通讯认 证； 步骤12、通过所述汽车的电子控制单元激活所述汽车后视镜摄像头，并 将所述汽车后视镜摄像头调整为展开状态； 步骤13、以所述汽车后视镜摄像头的光心为所述第一坐标系原点，获取 所述第一坐标系中任一点的第一点坐标并记录。
4.根据权利要求3所述的一种图像合成标定方法，其特征在于，所述步 骤2具体包括： 步骤21、确定相同点的所述第一点坐标与所述世界点坐标相对应的第一 空间变量，所述第一空间变量包括第一旋转矩阵R1以及第一平移向量T1； 步骤22、用第一旋转矩阵R1和第一平移向量T1建立相同点的所述第一 点坐标与所述世界点坐标对应关系并记录。
5.根据权利要求4所述的一种图像合成标定方法，其特征在于，所述步 骤3具体包括： 用内部参数模型g获得相同点在第一畸变图像中的像素值与所述第一点 坐标之间的投影关系，其中，所述第一坐标系原点与所述第一畸变图像原点 共线。
6.根据权利要求5所述的一种图像合成标定方法，其特征在于，所述步 骤4具体包括： 根据相同点的所述像素值与所述第一点坐标的投影关系，获得相同点在 所述第一畸变图像的像素值与所述世界点坐标的对应关系并记录。
7.根据权利要求6所述的一种图像合成标定方法，其特征在于，所述步 骤5具体包括： 步骤51、通过所述汽车的电子控制单元控制所述汽车后视镜折叠； 步骤52、所述汽车的电子控制单元记录所述汽车后视镜折叠后的折叠角 度信息； 步骤53、以所述汽车后视镜摄像头的光心为所述第二坐标系原点，获取 所述第二坐标系中任一点的第二点坐标并记录。
8.根据权利要求7所述的一种图像合成标定方法，其特征在于，所述步 骤6具体包括： 步骤61、根据所述折叠角度信息，确定相同点的所述第一点坐标与所述 第二点坐标相对应的第二空间变量，所述第二空间变量包括第二旋转矩阵R2 以及第二平移向量T2； 步骤62、用第二旋转矩阵R2和第二平移向量T2建立相同点的所述第一 点坐标与所述第二点坐标对应关系并记录。
9.根据权利要求8所述的一种图像合成标定方法，其特征在于，所述步 骤7具体包括： 用内部参数模型g获得相同点在第二畸变图像中的像素值与所述第二点 坐标之间的投影关系，其中，所述第二坐标系原点与所述第二畸变图像原点 共线。
10.根据权利要求9所述的一种图像合成标定方法，其特征在于，所述 步骤8具体包括： 步骤81、根据相同点的所述像素值与所述第二点坐标的投影关系，获得 所述相同点在第二畸变图像的像素值与所述第一点坐标的对应关系并记录； 步骤82、根据相同点的所述第一点坐标与所述世界点坐标的对应关系， 获得相同点在所述第二畸变图像的像素值与所述世界点坐标的对应关系并记 录。
1.一种图像合成标定方法，其特征在于，包括： 步骤1、获取汽车后视镜摄像头在展开状态下的第一坐标系中任一点的第 一点坐标并记录； 步骤2、建立所述第一点坐标与相同点在世界坐标系中的世界点坐标之间 的对应关系并记录； 步骤3、在汽车后视镜摄像头展开状态下，用内部参数模型获取第一畸变 图像中相同点的像素值与所述第一点坐标之间的对应关系并记录； 步骤4、在汽车后视镜摄像头展开状态下，获取所述第一畸变图像中相同 点的像素值与所述世界点坐标的对应关系并记录； 步骤5、获取汽车摄像头在折叠状态下的第二坐标系中任一点的第二点坐 标并记录； 步骤6、建立相同点的所述第二点坐标与所述第一点坐标之间的对应关系 并记录； 步骤7、在汽车后视镜摄像头折叠状态下，用内部参数模型获取第二畸变 图像中相同点的像素值与所述第二点坐标之间的对应关系并记录； 步骤8、在汽车后视镜摄像头折叠状态下，获取所述第二畸变图像中相同 点的像素值与所述世界点坐标的对应关系并记录。
2.根据权利要求1所述的一种图像合成标定方法，其特征在于，在所述 步骤1之前，具体还包括： 步骤101、铺设标定板，所述标定板为黑白棋盘状的百格图； 步骤102、控制汽车行驶至所述标定板指定位置； 步骤103、确定标定诊断工具接口与所述汽车的车载诊断系统接口相连 接。
3.根据权利要求2所述的一种图像合成标定方法，其特征在于，所述步 骤1具体包括： 步骤11、操作所述标定诊断工具与所述汽车的电子控制单元建立通讯认 证； 步骤12、通过所述汽车的电子控制单元激活所述汽车后视镜摄像头，并 将所述汽车后视镜摄像头调整为展开状态； 步骤13、以所述汽车后视镜摄像头的光心为所述第一坐标系原点，获取 所述第一坐标系中任一点的第一点坐标并记录。
4.根据权利要求3所述的一种图像合成标定方法，其特征在于，所述步 骤2具体包括： 步骤21、确定相同点的所述第一点坐标与所述世界点坐标相对应的第一 空间变量，所述第一空间变量包括第一旋转矩阵R1以及第一平移向量T1； 步骤22、用第一旋转矩阵R1和第一平移向量T1建立相同点的所述第一 点坐标与所述世界点坐标对应关系并记录。
5.根据权利要求4所述的一种图像合成标定方法，其特征在于，所述步 骤3具体包括： 用内部参数模型g获得相同点在第一畸变图像中的像素值与所述第一点 坐标之间的投影关系，其中，所述第一坐标系原点与所述第一畸变图像原点 共线。
6.根据权利要求5所述的一种图像合成标定方法，其特征在于，所述步 骤4具体包括： 根据相同点的所述像素值与所述第一点坐标的投影关系，获得相同点在 所述第一畸变图像的像素值与所述世界点坐标的对应关系并记录。
7.根据权利要求6所述的一种图像合成标定方法，其特征在于，所述步 骤5具体包括： 步骤51、通过所述汽车的电子控制单元控制所述汽车后视镜折叠； 步骤52、所述汽车的电子控制单元记录所述汽车后视镜折叠后的折叠角 度信息； 步骤53、以所述汽车后视镜摄像头的光心为所述第二坐标系原点，获取 所述第二坐标系中任一点的第二点坐标并记录。
8.根据权利要求7所述的一种图像合成标定方法，其特征在于，所述步 骤6具体包括： 步骤61、根据所述折叠角度信息，确定相同点的所述第一点坐标与所述 第二点坐标相对应的第二空间变量，所述第二空间变量包括第二旋转矩阵R2 以及第二平移向量T2； 步骤62、用第二旋转矩阵R2和第二平移向量T2建立相同点的所述第一 点坐标与所述第二点坐标对应关系并记录。
9.根据权利要求8所述的一种图像合成标定方法，其特征在于，所述步 骤7具体包括： 用内部参数模型g获得相同点在第二畸变图像中的像素值与所述第二点 坐标之间的投影关系，其中，所述第二坐标系原点与所述第二畸变图像原点 共线。
10.根据权利要求9所述的一种图像合成标定方法，其特征在于，所述 步骤8具体包括： 步骤81、根据相同点的所述像素值与所述第二点坐标的投影关系，获得 所述相同点在第二畸变图像的像素值与所述第一点坐标的对应关系并记录； 步骤82、根据相同点的所述第一点坐标与所述世界点坐标的对应关系， 获得相同点在所述第二畸变图像的像素值与所述世界点坐标的对应关系并记 录。
翻译：技术领域
本发明涉及汽车智能安全驾驶领域，尤其涉及一种图像合成标定方法。
背景技术
随着社会的发展，汽车已进入家家户户，人们对汽车的安全性能也越发 关注，汽车的智能安全驾驶系统已成为发展趋势。
在实际驾驶过程中，由于汽车驾驶员无法同时知晓四周的环境情况，易 造成剐蹭、磕碰等事故，因此目前的汽车智能安全驾驶系统可以为驾驶员提 供汽车周边360度全景环视影像，以方便驾驶员进行安全泊车等操作。其中， 该影像系统由四个广角摄像头和一个控制器构成，前摄像头安装于前保险杠 位置、后摄像头安装于后牌照位置(牌照上方或下方)、左右两摄像头分别 安装于展开的左右后视镜下方；且核心标定算法集成于控制器中，主要是完 成对摄像头与车身安装角度及其内部参数的计算。具体地，该影像系统的工 作过程包括：通过每一个摄像头获取拍摄图像，并将四个图像进行处理(校 正、转化为鸟瞰图等)，最后通过图像的拼接，实现360度全景影像输出。
然而现有技术中，当汽车处于某种特殊的复杂环境(泊车空间狭小等) 下，无法将左右后视镜展开时，即后视镜处于折叠状态，该状态下后视镜摄 像头拍摄的图像会发生变化，导致无法与前后摄像头拍摄的图像进行拼接合 成，从而使360度全景环视影像系统无法正常工作，则无法为驾驶员提供智 能的安全驾驶信息，影响汽车的安全驾驶性能。
发明内容
本发明的实施例提供一种图像合成标定方法，解决了现有技术中在后视 镜处于折叠状态下，智能安全驾驶系统无法为驾驶员提供360度全景影像， 从而影响汽车的安全驾驶性能的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
一种图像合成标定方法，包括：
步骤1、获取汽车后视镜摄像头在展开状态下的第一坐标系中任一点的第 一点坐标并记录。
步骤2、建立所述第一点坐标与相同点在世界坐标系中的世界点坐标之间 的对应关系并记录。
步骤3、在汽车后视镜摄像头展开状态下，用内部参数模型获取第一畸变 图像中相同点的像素值与所述第一点坐标之间的对应关系并记录。
步骤4、在汽车后视镜摄像头展开状态下，获取所述第一畸变图像中相同 点的像素值与所述世界点坐标的对应关系并记录。
步骤5、获取汽车摄像头在折叠状态下的第二坐标系中任一点的第二点坐 标并记录。
步骤6、建立相同点的所述第二点坐标与所述第一点坐标之间的对应关系 并记录。
步骤7、在汽车后视镜摄像头折叠状态下，用内部参数模型获取第二畸变 图像中相同点的像素值与所述第二点坐标之间的对应关系并记录。
步骤8、在汽车后视镜摄像头折叠状态下，获取所述第二畸变图像中相同 点的像素值与所述世界点坐标的对应关系并记录。
具体地，在所述步骤1之前，具体还包括：
步骤101、铺设标定板，所述标定板为黑白棋盘状的百格图。
步骤102、控制汽车行驶至所述标定板指定位置。
步骤103、确定标定诊断工具接口与所述汽车的车载诊断系统接口相连 接。
其中，所述步骤1具体包括：
步骤11、操作所述标定诊断工具与所述汽车的电子控制单元建立通讯认 证。
步骤12、通过所述汽车的电子控制单元激活所述汽车后视镜摄像头，并 将所述汽车后视镜摄像头调整为展开状态。
步骤13、以所述汽车后视镜摄像头的光心为所述第一坐标系原点，获取 所述第一坐标系中任一点的第一点坐标并记录。
其中，所述步骤2具体包括：
步骤21、确定相同点的所述第一点坐标与所述世界点坐标相对应的第一 空间变量，所述第一空间变量包括第一旋转矩阵R1以及第一平移向量T1。
步骤22、用第一旋转矩阵R1和第一平移向量T1建立相同点的所述第一 点坐标与所述世界点坐标对应关系并记录。
其中，所述步骤3具体包括：用内部参数模型g获得相同点在第一畸变 图像中的像素值与所述第一点坐标之间的投影关系，其中，所述第一坐标系 原点与所述第一畸变图像原点共线。
其中，所述步骤4具体包括：根据相同点的所述像素值与所述第一点坐 标的投影关系，获得相同点在所述第一畸变图像的像素值与所述世界点坐标 的对应关系并记录。
其中，所述步骤5具体包括：
步骤51、通过所述汽车的电子控制单元控制所述汽车后视镜折叠。
步骤52、所述汽车的电子控制单元记录所述汽车后视镜折叠后的折叠角 度信息。
步骤53、以所述汽车后视镜摄像头的光心为所述第二坐标系原点，获取 所述第二坐标系中任一点的第二点坐标并记录。
其中，所述步骤6具体包括：
步骤61、根据所述折叠角度信息，确定相同点的所述第一点坐标与所述 第二点坐标相对应的第二空间变量，所述第二空间变量包括第二旋转矩阵R2 以及第二平移向量T2。
步骤62、用第二旋转矩阵R2和第二平移向量T2建立相同点的所述第一 点坐标与所述第二点坐标对应关系并记录。
其中，所述步骤7具体包括：用内部参数模型g获得相同点在第二畸变 图像中的像素值与所述第二点坐标之间的投影关系，其中，所述第二坐标系 原点与所述第二畸变图像原点共线。
其中，所述步骤8具体包括：
步骤81、根据相同点的所述像素值与所述第二点坐标的投影关系，获得 所述相同点在第二畸变图像的像素值与所述第一点坐标的对应关系并记录。
步骤82、根据相同点的所述第一点坐标与所述世界点坐标的对应关系， 获得相同点在所述第二畸变图像的像素值与所述世界点坐标的对应关系并记 录。
本发明实施例提供的一种图像合成标定方法中，首先，通过汽车控制器 获取汽车后视镜摄像头在展开状态下的第一坐标系Oc中的任一点(以实物中 一点A为例)的第一点坐标(Xc,Yc,Zc)并记录；之后，控制器建立点A的第 一点坐标(Xc,Yc,Zc)与该点A在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw) 之间的对应关系并记录，即用在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw) 来描述汽车后视镜摄像头在展开状态下拍摄的点A在第一坐标系Oc中的位 置；然后，在汽车后视镜摄像头展开状态下，控制器可以通过用内部参数模 型g来获取第一畸变图像中点A的像素值(U1,V1)与其第一点坐标(Xc,Yc,Zc) 之间的对应关系并记录，即用在第一坐标系Oc中的第一点坐标(Xc,Yc,Zc)来 描述汽车后视镜摄像头在展开状态下拍摄的点A在第一畸变图像中的像素值 (U1,V1)，可以用函数：(U1,V1)＝g(Xc,Yc,Zc)来描述；这之后，在汽车后视镜 摄像头展开状态下，控制器可以通过逻辑换算来获取第一畸变图像中点A的 像素值(U1,V1)与其在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)的对应关 系并记录，即用在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)来描述汽车后 视镜摄像头在展开状态下拍摄的点A在第一畸变图像中的像素值(U1,V1)；再 然后，控制器获取汽车摄像头在折叠状态下的第二坐标系Ov中任一点(仍然 以实物中相同的点A为例)的第二点坐标(Xv,Yv,Zv)并记录；之后，控制器 建立点A在第二坐标系Ov中的第二点坐标(Xv,Yv,Zv)与点A在第一坐标系 Oc中第一点坐标(Xc,Yc,Zc)之间的对应关系并记录，即用在汽车摄像头展开 状态下拍摄的点A在第一坐标系Oc中第一点坐标(Xc,Yc,Zc)来描述汽车后视 镜摄像头在折叠状态下拍摄的点A在第一坐标系Oc中的位置；再之后，在汽 车后视镜摄像头折叠状态下，控制器可以通过用内部参数模型g获取第二畸 变图像中点A的像素值(U2,V2)与其第二点坐标(Xv,Yv,Zv)之间的对应关系并 记录，即用在第二坐标系Ov中的第二点坐标(Xv,Yv,Zv)来描述汽车后视镜摄 像头在折叠状态下拍摄的点A在第二畸变图像中的像素值(U2,V2)，可以用函 数：(U2,V2)＝g(Xv,Yv,Zv)来描述；最后，在汽车后视镜摄像头折叠状态下， 控制器可以通过逻辑换算来获取第二畸变图像中点A的像素值(U2,V2)与其在 世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)的对应关系并记录，即用在世界 坐标系Ow中的世界点坐标(Xw,Yw,Zw)来描述汽车后视镜摄像头在折叠状态 下拍摄的点A在第二畸变图像中的像素值(U2,V2)。
由此分析可知，当汽车处于泊车空间狭小等特殊复杂环境下，后视镜只 能处于折叠状态，由于该状态下后视镜摄像头拍摄的图像会发生变化，因此 通过本实施例提供的图像合成标定方法中的内部参数模型及后视镜摄像头处 于展开和折叠两个状态下的空间机械角度对应关系等进行图像算法标定，控 制器能够将后视镜处于折叠状态下拍摄的第二畸变图像与世界坐标系建立对 应关系，从而将后视镜处于折叠状态下拍摄的第二畸变图像中的各点像素值 一一转换成后视镜处于展开状态下的第一畸变图像中的相应像素值，从而可 以顺利与前后摄像头拍摄的图像进行拼接合成，进而为驾驶员提供汽车周边 360度全景环视影像等安全驾驶信息，提高汽车的安全驾驶性能；而且，由于 通过图像算法标定的转换，能够减少单独标定的时间，提高效率。
附图说明
图1为本发明实施例提供的图像合成标定方法流程图；
图2为本发明实施例提供的图像合成标定方法步骤1之前的准备步骤流 程图；
图3为本发明实施例提供的图像合成标定方法步骤1的具体步骤流程图；
图4为本发明实施例提供的图像合成标定方法步骤2的具体步骤流程图；
图5为本发明实施例提供的图像合成标定方法步骤5的具体步骤流程图；
图6为本发明实施例提供的图像合成标定方法步骤6的具体步骤流程图；
图7为本发明实施例提供的图像合成标定方法步骤8的具体步骤流程图；
图8为应用了本发明实施例提供的图像合成标定方法的成像过程流程图。
具体实施方式
下面结合附图对本发明实施例一种图像合成标定方法进行详细描述。
本发明实施例提供一种图像标定方法，如图1所示，包括：
步骤1、获取汽车后视镜摄像头在展开状态下的第一坐标系中任一点的第 一点坐标并记录。
步骤2、建立第一点坐标与相同点在世界坐标系中的世界点坐标之间的对 应关系并记录。
步骤3、在汽车后视镜摄像头展开状态下，用内部参数模型获取第一畸变 图像中相同点的像素值与第一点坐标之间的对应关系并记录。
步骤4、在汽车后视镜摄像头展开状态下，获取第一畸变图像中相同点的 像素值与世界点坐标的对应关系并记录。
步骤5、获取汽车摄像头在折叠状态下的第二坐标系中任意点的第二点坐 标并记录。
步骤6、建立相同点的第二点坐标与第一点坐标之间的对应关系并记录。
步骤7、在汽车后视镜摄像头折叠状态下，用内部参数模型获取第二畸变 图像中相同点的像素值与第二点坐标之间的对应关系并记录。
步骤8、在汽车后视镜摄像头折叠状态下，获取所述第二畸变图像中相同 点的像素值与世界点坐标的对应关系并记录。
本发明实施例提供的一种图像合成标定方法中，首先，通过汽车控制器 获取汽车后视镜摄像头在展开状态下的第一坐标系Oc中的任一点(以实物中 一点A为例)的第一点坐标(Xc,Yc,Zc)并记录；之后，控制器建立点A的第 一点坐标(Xc,Yc,Zc)与该点A在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw) 之间的对应关系并记录，即用在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw) 来描述汽车后视镜摄像头在展开状态下拍摄的点A在第一坐标系Oc中的位 置；然后，在汽车后视镜摄像头展开状态下，控制器可以通过用内部参数模 型g来获取第一畸变图像中点A的像素值(U1,V1)与其第一点坐标(Xc,Yc,Zc) 之间的对应关系并记录，即用在第一坐标系Oc中的第一点坐标(Xc,Yc,Zc)来 描述汽车后视镜摄像头在展开状态下拍摄的点A在第一畸变图像中的像素值 (U1,V1)，可以用函数：(U1,V1)＝g(Xc,Yc,Zc)来描述；这之后，在汽车后视镜 摄像头展开状态下，控制器可以通过逻辑换算来获取第一畸变图像中点A的 像素值(U1,V1)与其在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)的对应关 系并记录，即用在世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)来描述汽车后 视镜摄像头在展开状态下拍摄的点A在第一畸变图像中的像素值(U1,V1)；再 然后，控制器获取汽车摄像头在折叠状态下的第二坐标系Ov中任一点(仍然 以实物中相同的点A为例)的第二点坐标(Xv,Yv,Zv)并记录；之后，控制器 建立点A在第二坐标系Ov中的第二点坐标(Xv,Yv,Zv)与点A在第一坐标系 Oc中第一点坐标(Xc,Yc,Zc)之间的对应关系并记录，即用在汽车摄像头展开 状态下拍摄的点A在第一坐标系Oc中第一点坐标(Xc,Yc,Zc)来描述汽车后视 镜摄像头在折叠状态下拍摄的点A在第一坐标系Oc中的位置；再之后，在汽 车后视镜摄像头折叠状态下，控制器可以通过用内部参数模型g获取第二畸 变图像中点A的像素值(U2,V2)与其第二点坐标(Xv,Yv,Zv)之间的对应关系并 记录，即用在第二坐标系Ov中的第二点坐标(Xv,Yv,Zv)来描述汽车后视镜摄 像头在折叠状态下拍摄的点A在第二畸变图像中的像素值(U2,V2)，可以用函 数：(U2,V2)＝g(Xv,Yv,Zv)来描述；最后，在汽车后视镜摄像头折叠状态下， 控制器可以通过逻辑换算来获取第二畸变图像中点A的像素值(U2,V2)与其在 世界坐标系Ow中的世界点坐标(Xw,Yw,Zw)的对应关系并记录，即用在世界 坐标系Ow中的世界点坐标(Xw,Yw,Zw)来描述汽车后视镜摄像头在折叠状态 下拍摄的点A在第二畸变图像中的像素值(U2,V2)。
由此分析可知，当汽车处于泊车空间狭小等特殊复杂环境下，后视镜只 能处于折叠状态，由于该状态下后视镜摄像头拍摄的图像会发生变化，因此 通过本实施例提供的图像合成标定方法中的内部参数模型及后视镜摄像头处 于展开和折叠两个状态下的空间机械角度对应关系等进行图像算法标定，控 制器能够将后视镜处于折叠状态下拍摄的第二畸变图像与世界坐标系建立对 应关系，从而将后视镜处于折叠状态下拍摄的第二畸变图像中的各点像素值 一一转换成后视镜处于展开状态下的第一畸变图像中的相应像素值，从而可 以顺利与前后摄像头拍摄的图像进行拼接合成，进而为驾驶员提供汽车周边 360度全景环视影像等安全驾驶信息，提高汽车的安全驾驶性能；而且，由于 通过图像算法标定的转换，能够减少单独标定的时间，提高效率。
此处需要说明的是，上述步骤1中获取的点A是任意一点，但控制器获 取的是摄像头在展开状态下拍摄的图像中的所有点，即第一坐标系中的点有 A、B、C、D、E、F……等，相应的步骤6中建立第二点坐标与第一点坐标 之间的点的对应关系时，此时的点应对应同一点，即在相同的点A、点B或 点C…下，建立第一点坐标与第二点坐标的对应关系，从而将第一坐标系中 的所有点与第二坐标系中所有相应点一一建立对应关系，进而将后视镜处于 折叠状态下拍摄的第二畸变图像中的各点像素值一一转换成后视镜处于展开 状态下的第一畸变图像中的相应像素值，方便完成图像合成标定。其中，在 上述步骤1之前还需要进行标定准备，如图2所示，具体可以包括：步骤101、 铺设标定板，该标定板可以为黑白棋盘状的百格图，且每个格的尺寸为 10cm*10cm，也可以为圆形等其他图形的平面棋盘格状标定板；其中，黑白 棋盘状的百格图仅包括黑、白色，像素值对应最大值和最小值，便于进行图 像处理、方便试验。步骤102、控制汽车行驶至标定板指定位置，该指定位置 通常可以是标定板的中心位置；步骤103、确定(控制器)标定诊断工具接口 与汽车的车载诊断系统接口相连接，并通信正常，从而保证汽车的智能安全 驾驶系统可以正常工作，并顺利完成图像合成标定及输出360度全景环视影 像。
具体地，如图3所示，上述步骤1可以具体包括：步骤11、操作标定诊 断工具与汽车电子控制单元建立通讯认证，以保证后续控制汽车后视镜处于 展开和折叠两种不同状态下，均与标定诊断工具和车载诊断系统相连通。
步骤12、控制电子控制单元激活汽车后视镜摄像头，并将汽车后视镜摄 像头调整为展开状态，从而后续获取第一坐标系Oc中所有点的第一点坐标 (Xc,Yc,Zc)并记录。
步骤13、以汽车后视镜在展开状态下的摄像头的光心为第一坐标系Oc 的原点，并获取第一坐标系Oc中各点的第一点坐标(Xc,Yc,Zc)并记录。
具体地，图像处理主要通过标定诊断工具集合车载诊断系统完成图像的 畸变校正、拼接等。其中，由于汽车摄像头多为广角摄像头，因此所拍摄到 的初始图片为畸变图像，在对畸变图像进行处理时，需要预先标定各参数， 从而控制器能够根据各参数进行校正，进而将图像转化为俯视图(鸟瞰图)，便 于后续图像合成。
其中，如图4所示，上述步骤2具体可以包括：步骤21、以第一坐标系 Oc中的点A为例，标定诊断工具确定点A的第一点坐标(Xc,Yc,Zc)与世界坐 标系Ow中的该点的世界点坐标(Xw,Yw,Zw)之间相对应的关系，即第一空间 变量，该第一空间变量具体可以包括第一旋转矩阵R1以及第一平移向量T1。
步骤22、标定诊断工具通过第一旋转矩阵R1和第一平移向量T1建立点 A的第一点坐标(Xc,Yc,Zc)与其世界点坐标(Xw,Yw,Zw)之间的对应关系并记 录，即可以通过函数：(Xc,Yc,Zc)＝R1(Xw,Yw,Zw)+T1来描述。
补充说明，上述第一旋转矩阵R1和第一平移向量T1，为经过多次试验 得到的合理常量。
其中，上述步骤3可以具体为：标定诊断工具用内部参数模型g获得点A 在第一畸变图像中的像素值(U1,V1)与其第一点坐标(Xc,Yc,Zc)之间的投影关 系，即可以通过函数：(U1,V1)＝g(Xc,Yc,Zc)来描述；其中，第一坐标系原点 与第一畸变图像原点共线，即处于展开状态下的摄像头光心延长线与第一畸 变图像垂直，且垂足为该畸变图像的原点。
其中，上述步骤4可以具体为：标定诊断工具根据点A的像素值(U1,V1) 与其第一点坐标(Xc,Yc,Zc)之间的投影关系，获得该点在第一畸变图像的像素 值(U1,V1)与其世界点坐标(Xw,Yw,Zw)的对应关系并记录，即可以通过函数 (U1,V1)＝g[R1(Xw,Yw,Zw)+T1]来描述。从而，通过该函数，能够得到展开状 态下，汽车后视镜摄像头所拍摄的畸变图像与实物对应位置的参数，从而控 制器通过参数进行畸变图像的校正，以合成汽车后视镜展开时的360度全景 环视影像，便于驾驶员进行泊车等操作。
其中，如图5所示，上述步骤5可以具体包括：步骤51、通过汽车电子 控制单元(Electronic Control Unit，ECU)控制汽车后视镜折叠，为后续进行 后视镜处于折叠状态下的标定做准备。
步骤52、汽车电子控制单元记录汽车后视镜折叠后的空间折叠角度信息 等，即确定后视镜折叠状态与展开状态下的空间角度对应关系，并发送给标 定诊断工具。
步骤53、以汽车后视镜处于折叠状态下的摄像头的光心为第二坐标系Ov 的原点，获取第二坐标系Ov中任一点(仍然以实物中相同的点A为例)的 第二点坐标(Xv,Yv,Zv)并记录。
其中，如图6所示，上述步骤6可以具体包括：步骤61、标定诊断工具 根据折叠角度信息，确定相同点的点A第一点坐标(Xc,Yc,Zc)与第二点坐标 (Xv,Yv,Zv)之间相对应的第二空间变量，该第二空间变量具体可以包括第二旋 转矩阵R2以及第二平移向量T2。
步骤62、标定诊断工具用第二旋转矩阵R2和第二平移向量T2建立相同 点的点A第一点坐标(Xc,Yc,Zc)与第二点坐标(Xv,Yv,Zv)之间的对应关系并记 录，即可以通过函数：(Xv,Yv,Zv)＝R2(Xc,Yc,Zc)+T2来描述。
补充说明，上述第二旋转矩阵R2和第二平移向量T2，为经过多次试验 得到的合理常量。
其中，上述步骤7可以具体为：标定诊断工具用内部参数模型g获得点A 在第二畸变图像中的像素值(U2，V2)与其第二点坐标(Xv,Yv,Zv)之间的投影关 系，即可以通过函数：(U2，V2)＝g(Xv,Yv,Zv)来描述；其中，第二坐标系原点 与第二畸变图像原点共线，即处于折叠状态下的摄像头光心延长线与第二畸 变图像垂直，且垂足为该畸变图像的原点。
其中，如图7所示，上述步骤8可以具体包括：步骤81、标定诊断工具 根据点A的像素值(U2，V2)与其第二点坐标(Xv,Yv,Zv)之间的投影关系，获 得该点A在第二畸变图像的像素值(U2，V2)与其第一点坐标(Xc,Yc,Zc)之间的 对应关系并记录，即可以通过函数：(U2，V2)＝g[R2(Xc,Yc,Zc)+T2]来描述。
步骤82、标定诊断工具根据点A的第一点坐标(Xc,Yc,Zc)与其世界点坐 标(Xw,Yw,Zw)之间的对应关系，获得对应点的点A在第二畸变图像的像素值 (U2，V2)与其世界点坐标(Xw,Yw,Zw)之间的对应关系并记录，即可以通过函 数：(U2，V2)＝g{R2[R1(Xw,Yw,Zw)+T1]+T2}来描述。此时标定诊断工具可 以通过逻辑换算获取点A在第二畸变图像中的像素值(U2，V2)与相应的点A 在第一畸变图像中的像素值(U1,V1)之间的对应关系并记录，即(U2，V2)＝常 量*(U1,V1)。
其中常量＝g{R2[R1(Xw,Yw,Zw)+T1]+T2}/g[R1(Xw,Yw,Zw)+T1]。
此时，汽车的四个摄像头已经分别拍摄了四个方位的百格图图像(即使 后视镜处于折叠状态，其百格图图像也可通过上述实施例提供的标定方法转 换成后视镜处于展开状态下的百格图图像)，电子控制单元对四个方位的百 格图上的像素重合点进行拼接并剪切边界图像，并形成完整的360度环视影 像。
补充说明，为了便于理解，图8为应用了本实施例提供的标定方法进行 成像的完整流程图。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限 于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易 想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护 范围应以所述权利要求的保护范围为准。
