| 专利名称： | 全液晶仪表360°全景车用监控系统及其工作方法 | ||
| 专利名称(英文)： | Full liquid crystal instrument 360 degree panorama vehicle monitoring system and working method | ||
| 专利号： | CN201510346307.1 | 申请时间： | 20150619 |
| 公开号： | CN105046647A | 公开时间： | 20151111 |
| 申请人： | 江苏新通达电子科技股份有限公司 | ||
| 申请地址： | 212300 江苏省镇江市丹阳市新桥镇新巷村1号 | ||
| 发明人： | 汪贺 | ||
| 分类号： | G06T3/40 | 主分类号： | G06T3/40 |
| 代理机构： | 南京同泽专利事务所(特殊普通合伙) 32245 | 代理人： | 蒋全强 |
| 摘要： | 本发明涉及一种全液晶仪表360°全景车用监控系统及其工作方法，本车用全景监控系统，包括：通过安装于车身四周的摄像头获取汽车四个方向的影像数据，并将各影像数据发送至处理器模块，该处理器模块适于将各影像数据拼接成以该汽车为中心的全景影像；本发明的车用全景监控系统能主动提供360°全景影像，且无死角，方便司机在障碍物路段行车。 | ||
| 摘要(英文)： | The invention relates to a full liquid crystal instrument 360 degree panorama vehicle monitoring system and a working method. The vehicle panorama monitoring system is characterized in that cameras installed on a periphery of a vehicle body are used to acquire image data of four directions of a vehicle and each image data is sent to a processor module; the processor module is used to splice the image data so as to form a panorama image which takes the vehicle as a center. By using the vehicle panorama monitoring system of the invention, 360 degree panorama images can be actively provided and there is no blind angle so that a driver can conveniently drive the vehicle on an obstacle road. | ||
1.一种车用全景监控系统，其特征在于，包括：通过安装于车身四周的摄像头获取汽车四个方向的影像数据，并将各影像数据发送至处理器模块，该处理器模块适于将各影像数据拼接成以该汽车为中心的全景影像。
2.根据权利要求1所述的车用全景监控系统，其特征在于，所述车用全景监控系统还包括：位于车身四周的超声波测距模块，该超声波测距模块与处理器模块相连，以判断汽车与四周障碍物之间的距离，当该距离小于处理器模块设定的安全距离时，所述处理器模块启动各摄像头，并通过汽车仪表盘显示全景影像。
3.一种车用全景监控系统的工作方法，包括如下步骤： 步骤S1，获得汽车四个方向的影像数据； 步骤S2，将各方向的影像数据拼接成以该汽车为中心的全景影像。
4.根据权利要求3所述的车用全景监控系统的工作方法，其特征在于， 所述步骤S2中将各方向的影像数据拼接成以汽车为中心的全景影像的方法包括： 将各影像数据分别通过投影变换矩阵转换为平面场景图像，并且对各平面场景图像的边界进行拼接，以获取所述全景影像。
5.根据权利要求4所述的车用全景监控系统的工作方法，其特征在于， 所述步骤S2中将各方向的影像数据拼接成以汽车为中心的全景影像的方法还包括：对影像数据传输进行校正，并在各影像数据中进行选取若干匹配点选取。
6.根据权利要求5所述的车用全景监控系统的工作方法，其特征在于，所述将各影像数据分别通过投影变换矩阵转换为平面场景图像的方法包括： 根据任意一摄像头拍摄的影像数据建立投影变换矩阵，并将各影像数据通过该投影变换矩阵转换为平面场景图像。
7.根据权利要求6所述的车用全景监控系统的工作方法，其特征在于，所述对各平面场景图像的边界进行拼接以获取所述全景影像的方法包括：图像配准和图像融合，其中 图像配准，即根据几何运动模型，将各平面场景图像注册到同一个坐标系中； 图像融合，即将配准后的各平面场景图像合成为完整的全景影像。
8.根据权利要求7所述的车用全景监控系统的工作方法，其特征在于，所述几何运动模型其利用一幅平面场景图像上间隔一定距离的两列所对应的部分像素与另一幅平面场景图像上的两列像素进行匹配；即在前一幅平面场景图像的重叠区域中分别在两列上取出部分像素，计算其差值作为特征模板，然后在第二幅平面场景图像中搜索最佳的匹配；即对于第二幅平面场景图像，在搜索范围内依次从间距相同的两列上取出部分像素，并逐一计算其对应的像素值差值；然后将这些差值依次与模板进行比较，其最小偏差值对应的列就是最佳匹配，在获得最佳匹配的基础上建立几何运动模型。
9.根据权利要求8所述的车用全景监控系统的工作方法，其特征在于，所述图像融合的方法，即 设相邻平面场景图像A和平面场景图像B， 取平面场景图像A距离拼接线20个像素的区域areaA， 取平面场景图像B距离拼接线20个像素的区域areaB； 取中间拼接线两侧的像素点，使用公式 R=(RA+RB)/2，G=(GA+GB)/2， B=(BA+RB)/2，N=(NA+NB)/2， 以获得拼接线的颜色； 并且通过灰度值平滑过渡，以获取平面场景图像A、平面场景图像B距离中间拼接线20个像素的区域颜色，即 取平面场景图像A边界的灰度值NA和计算出来的边界灰度值N，计算出灰度差，然后按照20步平滑过渡到拼接线，RGB值不变，以得到平面场景图像A边界20个像素区域拼接后的颜色分布； 采用同样的方法以获取平面场景图像B边界20个像素区域拼接后的颜色分布，进而完成得到融合的影像。
10.根据权利要求9所述的车用全景监控系统的工作方法，其特征在于，所述车用全景监控系统的工作方法还包括：亮度与颜色的均衡处理，即通过相机的光照模型，校正一平面场景图像的光照不均匀性，然后通过相邻两幅平面场景图像重叠区域之间的关系，建立相邻两幅平面场景图像之间直方图映射表，通过映射表对两幅平面场景图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。
1.一种车用全景监控系统，其特征在于，包括：通过安装于车身四周的摄像头获取汽车四个方向的影像数据，并将各影像数据发送至处理器模块，该处理器模块适于将各影像数据拼接成以该汽车为中心的全景影像。
2.根据权利要求1所述的车用全景监控系统，其特征在于，所述车用全景监控系统还包括：位于车身四周的超声波测距模块，该超声波测距模块与处理器模块相连，以判断汽车与四周障碍物之间的距离，当该距离小于处理器模块设定的安全距离时，所述处理器模块启动各摄像头，并通过汽车仪表盘显示全景影像。
3.一种车用全景监控系统的工作方法，包括如下步骤： 步骤S1，获得汽车四个方向的影像数据； 步骤S2，将各方向的影像数据拼接成以该汽车为中心的全景影像。
4.根据权利要求3所述的车用全景监控系统的工作方法，其特征在于， 所述步骤S2中将各方向的影像数据拼接成以汽车为中心的全景影像的方法包括： 将各影像数据分别通过投影变换矩阵转换为平面场景图像，并且对各平面场景图像的边界进行拼接，以获取所述全景影像。
5.根据权利要求4所述的车用全景监控系统的工作方法，其特征在于， 所述步骤S2中将各方向的影像数据拼接成以汽车为中心的全景影像的方法还包括：对影像数据传输进行校正，并在各影像数据中进行选取若干匹配点选取。
6.根据权利要求5所述的车用全景监控系统的工作方法，其特征在于，所述将各影像数据分别通过投影变换矩阵转换为平面场景图像的方法包括： 根据任意一摄像头拍摄的影像数据建立投影变换矩阵，并将各影像数据通过该投影变换矩阵转换为平面场景图像。
7.根据权利要求6所述的车用全景监控系统的工作方法，其特征在于，所述对各平面场景图像的边界进行拼接以获取所述全景影像的方法包括：图像配准和图像融合，其中 图像配准，即根据几何运动模型，将各平面场景图像注册到同一个坐标系中； 图像融合，即将配准后的各平面场景图像合成为完整的全景影像。
8.根据权利要求7所述的车用全景监控系统的工作方法，其特征在于，所述几何运动模型其利用一幅平面场景图像上间隔一定距离的两列所对应的部分像素与另一幅平面场景图像上的两列像素进行匹配；即在前一幅平面场景图像的重叠区域中分别在两列上取出部分像素，计算其差值作为特征模板，然后在第二幅平面场景图像中搜索最佳的匹配；即对于第二幅平面场景图像，在搜索范围内依次从间距相同的两列上取出部分像素，并逐一计算其对应的像素值差值；然后将这些差值依次与模板进行比较，其最小偏差值对应的列就是最佳匹配，在获得最佳匹配的基础上建立几何运动模型。
9.根据权利要求8所述的车用全景监控系统的工作方法，其特征在于，所述图像融合的方法，即 设相邻平面场景图像A和平面场景图像B， 取平面场景图像A距离拼接线20个像素的区域areaA， 取平面场景图像B距离拼接线20个像素的区域areaB； 取中间拼接线两侧的像素点，使用公式 R=(RA+RB)/2，G=(GA+GB)/2， B=(BA+RB)/2，N=(NA+NB)/2， 以获得拼接线的颜色； 并且通过灰度值平滑过渡，以获取平面场景图像A、平面场景图像B距离中间拼接线20个像素的区域颜色，即 取平面场景图像A边界的灰度值NA和计算出来的边界灰度值N，计算出灰度差，然后按照20步平滑过渡到拼接线，RGB值不变，以得到平面场景图像A边界20个像素区域拼接后的颜色分布； 采用同样的方法以获取平面场景图像B边界20个像素区域拼接后的颜色分布，进而完成得到融合的影像。
10.根据权利要求9所述的车用全景监控系统的工作方法，其特征在于，所述车用全景监控系统的工作方法还包括：亮度与颜色的均衡处理，即通过相机的光照模型，校正一平面场景图像的光照不均匀性，然后通过相邻两幅平面场景图像重叠区域之间的关系，建立相邻两幅平面场景图像之间直方图映射表，通过映射表对两幅平面场景图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。
翻译：技术领域
本发明涉及一种全液晶仪表360°全景监控系统及其工作方法。
背景技术
目前360°全景显示的产品很多，图像数据采集方法和图像数据处理技术多种多样，但是有全景效果不清晰，画面不流畅，各幅图像拼接不自然，驾驶员体验性较差等缺点。
发明内容
本发明的目的是提供一种车用全景监控系统及其工作方法，以解决360°全景影像拼接的技术问题。
为了解决上述技术问题，本发明提供了一种车用全景监控系统，包括：通过安装于车身四周的摄像头获取汽车四个方向的影像数据，并将各影像数据发送至处理器模块，该处理器模块适于将各影像数据拼接成以该汽车为中心的全景影像。
进一步，所述车用全景监控系统还包括：位于车身四周的超声波测距模块，该超声波测距模块与处理器模块相连，以判断汽车与四周障碍物之间的距离，当该距离小于处理器模块设定的安全距离时，所述处理器模块启动各摄像头，并通过汽车仪表盘显示全景影像。
又一方面，本发明还提供了一种车用全景监控系统的工作方法，包括如下步骤：
步骤S1，获得汽车四个方向的影像数据；
步骤S2，将各方向的影像数据拼接成以该汽车为中心的全景影像。
进一步，所述步骤S2中将各方向的影像数据拼接成以汽车为中心的全景影像的方法包括：
将各影像数据分别通过投影变换矩阵转换为平面场景图像，并且对各平面场景图像的边界进行拼接，以获取所述全景影像。
进一步，所述步骤S2中将各方向的影像数据拼接成以汽车为中心的全景影像的方法还包括：对影像数据传输进行校正，并在各影像数据中进行选取若干匹配点选取。
进一步，所述将各影像数据分别通过投影变换矩阵转换为平面场景图像的方法包括：根据任意一摄像头拍摄的影像数据建立投影变换矩阵，并将各影像数据通过该投影变换矩阵转换为平面场景图像。
进一步，所述对各平面场景图像的边界进行拼接以获取所述全景影像的方法包括：图像配准和图像融合，其中图像配准，即根据几何运动模型，将各平面场景图像注册到同一个坐标系中；图像融合，即将配准后的各平面场景图像合成为完整的全景影像。
进一步，所述几何运动模型其利用一幅平面场景图像上间隔一定距离的两列所对应的部分像素与另一幅平面场景图像上的两列像素进行匹配；即在前一幅平面场景图像的重叠区域中分别在两列上取出部分像素，计算其差值作为特征模板，然后在第二幅平面场景图像中搜索最佳的匹配；即对于第二幅平面场景图像，在搜索范围内依次从间距相同的两列上取出部分像素，并逐一计算其对应的像素值差值；然后将这些差值依次与模板进行比较，其最小偏差值对应的列就是最佳匹配，在获得最佳匹配的基础上建立几何运动模型。
进一步，所述图像融合的方法，即
设相邻平面场景图像A和平面场景图像B，
取平面场景图像A距离拼接线20个像素的区域areaA，
取平面场景图像B距离拼接线20个像素的区域areaB；
取中间拼接线两侧的像素点，使用公式
R=(RA+RB)/2，G=(GA+GB)/2，
B=(BA+RB)/2，N=(NA+NB)/2，
以获得拼接线的颜色；
并且通过灰度值平滑过渡，以获取平面场景图像A、平面场景图像B距离中间拼接线20个像素的区域颜色，即取平面场景图像A边界的灰度值NA和计算出来的边界灰度值N，计算出灰度差，然后按照20步平滑过渡到拼接线，RGB值不变，以得到平面场景图像A边界20个像素区域拼接后的颜色分布；采用同样的方法以获取平面场景图像B边界20个像素区域拼接后的颜色分布；进而完成得到融合的影像。
进一步，所述车用全景监控系统的工作方法还包括：亮度与颜色的均衡处理，即通过相机的光照模型，校正一平面场景图像的光照不均匀性，然后通过相邻两幅平面场景图像重叠区域之间的关系，建立相邻两幅平面场景图像之间直方图映射表，通过映射表对两幅平面场景图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。
本发明的有益效果是，本发明的车用全景监控系统能主动提供360°全景影像，且无死角，方便司机在障碍物路段行车，并且通过车用全景监控系统的工作方法所提供360°全景影像无死角，并且具有影像拼接过度平滑、自然，成像清晰的优点。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的车用全景监控系统的原理框图；
图2是本发明的车用全景监控系统的工作方法的流程图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
实施例1
如图1所示，本发明的一种车用全景监控系统，包括：通过安装于车身四周的摄像头获取汽车四个方向的影像数据，并将各影像数据发送至处理器模块，该处理器模块适于将各影像数据拼接成以该汽车为中心的全景影像。
进一步，所述车用全景监控系统还包括：位于车身四周的超声波测距模块，该超声波测距模块与处理器模块相连，以判断汽车与四周障碍物之间的距离，当该距离小于处理器模块设定的安全距离时，所述处理器模块启动各摄像头，并通过汽车仪表盘显示全景影像。
实施例2
如图2所示，在实施例1基础上，本发明还提供了一种车用全景监控系统的工作方法，包括如下步骤：
步骤S1，获得汽车四个方向的影像数据；以及步骤S2，将各方向的影像数据拼接成以该汽车为中心的全景影像。
具体的，所述步骤S2中将各方向的影像数据拼接成以汽车为中心的全景影像的方法包括：将各影像数据分别通过投影变换矩阵转换为平面场景图像，并且对各平面场景图像的边界进行拼接，以获取所述全景影像。
可选的，所述步骤S2中将各方向的影像数据拼接成以汽车为中心的全景影像的方法还包括：对影像数据传输进行校正，并在各影像数据中进行选取若干匹配点选取。
关于所述对影像数据传输进行校正，即由于制造、安装、工艺等原因，镜头存在着各种畸变。为了提高摄像头影像拼接合成的精度，在进行图像拼接合成的时候必须考虑成像镜头的畸变。畸变分为内部畸变和外部畸变，内部畸变是由于摄影本身的构造为起因的畸变，外部畸变为投影方式的几何因素起因的畸变。镜头畸变属于内部畸变，由镜头产生的畸变一般可分为径向畸变和切向畸变两类。径向畸变就是集合光学中的畸变像差，主要是由于镜头的径向曲率不同而造成的，有桶形畸变和枕型畸变两种。切向畸变通常被人为是由于镜头透镜组的光学中心不共线引起的，包括有各种生成误差和装配误差等。一般人为，光学系统成像过程当中，径向畸变是导致图像畸变的主要因素。径向畸变导致图像内直线成弯曲的像，且越靠近边缘这种效果越明显。根据径向畸变产生的机理，对视频图像进行校正，即先用校正设备测出摄像头的向内、外畸形角度α，和左、右畸形角度和上、下畸形角度，采集到的影像区域内的像素也要根据三角函数sina，cosa，tana等公式，对选中的区域影像内的像素做相应的坐标移动。
并且，关于匹配点选取，则采用角点检测算法。
进一步，所述将各影像数据分别通过投影变换矩阵转换为平面场景图像的方法包括：根据任意一摄像头拍摄的影像数据建立投影变换矩阵，并将各影像数据通过该投影变换矩阵转换为平面场景图像。
进一步，所述对各平面场景图像的边界进行拼接以获取所述全景影像的方法包括：图像配准和图像融合，其中图像配准，即根据几何运动模型，将各平面场景图像注册到同一个坐标系中；图像融合，即将配准后的各平面场景图像合成为完整的全景影像。
进一步，所述几何运动模型其利用一幅平面场景图像上间隔一定距离的两列所对应的部分像素与另一幅平面场景图像上的两列像素进行匹配；即在前一幅平面场景图像的重叠区域中分别在两列上取出部分像素，计算其差值作为特征模板，然后在第二幅平面场景图像中搜索最佳的匹配；即对于第二幅平面场景图像，在搜索范围内依次从间距相同的两列上取出部分像素，并逐一计算其对应的像素值差值；然后将这些差值依次与模板进行比较，其最小偏差值对应的列就是最佳匹配，在获得最佳匹配的基础上建立几何运动模型。
具体的，设垂直方向交错距离dis，则对应的偏差值表示为s[dis］。由此可确定图像的匹配值，具体算法如下： （1）在第一幅图像的重叠范围内取出间隔距离为d的两列中的部分像素，构造特征模板baseM。 （2）在第二幅图像的搜索范围中，假设最左边的一列像素位置等于0。 （3）在第二幅图像的搜索范围中，取出P和P’的两列像素的部分像素，其中像素数为K(K>M)，计算它们对应像素的差值，得到image[K］。 （4）设垂直交错距离为dis，对每一个dis，以计算出而age[K］与模板base[M］的偏差值，进而确定图像的匹配值。
进一步，所述图像融合的方法，即
设相邻平面场景图像A和平面场景图像B，
取平面场景图像A距离拼接线20个像素的区域areaA，
取平面场景图像B距离拼接线20个像素的区域areaB。
取中间拼接线两侧的像素点，使用公式
R=(RA+RB)/2，G=(GA+GB)/2，
B=(BA+RB)/2，N=(NA+NB)/2，
以获得拼接线的颜色；
并且通过灰度值平滑过渡，以获取平面场景图像A、平面场景图像B距离中间拼接线20个像素的区域颜色，即
取平面场景图像A边界的灰度值NA和计算出来的边界灰度值N，计算出灰度差，然后按照20步平滑过渡到拼接线，RGB值不变，以得到平面场景图像A边界20个像素区域拼接后的颜色分布；
采用同样的方法（图像融合的方法）以获取平面场景图像B边界20个像素区域拼接后的颜色分布；进而完成得到融合的影像。
进一步，所述车用全景监控系统的工作方法还包括：亮度与颜色的均衡处理，即通过相机的光照模型，校正一平面场景图像的光照不均匀性，然后通过相邻两幅平面场景图像重叠区域之间的关系，建立相邻两幅平面场景图像之间直方图映射表，通过映射表对两幅平面场景图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
