行之知识产权综合服务平台

技术领域

本发明涉及一种客流统计方法，特别涉及一种公交车辆客流统计方法和系 统。

背景技术

经济迅猛发展，城市规模不断扩大，城市机动车数量增加，道路交通流量 增加，随着“互联网+”时代的到来，人们更愿意选择便捷的出行方式，其中公交 车便是常用方式之一，但车内出现满员、空车，站点乘客出现滞留等状况日益 突出，因此如何合理调度公交是当前公共公交服务的首要问题。公交客流数据 的实时统计分析，可以为公交运营调度提供很好的数据支撑，有利于公共交通 发展。

目前公交车客流统计的方法有以下几种方式：人工统计、压力检测技术统 计、红外检测技术统计、激光检测技术统计和视频图像识别技术统计。传统的 人工统计主要是监控人员的肉眼统计，适用于监控时间段、客流量稀疏的情况， 客流量多、监控时间长的情况下，统计准确率大大降低，而且人工需要消耗大 量的人工成本。压力检测技术是在公交踏板上放置压力检测仪，检测人体重量， 但对于多脚踏入的话则无法检测，并且系统容易损坏、维修、安装费用高。红 外检测技术和激光检测技术准确率高、成本低，但只适用于人少且有一定距离 的行人，无法对拥挤情况下的客流进行统计，且易受环境影响。

近年来，已有很多视频图像识别技术的客流统计系统，如基于特征点跟踪 的方法、人体分割和跟踪的方法、人头或头肩检测的跟踪方法。特征点跟踪计 算一般对特征点的轨迹进行聚类分析，从而得到客流信息，但特征点本身是很 难稳定跟踪的，计算精度较差；人体分割和跟踪是先提取运动目标块，然后分 割得到单人目标，跟踪各个目标运动轨迹，从而实现客流统计，但无法处理遮 挡时的情况，影响精度；人头或头肩检测的跟踪一般会选用合适的角度，减少 遮挡情况，选择分类器对人头进行检测，但对于虚假目标不易识别，导致人头 统计不准确。目前已有的系统处于起步阶段，其配置环境繁琐，给工程安装人 员带来了困难，加之算法本身对于实际的应用效果并不理想，没有达到智能化。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种统计准确度高的 公交车辆客流统计方法。

本发明的第二目的在于提供一种实现上述方法的公交车辆客流统计系统。

本发明的第一目的通过下述技术方案实现：一种公交车辆客流统计方法， 步骤如下：

S1、通过第一摄像头和第二摄像头分别获取对应公交车前车门和后车门位 置的图像；

S2、对车门出入线进行确定：包括对第一摄像头获取的图像中公交车的前 车门出入线进行确定和对第二摄像头获取的图像中公交车的后车门出入线进行 确定；

S3、获取摄像头安装高度和人头大小的拟合函数：包括获取到第一摄像头 安装高度和人头大小的拟合函数以及第二摄像头安装高度和人头大小的拟合函 数；

S4、分别检测公交车前车门和后车门的开关信号，若检测到公交车前车门 开信号，则对第一摄像头当前获取到的图像进行步骤S5～S9的图像处理，若检测 到公交车后车门开信号，则对第二摄像头当前获取到的图像进行步骤S5～S9的图 像处理；若检测到公交车前车门关信号，则停止对第一摄像头获取到的图像进 行步骤S5～S9的处理，若检测到公交车后车门关信号，则停止对第二摄像头获取 到的图像进行步骤S5～S9的处理；

S5、对图像进行预处理，然后根据步骤S3中获取到的摄像头安装高度和人 头大小的拟合函数，使用圆检测方法对图像进行人头检测，获取到图像中的头 部特征向量；

S6、获取到图像中的头部特征向量后，对人头进行跟踪；

S7、根据步骤S6中对人头的跟踪确定人头运动轨迹；

S8、结合车门出入线对人头运动轨迹矢量进行分析，判断出乘客行为；

S9、根据乘客行为，统计出双向客流数量；

S10、第一摄像头获取到的图像经过步骤S5～S9处理后，统计出前车门双向 客流数量，第二摄像头获取到的图像经过步骤S5～S9处理后，统计出后车门双向 客流数量，对前车门双向客流数量和后车门双向客流数量进行合计，得出整车 双向客流数量。

优选的，所述步骤S2中对公交车车门出入线确定过程如下：

S21、视频图像：采集公交车在停止且对应车门关闭状态下的视频图像；

S22、帧差法第一帧：对获取的公交车车门视频图像进行帧差法处理，取帧 差法第一帧图像并二值化；

S23、梯度Hough直线检测：对二值化图像进行梯度Hough直线检测；

S24、筛选直线：根据摄像头安装高度以及车门特性找出倒梯形，并且确定 靠近底部的横线为下底，将该下底作为自动识别出的车门出入线；

S25、确定出入线：对自动识别出的车门出入线进行校准后确定为车门出入 线；

所述步骤S2中当对公交车前车门出入线进行自动识别时，则步骤S21中通过 第一摄像头采集公交车在停止且公交车前车门关闭状态下的视频图像，步骤S24 中根据第一摄像头安装高度以及公交车前车门特性找出倒梯形；

所述步骤S2中当对公交车后车门出入线进行自动识别时，则步骤S21中通过 第二摄像头采集公交车在停止且公交车后车门关闭状态下的视频图像，步骤S24 中根据第二摄像头安装高度以及公交车后车门特性找出倒梯形。

更进一步的，所述步骤S23中梯度Hough直线检测过程如下，在二值化图像 中找到所有符合以下极坐标公式的所有像素点：

ρ＝xcosθ+ysinθ；

其中(x,y)为二值化图像空间坐标，(ρ,θ)为参数空间坐标，θ是X轴到直线 的发现的逆时针转角，ρ是坐标原点到直线的代数距离；

若当前车门出入线被确定的同类型车辆的数目未超过X1台，则所述步骤S25 中，针对公交车的车门出入线进行确定时采用人工通过网络进行校准，即将步 骤S24获取的公交车自动识别出的车门出入线通过人工网络校准后作为公交车 的车门出入线；

若当前车门出入线被确定的同类型车辆的数目超过X1台，则根据车门出入 线被确定的同类型公交车车辆人工网络校准后的车门出入线和对应其自动识别 出的车门出入线确定出后续校准函数，在步骤S25中通过后续校准函数对公交车 自动识别出的公交车车门出入线进行校准，确定出公交车的车门出入线。

更进一步的，根据车门出入线被确定的同类型公交车车辆人工网络校准后 的车门出入线和对应其自动识别出的车门出入线确定出的后续校准函数为直线 校准函数，其误差校正公式为：

e = 1 n Σ k = 1 n ( y ( k ) - y ′ ( k ) ) ; ]]>

其中e是统计的差值，y(k)是第k辆公交车人工通过网络校准时标定的车门 出入线直线函数，y′(k)是第k辆公交车自动识别的车门出入线函数，n是车门出 入线被确定的同类型公交车车辆数目；

经过误差校准后，第n+i辆公交车车门出入线函数为：

y(n+i)＝y′(n+i)+e,i∈(1,2,3,..)；

y′(n+i)是第n+i辆公交车自动识别的车门出入线函数。

优选的，所述步骤S3摄像头安装高度和人头大小的拟合函数获取过程如下：

S31、获取摄像头的安装高度：统计好各类车型中摄像头的安装高度；

S32、获取人头样例：通过摄像头分别对各类车型中各种身高人头进行采集；

S33、人头标定参数：统计出通过各类车型中摄像头分别采集到的人头大小；

S34、对各类车型中摄像头安装高度、摄像头采集到的各种人头对应身高、 摄像头采集到的人头大小进行最小二乘法运算获取到摄像头安装高度和人头大 小的拟合函数；

其中上述步骤中当摄像头为第一摄像头时，则通过上述步骤获取到的是摄 像头安装高度和人头大小的拟合函数，当上述步骤中当摄像头为第二摄像头时， 则通过上述步骤获取到的是第二摄像头安装高度和人头大小的拟合函数。

优选的，所述步骤S5中用圆检测方法对图像进行人头检测的过程如下：

S51、对获取的图像进行帧差法处理；

S52、从帧差法处理后的图像中提取前景图像并进行二值化处理；

S53、从二值化处理后的前景图像中提取到运动目标区域；

S54、对运动目标区域的灰度图像进行Canny边缘检测，得到运动目标区域 灰度图像的边缘特征；

S55、将运动目标区域灰度图像的边缘特征与二值化处理后的前景图像进行 合并，将处于二值图像外轮廓内的边缘全部保留，其余全部舍弃；

S56、通过梯度Hough圆检测算法从步骤S55处理后的图像中检测出圆；

S57、根据步骤S3中获取到的摄像头安装高度和人头大小的拟合函数，设定 人头半径阈值范围，然后进行阈值范围判断，将步骤S56中检测出的圆中半径处 于阈值范围内的圆保留，其他的圆去掉；同时对所有人头轮廓进行分组，选择 距离相似测量度的最大最小距离法分组，并将人头轮廓的共圆置信度作为评价 拟合优劣的标准，即从多个候选匹配人头轮廓中选出最佳人头轮廓，作为图像 中的人头；

S58、提取头部特征向量：包括提取圆边缘点序列、圆心、半径、轮廓内部 灰度值和轮廓内部YUV彩色空间的ALPHA通道值。

优选的，所述步骤S6中对人头进行跟踪的过程如下：

S61、提取前一帧图像的人头跟踪序列，并将该人头跟踪序列输入到卡尔曼 预测器中，得出当前帧图像中人头预测向量矩阵，并与当前帧图像中获取的头 部特征向量进行特征匹配；若匹配成功，则将当前帧中人头加入到前一帧图像 的人头跟踪序列中，然后进入步骤S63，否则进入步骤S62；

S62、对当前帧图像中相对于预测人头轮廓的联合置信度进行模糊置信度判 断，若相对于预测人头轮廓的联合置信度大于模糊置信度的阈值，则将当前帧 图像中的人头判定为新的跟踪序列，否则进行矢量距离判断，矢量距离为当前 帧检测的人头轮廓中心与预测人头轮廓中心点之间的距离，若矢量距离小于当 前帧检测的人头轮廓半径，则将当前帧人头加入前一帧图像的人头跟踪序列， 否则将当前帧人头判定为新的跟踪序列；

S63、判定人头跟踪是否结束，即判定人头是否离开视野或停住；若否，则 回到步骤S61；若是，则根据对人头的跟踪确定人头运动轨迹；

其中步骤S62中在每一组圆中以模糊置信度为标准提取该组对应的真实人 头轮廓的最优拟合轮廓，结合候选匹配人头轮廓的共圆置信度和头部区域 轮廓几何相似度HCGS(l,j)的线性组合构成相对于预测人头轮廓的联合置信度 μ_union(l,j)，其中构成的人头轮廓的联合置信度μ_union(l,j)为：

μ u n i o n ( l , j ) = ω 1 μ c o n c y c l i c j + ω 2 H C G S ( l , j ) ω 1 + ω 2 ; ]]>

其中和μ_union(l,j)分别代表候选匹配人头轮廓的共圆置信度和相对于预 测人头轮廓的联合置信度，ω₁和ω₂分别对应为和HCGS(l,j)的权重；(l,j)表 示图像中的像素点。

优选的，所述步骤S8中人头运动轨迹进行分析包括对人头运动轨迹进行平 滑度分析，具体过程如下：

S81、输入人头运动轨迹；

S82、计算人头运动轨迹平滑度，即计算人头运动轨迹中相邻两帧轨迹点之 间的距离；

S83、确定步骤S83中计算出的人头运动轨迹平滑度是否满足平滑度阈值， 若满足，保留该人头运动轨迹，否则判断为异常状态，舍弃该人头运动轨迹；

S84、输出步骤S83保留的人头运行轨迹，并且显示在图像上；

所述步骤S8中判断出乘客行为的过程如下：以车门出入线作为X轴，出入线 垂线为Y轴，车门出入线和垂线的交点为原点；当设定Y轴的正方向朝车外方向， 若检测到人头运动轨迹的轨迹点Y轴方向的值呈减小趋势，即人头运行轨迹由上 至下，则判断乘客为上车行为，若检测到人头运动轨迹的轨迹点Y轴方向的值呈 增大趋势，即人头运行轨迹由下至上，则判断乘客为下车行为；若检测到人头 运动轨迹的轨迹点处于以交点为圆心且第二阈值为半径的圆周内，则判断乘客 为上车行为；当设定Y轴的正方向朝车内方向，若检测到人头运动轨迹的轨迹点 Y轴方向的值呈减小趋势，即人头运行轨迹由上至下，则判断乘客为下车行为， 若检测到人头运动轨迹的轨迹点Y轴方向的值呈增大趋势，即人头运行轨迹由下 至上，则判断乘客为上车行为；若检测到人头运动轨迹的轨迹点处于以交点为 圆心且第二阈值为半径的圆周内，则判断乘客为上车行为。

本发明的第二目的通过下述技术方案实现：一种用于上述公交车辆客流统 计方法的公交车辆客流统计系统，包括第一摄像头、第二摄像头、第一车门开 关传感器、第二车门开关传感器、前车门图像处理模块、后车门图像处理模块 和整车客流统计模块，其中

第一摄像头，安装在公交车前车门位置，用户获取公交车前车门位置图像；

第二摄像头，安装在公交车后车门位置，用户获取公交车后车门位置图像；

第一车门开关传感器，安装在公交车前车门位置，用于感应公交车前车门 的开关；

第二车门开关传感器，安装在公交车后车门位置，用于感应公交车后车门 的开关；

前车门图像处理模块，包括：

第一车门出入线识别模块，用于根据第一摄像头获取的图像对公交车前车 门出入线进行确定；

第一拟合函数获取模块，用于获取到第一摄像头安装高度和人头大小的拟 合函数；

第一人头检测模块，用于使用圆检测方法对第一摄像头获取的图像进行人 头检测，获取到图像中的头部特征向量；

第一人头跟踪模块，用于根据第一人头检测模块获取到的头部特征向量， 对第一摄像头获取的图像中人头进行跟踪，并且确定第一摄像头获取到的图像 中人头运动轨迹；

第一人头运动轨迹分析模块，用于结合公交车前车门出入线对第一摄像头 获取到的图像中人头运动轨迹矢量进行分析，判断公交车出前车门的乘客行为；

以及第一客流统计模块，用于根据公交车前车门获取到的乘客行为，统计 出公交车前车门双向客流数量；

后车门图像处理模块，包括：

第二车门出入线识别模块，用于根据第二摄像头获取的图像对公交车后车 门出入线进行确定；

第二拟合函数获取模块，用于获取到第二摄像头安装高度和人头大小的拟 合函数；

第二人头检测模块，用于使用圆检测方法对第二摄像头获取的图像进行人 头检测，获取到图像中的头部特征向量；

第二人头跟踪模块，用于根据第二人头检测模块获取到的头部特征向量， 对第二摄像头获取的图像中人头进行跟踪，并且确定第二摄像头获取到的图像 中人头运动轨迹；

第二人头运动轨迹分析模块，用于结合公交车前车门出入线对第二摄像头 获取到的图像中人头运动轨迹矢量进行分析，判断公交车出后车门的乘客行为；

以及第二客流统计模块，用于根据公交车后车门获取到的乘客行为，统计 出公交车后车门双向客流数量；

整车客流统计模块，用于对前车门双向客流数量和后车门双向客流数量进 行合计，得出整车双向客流数量。

优选的，前车门图像处理模块中的第一车门出入线识别模块、第一拟合函 数获取模块、第一人头检测模块、第一人头跟踪模块、第一人头运动轨迹分析 模块以及第一客流统计模块均嵌入在第一摄像头中，第一摄像头通过外设接口 或网络端与智能公交调度平台信号连接；

后车门图像处理模块中的第二车门出入线识别模块、第二拟合函数获取模 块、第二人头检测模块、第二人头跟踪模块、第二人头运动轨迹分析模块以及 第二客流统计模块嵌入在第二摄像头中，第二摄像头通过外设接口或网络端与 智能公交调度平台信号连接；

所述第一摄像头和第二摄像头均扩展有RS485接口，第一摄像头和第二摄像 头分别通过RS485接口分别对应与第一车门开关传感器和第二车门开关传感器 连接。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明公交车的客流统计方法在公交车的前后车门分别安装摄像头， 通过对两个摄像头获取到的图像进行处理后分别得到前后车门的双向客流数 量。其中本发明在针对摄像头获取到的图像处理之前，先确定公交车前后车门 出入线以及摄像头高度和人头大小的拟合函数，在收到车门开信号后，开始对 摄像头获取到的图像依次进行预处理、人头检测、人头跟踪和人头运动轨迹分 析，最终根据人头运动轨迹分析出乘客的上下车行为，获取到对应车门的双向 客流数量，统计公交车前后车门的双向客流数量获取到整车双向客流数量，在 收到车门关信号后，则停止对摄像头获取到的图像进行处理，减少了车辆移动 时而产生的光照突变影响统计结果的现象，本发明方法具有统计准确度高，能 够为公交的智能调度提供可靠支撑的优点。

(2)本发明方法在统计客流之前首先自动识别公交车前后车门出入线，以 减少人为标定的工序，从而可以自动适应各种公交车车型，安装人员也可通过 网络端进行出入线矫正及人工标定，存储出入线及相关信息，建立矫正函数， 优化识别算法。本发明方法在统计客流之前先模拟出摄像头高度和人头大小的 拟合函数，以减少人为标定人头大小的工序，从而可以自动适应各种公交车， 且模拟函数能够定期进行更新。

(3)本发明方法在检测人头之前，使用帧差法提取前景目标，获取到运动 目标区域，对运动目标区域的灰度图像进行边缘检测，得到运动目标区域灰度 图像的边缘特征；将运动目标区域灰度图像的边缘特征与二值化处理后的前景 图像进行合并，能够有效避免因光照的影响而造成的虚假检测与错误检测，能 同时检测深色头发、浅色头发以及各种颜色的帽子等多种人头目标，确保统计 更加全面，且不需要进行前期的分类训练。另外本发明方法人头检测过程中在 检测圆时，限定了阈值范围，减少了大帽子误检的概率。

(4)本发明方法对于检测出的人头，使用卡尔曼滤波进行跟踪，其中跟踪 的头部特征向量包括圆边缘点序列、圆心、半径、轮廓内部灰度值和轮廓内部 YUV彩色空间的ALPHA通道值，可以用来去除虚假头部，减少光照的影响，保 证了实时性。本发明方法人头运动轨迹分析过程中对人头运动轨迹的平滑度进 行了分析，将人头运动轨迹平滑度不满足平滑度阈值要求的人头运动轨迹进行 了去除，减少了误检的概率，进一步提高检测率。

(5)本发明方法采用Hough检测车门出入线及圆的算法，具有运算速率快 的优点。

(6)本发明针对图像处理的算法部分可以嵌入到摄像头中，并且摄像头可 通过外设接口或网络端与智能公交调度平台进行信号连接，将最终客流统计结 果发送到智能公交调度平台。另外摄像头可以连接到网络端，通过IE配置参数 后，可以通过网络端实时查看第一摄像头中前车门图像处理结果效果图、第二 摄像头中后车门图像处理效果图以及实时前后车门双向客流数量统计结果。

附图说明

图1是本发明公交车辆客流统计方法流程图。

图2是本发明确定公交车车门出入线流程图。

图3是本发明获取摄像头安装高度和人头大小的拟合函数流程图。

图4是本发明人头检测流程图。

图5是本发明人头跟踪流程图。

图6是本发明人头运动轨迹平滑度分析流程图。

图7是本发明公交车辆客流统计系统组成框图。

图8是本发明摄像头连接到网络端和通过网络端连接智能公交调度平台的 结构示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方 式不限于此。

实施例

如图1至6所示，本实施例公开了一种公交车辆客流统计方法，步骤如下：

S1、通过第一摄像头和第二摄像头分别获取对应公交车前车门和后车门位 置的图像。

S2、对车门出入线进行确定：包括对第一摄像头获取的图像中公交车的前 车门出入线进行确定和对第二摄像头获取的图像中公交车的后车门出入线进行 确定；如图2中所示，本步骤中对公交车车门出入线确定过程具体如下：

S21、视频图像：采集公交车在停止且对应车门关闭状态下的视频图像；本 实施例视频图像采集白天光照良好的情况下进行；

S22、帧差法第一帧：对获取的公交车车门视频图像进行帧差法处理，取帧 差法第一帧图像并二值化；

S23、梯度Hough直线检测：对二值化图像进行梯度Hough直线检测，在本 实施例中由于公交车车门是矩形的且棱廓比较清晰，因此容易检测出直线信息。 其中梯度Hough直线检测过程如下，在二值化图像中找到所有符合以下极坐标公 式的所有像素点：

ρ＝xcosθ+ysinθ；

其中(x,y)为二值化图像空间坐标，(ρ,θ)为参数空间坐标，θ是X轴到直线 的发现的逆时针转角，ρ是坐标原点到直线的代数距离；

S24、筛选直线：根据摄像头安装高度以及车门特性找出倒梯形，并且确定 靠近底部的横线为下底，将该下底整体下移一定数量的像素点后作为自动识别 出的车门出入线；在本步骤中考虑到摄像头安装角度以及公交车车门特性，可 知车门的直线段连接起来为倒梯形，根据几何原理找到倒梯形，因此选择靠近 底部的横线确定下底。由于本步骤中的下底为车门带有黑色橡胶的底线，若要 确定为出入线，则整体下移10个像素点，将整体下移10个像素点的下底作为自 动识别出的车门出入线，

S25、确定出入线：对自动识别出的车门出入线进行校准后确定为车门出入 线；

若当前车门出入线被确定的同类型车辆的数目未超过X1台，则本步骤S25 中，针对公交车的车门出入线进行确定时采用人工通过网络进行校准，即将步 骤S24获取的公交车自动识别出的车门出入线通过人工网络校准后作为公交车 的车门出入线；

若当前车门出入线被确定的同类型车辆的数目超过X1台，则根据车门出入 线被确定的同类型公交车车辆人工网络校准后的车门出入线和对应其自动识别 出的车门出入线确定出后续校准函数，在本步骤S25中通过后续校准函数对公交 车自动识别出的公交车车门出入线进行校准，确定出公交车的车门出入线。

本实施例根据车门出入线被确定的同类型公交车车辆人工网络校准后的车 门出入线和对应其自动识别出的车门出入线确定出的后续校准函数为直线校准 函数，其误差校正公式为：

e = 1 n Σ k = 1 n ( y ( k ) - y ′ ( k ) ) ; ]]>

其中e是统计的差值，y(k)是第k辆公交车人工通过网络校准时标定的车门 出入线直线函数，y′(k)是第k辆公交车自动识别的车门出入线函数，n是车门出 入线被确定的同类型公交车车辆数目；

经过误差校准后，第n+i辆公交车车门出入线函数为：

y(n+i)＝y′(n+i)+e,i∈(1,2,3,..)；

y′(n+i)是第n+i辆公交车自动识别的车门出入线函数。

本步骤S2中当对公交车前车门出入线进行自动识别时，则步骤S21中通过第 一摄像头采集公交车在停止且公交车前车门关闭状态下的视频图像，步骤S24中 根据第一摄像头安装高度以及公交车前车门特性找出倒梯形；

本步骤中当对公交车后车门出入线进行自动识别时，则步骤S21中通过第二 摄像头采集公交车在停止且公交车后车门关闭状态下的视频图像，步骤S24中根 据第二摄像头安装高度以及公交车后车门特性找出倒梯形。

S3、获取摄像头安装高度和人头大小的拟合函数：包括获取到第一摄像头 安装高度和人头大小的拟合函数以及第二摄像头安装高度和人头大小的拟合函 数；如图3所示，本步骤摄像头安装高度和人头大小的拟合函数获取过程如下：

S31、获取摄像头的安装高度：统计好各类车型中摄像头的安装高度；

S32、获取人头样例：通过摄像头分别对各类车型中各种身高人头进行采集；

S33、人头标定参数：统计出通过各类车型中摄像头分别采集到的人头大小；

S34、对各类车型中摄像头安装高度、摄像头采集到的各种人头对应身高、 摄像头采集到的人头大小进行最小二乘法运算获取到摄像头安装高度和人头大 小的拟合函数；其中最小二乘法通过最小化误差的平方和寻找数据的最佳函数 匹配，如下式所示：

Δ = 1 2 Σ i = 1 m ( f β ( x i ‾ ) - y i ) 2 ; ]]>

其中Δ为估算值与实际值得总平方差，为第i组数据的不可靠值，y_i为第 i组数据的可靠值，β为系数向量。最小二乘法是一种非迭代的算法，收敛速度 快，对于初始点的选择也不敏感。

其中本步骤中摄像头为第一摄像头时，则通过上述步骤S31～S34获取到的是 摄像头安装高度和人头大小的拟合函数，当摄像头为第二摄像头时，则通过上 述步骤S31～S34获取到的是第二摄像头安装高度和人头大小的拟合函数。

S4、分别检测公交车前车门和后车门的开关信号，若检测到公交车前车门 开信号，则对第一摄像头当前获取到的图像进行步骤S5～S9的图像处理，若检测 到公交车后车门开信号，则对第二摄像头当前获取到的图像进行步骤S5～S9的图 像处理；若检测到公交车前车门关信号，则停止对第一摄像头获取到的图像进 行步骤S5～S9的处理，若检测到公交车后车门关信号，则停止对第二摄像头获取 到的图像进行步骤S5～S9的处理，以避免因车辆移动而产生的光照突变影响图像 处理结果的问题；具体过程如图1所示。其中第一摄像头和第二摄像头均为单目 摄像头，在光照良好的情况下，获取的图像是彩色图像，在夜间需切换为红外 滤片模式获取黑白图像；

S5、对图像进行灰度预处理，然后根据步骤S3中获取到的摄像头安装高度 和人头大小的拟合函数，使用圆检测方法对图像进行人头检测，获取到图像中 的头部特征向量；当对第一摄像头的图像进行人头检测时，本步骤使用步骤S3 获取的第一摄像头安装高度和人头大小的拟合函数；当对第二摄像头的图像进 行人头检测时，本步骤使用步骤S3获取的第二摄像头安装高度和人头大小的拟 合函数；

如图4所示，本步骤S5中用圆检测方法对图像进行人头检测的过程如下：

S51、对获取的图像进行帧差法处理；

S52、从帧差法处理后的图像中提取前景图像并进行二值化处理；

S53、从二值化处理后的前景图像中提取到运动目标区域；本实施例中运动 目标区域的提取采用灰度二值化法，在图像空间X、Y方向作直方图，得到片段， 片段的标准是两端连续10个像素值不为0的，合并相邻5个像素的片段，得出的 片段数可初步确定为运动目标个数，用于圆的个数参考。

S54、对运动目标区域的灰度图像进行Canny边缘检测，得到运动目标区域 灰度图像的边缘特征；

S55、将运动目标区域灰度图像的边缘特征与二值化处理后的前景图像进行 合并，将处于二值图像外轮廓内的边缘全部保留，其余全部舍弃；

S56、通过梯度Hough圆检测算法从步骤S55处理后的图像中检测出圆；

S57、根据步骤S3中获取到的摄像头安装高度和人头大小的拟合函数，设定 人头半径的阈值范围，然后进行阈值范围判断，将步骤S56中检测出的圆中半径 处于阈值范围内的圆保留，其他的圆去掉；同时对所有人头轮廓进行分组，选 择距离相似测量度的最大最小距离法分组，并将人头轮廓的共圆置信度作为评 价拟合优劣的标准，即从多个候选匹配人头轮廓中选出最佳人头轮廓，作为图 像中的人头；其中本实施例中当摄像头安装高度为2m时，设定的人头半径阈值 范围为[50，200](像素值)。

S58、提取头部特征向量：包括提取圆边缘点序列、圆心、半径、轮廓内部 灰度值和轮廓内部YUV彩色空间的ALPHA通道值；其中轮廓内部YUV彩色空间 的ALPHA通道值。

S6、获取到图像中的头部特征向量后，对人头进行跟踪；如图5所示，本步 骤中对人头进行跟踪的过程如下：

S61、提取前一帧图像的人头跟踪序列，并将该人头跟踪序列输入到卡尔曼 预测器中，得出当前帧图像中人头预测向量矩阵，并与当前帧图像中获取的头 部特征向量进行特征匹配；若匹配成功，则将当前帧中人头加入到前一帧图像 的人头跟踪序列中，然后进入步骤S63，否则进入步骤S62；

S62、对当前帧图像中相对于预测人头轮廓的联合置信度进行模糊置信度判 断，若相对于预测人头轮廓的联合置信度大于模糊置信度的阈值，则将当前帧 图像中的人头判定为新的跟踪序列，否则进行矢量距离判断，矢量距离为当前 帧检测的人头轮廓中心与预测人头轮廓中心点之间的距离，若矢量距离小于当 前帧检测的人头轮廓半径，则将当前帧人头加入前一帧图像的人头跟踪序列， 否则将当前帧人头判定为新的跟踪序列；

S63、判定人头跟踪是否结束，即判定人头是否离开视野或停住；若否，则 回到步骤S61；若是，则根据对人头的跟踪确定人头运动轨迹；

其中步骤S62中在每一组圆中以模糊置信度为标准提取该组对应的真实人 头轮廓的最优拟合轮廓，结合候选匹配人头轮廓的共圆置信度和头部区域 轮廓几何相似度HCGS(l,j)的线性组合构成相对于预测人头轮廓的联合置信度 μ_union(l,j)，其中构成的人头轮廓的联合置信度μ_union(l,j)为：

μ u n i o n ( l , j ) = ω 1 μ c o n c y c l i c j + ω 2 H C G S ( l , j ) ω 1 + ω 2 ; ]]>

其中和μ_union(l,j)分别代表候选匹配人头轮廓的共圆置信度和相对于预 测人头轮廓的联合置信度，ω₁和ω₂分别对应为和HCGS(l,j)的权重；本实 施例将两个权重设置为1.0；(l,j)表示图像中的像素点，l和j分别表示图像中的 像素点的横坐标值和纵坐标值。

S7、根据步骤S6中对人头的跟踪确定人头运动轨迹；

S8、结合车门出入线对人头运动轨迹矢量进行分析，判断出乘客行为；如 图6所示，本步骤人头运动轨迹进行分析包括对人头运动轨迹进行平滑度分析， 具体过程如下：

S81、输入人头运动轨迹；

S82、计算人头运动轨迹平滑度，即计算人头运动轨迹中相邻两帧轨迹点之 间的距离；

S83、确定步骤S83中计算出的人头运动轨迹平滑度是否满足平滑度阈值， 若满足，保留该人头运动轨迹，否则判断为异常状态，舍弃该人头运动轨迹； 本实施例中采用的平滑度阈值为图像高度的三分之一；

S84、输出步骤S83保留的人头运行轨迹，并且显示在图像上；

本步骤S8中判断出乘客行为的过程如下：以车门出入线作为X轴，出入线垂 线为Y轴，车门出入线和垂线的交点为原点；当设定Y轴的正方向朝车外方向， 若检测到人头运动轨迹的轨迹点Y轴方向的值呈减小趋势，即人头运行轨迹由上 至下，则判断乘客为上车行为，若检测到人头运动轨迹的轨迹点Y轴方向的值呈 增大趋势，即人头运行轨迹由下至上，则判断乘客为下车行为；若检测到人头 运动轨迹的轨迹点处于以交点为圆心且第二阈值为半径的圆周内，则判断乘客 为上车行为；当设定Y轴的正方向朝车内方向，若检测到人头运动轨迹的轨迹点 Y轴方向的值呈减小趋势，即人头运行轨迹由上至下，则判断乘客为下车行为， 若检测到人头运动轨迹的轨迹点Y轴方向的值呈增大趋势，即人头运行轨迹由下 至上，则判断乘客为上车行为；若检测到人头运动轨迹的轨迹点处于以交点为 圆心且第二阈值为半径的圆周内，则判断乘客为上车行为。人头运动轨迹矢量 基本无变化者为原始车内乘客，不予统计。其中本实施例中设定第二阈值为45 个像素值。

S9、根据乘客行为，统计出双向客流数量；

S10、第一摄像头获取到的图像经过步骤S5～S9处理后，统计出前车门双向 客流数量，第二摄像头获取到的图像经过步骤S5～S9处理后，统计出后车门双向 客流数量，对前车门双向客流数量和后车门双向客流数量进行合计，得出整车 双向客流数量。

S11、将步骤S10中获取到的整车双向客流数量统计结果传输到智能公交调 度平台。其中上述客流统计方法实现的功能可以通过嵌入在第一摄像头和第二 摄像头中的处理器来完成，因此本实施例中整车双向客流数量统计结果可以通 过第一摄像头和第二摄像头分别获取到的双向客流数量合计得到，并且第一摄 像头和第二摄像头可以通过其外设接口或者网络将其获取到的双向客流数量传 输到智能公交调度平台。

本实施例步骤S2中采用减少内存的梯度Hough检测直线，Hough变换的思想 是图像中原始坐标系下所呈现直线的所有点，其斜率和截距是一样的，得出其 在参数坐标系统下对应同一个点。Hough变换利用图像的全局特征将特定形状边 缘连接起来，通过点线的对偶性，将原图上的点映射到用于累加的参数空间， 把原始图像中给定的直线或曲线检测转化为寻找参数空间中的峰值问题。由于 利用全局特征，所以受噪声和边界间断的影响较小，具有鲁棒性。

在二维图像内，人头的边缘是不受光照、颜色等的影响，且在俯视情况下， 排除了人头遮挡现象，通常人头检测会用到分类器，但由于人头样本繁多，戴 帽子，彩色头发，白发，长发等情况，很难完全训练到百分百。由于圆是最接 近人头形状，本实施例步骤S5人头检测过程中采用内存消耗少的梯度Hough检测 圆，因为圆为最近俯视的人头形状，且跟头发颜色无关。由于Hough变换利用的 是边界的全局特征，并不考虑边界连通与否，因为其对于噪声、局部形变和曲 线间断不敏感、检测精度较高，且Hough变换适合并行计算，实时性较好。为了 有效的降低Hough变换的时间和空间复杂度，本实施例采用改进的梯度Hough圆 检测方法，其借助了边缘梯度方向对圆心轨迹进行映射。其中梯度Hough变化其 核心是找到圆心坐标(x_C,y_C)，其计算下式所示：

其中(x_A,y_A)为圆边界上任意一个边缘点，r为半径，θ_g为边缘点的梯度值， 可由Canny边缘算子获得。本实施例采用改进的GerigHough变换，使用三个二维 阵列分别用做变换累加器、局部极值位置记录数组和局部极值相应的半径记录 数组。

在本实施例步骤S54中，由于帧差法提取出的前景二值图像部分边缘信息 不准确，会由于光照条件的突变或背景模型更新不及时等原因而产生的更多背 景边缘目标，因此将运动目标区域的灰度图像进行Canny边缘检测，得到目标 的边缘特征。

本实施例步骤S6采用卡尔曼预测器进行头部跟踪，再获取头部特征向量之 后，使用卡尔曼预测器可以降噪并且跟踪准确，卡尔曼预测器是最小方差准则 下的最优滤波算法，是一种递推算法，无须存储多个过去的输入信号，具有内 存开销小、适用于计算机实时运算等优点。卡尔曼系统的状态方程和测量方程 如下式：

{ x → ( k ) = A x → ( k - 1 ) + w → ( k - 1 ) y → ( k ) = C x → ( k ) + v → ( k ) ; ]]>

其中为k时刻输入的信号向量n为向量位数， 为k时刻的测量值向量，A为状态转移矩阵，C为测量矩阵，为k时 刻系统噪声向量，为k时刻测量噪声向量。将由卡尔曼滤波预测出的当前帧 人头预测向量矩阵与当前帧算法检测到的头部特征向量进行匹配，匹配的特征 有圆轮廓的相似度、半径的相似度、轮廓内部灰度值的相似度、轮廓内部YUV 空间的ALPHA通道值相似度。

本实施例还公开了一种用于实现上述公交车辆客流统计方法的公交车辆客 流统计系统，如图7所示，包括第一摄像头、第二摄像头、第一车门开关传感器、 第二车门开关传感器、前车门图像处理模块、后车门图像处理模块和整车客流 统计模块，其中

第一摄像头，安装在公交车前车门位置，用户获取公交车前车门位置图像；

第二摄像头，安装在公交车后车门位置，用户获取公交车后车门位置图像；

第一车门开关传感器，安装在公交车前车门位置，用于感应公交车前车门 的开关；

第二车门开关传感器，安装在公交车后车门位置，用于感应公交车后车门 的开关；

前车门图像处理模块，包括：

第一车门出入线识别模块，用于根据第一摄像头获取的图像对公交车前车 门出入线进行确定；

第一拟合函数获取模块，用于获取到第一摄像头安装高度和人头大小的拟 合函数；

第一人头检测模块，用于使用圆检测方法对第一摄像头获取的图像进行人 头检测，获取到图像中的头部特征向量；

第一人头跟踪模块，用于根据第一人头检测模块获取到的头部特征向量， 对第一摄像头获取的图像中人头进行跟踪，并且确定第一摄像头获取到的图像 中人头运动轨迹；

第一人头运动轨迹分析模块，用于结合公交车前车门出入线对第一摄像头 获取到的图像中人头运动轨迹矢量进行分析，判断公交车出前车门的乘客行为；

以及第一客流统计模块，用于根据公交车前车门获取到的乘客行为，统计 出公交车前车门双向客流数量；

后车门图像处理模块，包括：

第二车门出入线识别模块，用于根据第二摄像头获取的图像对公交车后车 门出入线进行确定；

第二拟合函数获取模块，用于获取到第二摄像头安装高度和人头大小的拟 合函数；

第二人头检测模块，用于使用圆检测方法对第二摄像头获取的图像进行人 头检测，获取到图像中的头部特征向量；

第二人头跟踪模块，用于根据第二人头检测模块获取到的头部特征向量， 对第二摄像头获取的图像中人头进行跟踪，并且确定第二摄像头获取到的图像 中人头运动轨迹；

第二人头运动轨迹分析模块，用于结合公交车前车门出入线对第二摄像头 获取到的图像中人头运动轨迹矢量进行分析，判断公交车出后车门的乘客行为；

以及第二客流统计模块，用于根据公交车后车门获取到的乘客行为，统计 出公交车后车门双向客流数量；

整车客流统计模块，用于对前车门双向客流数量和后车门双向客流数量进 行合计，得出整车双向客流数量。

本实施例前车门图像处理模块中的第一车门出入线识别模块、第一拟合函 数获取模块、第一人头检测模块、第一人头跟踪模块、第一人头运动轨迹分析 模块以及第一客流统计模块可以嵌入在第一摄像头中，第一摄像头通过外设接 口或网络端与智能公交调度平台信号连接，直接通过第一摄像头的外设接口或 者网络端将前车门双向客流数量结果和视频录像传送给智能公交调度平台，如 图8所示。本实施例后车门图像处理模块中的第二车门出入线识别模块、第二拟 合函数获取模块、第二人头检测模块、第二人头跟踪模块、第二人头运动轨迹 分析模块以及第二客流统计模块可以嵌入在第二摄像头中，第二摄像头通过外 设接口或网络端与智能公交调度平台信号连接，直接通过第二摄像头的外设接 口或者网络端将后车门双向客流数量结果和视频录像传送给智能公交调度平 台，如图8所示。其中智能公交调度平台可以是车载显示屏、车载主机等。

如图8所示，本实施例中第一摄像头和第二摄像头可以连接到网络端，通过 IE配置参数，以通过网络端可以实时查看第一摄像头中前车门图像处理结果效 果图、第二摄像头中后车门图像处理效果图以及实时前后车门双向客流数量结 果。其中图像处理效果图是指带有乘客人头的运动轨迹线并用矩形框住人头的 图像。

本实施例中第一摄像头和第二摄像头均扩展有RS485接口，第一摄像头和第 二摄像头分别通过RS485接口对应与第一车门开关传感器和第二车门开关传感 器连接。第一摄像头在接收到第一车门开关传感器发送的车门开信号后，控制 前车门图像处理模块中的各模块工作，即控制使用本实施例上述客流统计方法 对第一摄像头获取到的图像进行相应处理。在接收到第一车门开关传感器发送 的车门关信号后，控制前车门图像处理模块中的各模块停止工作，即控制本实 施例上述客流统计方法停止对第一摄像头获取到的图像进行相应处理。第二摄 像头在接收到第二车门开关传感器发送的车门开信号后，启动后车门图像处理 模块中的各模块工作，即控制使用本实施例上述客流统计方法对第二摄像头获 取到的图像进行相应处理，在接收到第二车门开关传感器发送的车门关信号后， 启动后车门图像处理模块中的各模块停止工作，即控制本实施例上述客流统计 方法停止对第二摄像头获取到的图像进行相应处理。

在本实施例中第一摄像头和第二摄像头均使用单目高清摄像头，并具备 CMOS。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实 施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。