双节点合成图像系统架构的制作方法
本申请得到了在环绕视图车辆成像系统中的应用。然而，将理解的是，所描述的技术也可以得到在其他车辆监控系统、其他成像系统或其他车辆安全系统中的应用。
背景技术：
传统用于货车的监控系统不设置摄像机和校准的数量可变的、用于在可互换的车辆部件之间进行图像处理的系统架构。在摄像机及其校准的数量未知、没有足够的电子控制单元(ecu)容量以处理输入的摄像机图像的情况下，不能产生整个车辆的环绕图像。
本发明提供了便于为带有可交换车辆节段的铰接商用车辆产生环绕视图图像的新的改进的系统和方法，并解决了上述的及其他的问题。
技术实现要素：
根据一个方面，使用铰接商用车辆的多节点计算机架构来便于产生合成环绕视图图像的系统，包括：拍摄铰接车辆的第一部分的周围区域的图像的第一组一个或多个摄像机，以及接收来自第一组一个或多个摄像机的所拍摄的图像数据的第一处理节点。该系统还包括拍摄铰接车辆的第二部分的周围区域的图像的第二组一个或多个摄像机，以及接收来自第二组一个或多个摄像机的所拍摄的图像数据，并将所拍摄的图像数据转发至第一处理节点的第二处理节点。第一处理节点被配置为根据从第一组一个或多个摄像机和第二组一个或多个摄像机接收的所拍摄的图像数据来产生铰接车辆的合成环绕视图图像。
根据另一个方面，使用铰接商用车辆的多节点计算机架构来便于产生合成环绕视图图像的电子控制单元(ecu)包括处理器，其被配置为：接收来自第一组一个或多个摄像机的所拍摄的铰接车辆的第一部分的周围区域的视频数据，从第二电子控制单元接收由第二组一个或多个摄像机拍摄的铰接车辆的第二部分的周围区域的视频数据，并且确定铰接车辆的第一部分和第二部分之间的铰接角。处理器还被配置为：对于每一视频帧，将从第一组一个或多个摄像机和第二组一个或多个摄像机接收到的所拍摄的图像数据合成为铰接车辆的合成环绕视图图像的同时，补偿所确定的铰接角。
根据另一个方面，使用铰接商用车辆的多节点计算机架构来产生合成环绕视图图像的方法包括：在第一处理节点接收来自第一组一个或多个摄像机的所拍摄的铰接车辆的第一部分的周围区域的图像数据，在第二处理节点接收来自第二组一个或多个摄像机的所拍摄的铰接车辆的第二部分的周围区域的图像数据，以及在第一处理节点接收所拍摄的铰接车辆的第二部分的周围区域的图像数据。该方法还包括，根据从第一组一个或多个摄像机和第二组一个或多个摄像机接收的所拍摄的图像数据来产生铰接车辆的环绕视图图像。
根据另一个方面，使用铰接商用车辆的多节点计算机架构来便于产生合成环绕视图图像的设备包括：第一接收装置，其用于在第一处理节点接收来自第一组一个或多个摄像机的所拍摄的铰接车辆的第一部分的周围区域的图像数据；第二接收装置，其用于在第二处理节点接收来自第二组一个或多个摄像机的所拍摄的铰接车辆的第二部分的周围区域的图像数据。第一接收装置还被配置为从第二处理节点接收所拍摄的铰接车辆的第二部分的周围区域的图像数据。该设备还包括处理装置，其用于确定铰接车辆的第一部分和第二部分之间的铰接角，并在根据从第一组一个或多个摄像机和第二组一个或多个摄像机接收到的所拍摄的图像数据来产生铰接车辆的环绕视图图像时，补偿所确定的铰接角。
一个优势在于，保留了牵引车和拖车的柔性连接，同时也能够产生环绕视图。
另外一个优势在于，减少了因使用不同拖车或多个拖车而对ecu重新校准或重新校正的需要。
本领域的普通技术人员通过阅读和理解下面的详细描述，将了解到本发明进一步的优势。
附图说明
本发明可以采用多种部件和部件的布置，以及多种步骤和步骤的安排。附图仅用于图示说明各个方面的目的，而不应将其解释为对本发明的限制。
图1示出了根据本文描述的各种特征的便于产生车辆的可缩放环绕视图图像的系统。
图2示出了包括牵引车部分和拖车部分的车辆，每部分具有其对应的ecu。
图3示出了便于根据在此公开的一个或多个特征、使用拖车控制应用程序(“app”)来产生铰接车辆的合成环绕视图的系统。
图4是根据本文阐述的多种特征的主ecu的图示。
图5示出了根据本文描述的多种特征、使用铰接商用车辆的多节点计算机架构来产生合成环绕视图图像的方法。
具体实施方式
通过本文描述的系统和方法可解决上述问题，这些系统和方法便于提供多个电子控制单元(ecu)，其中一个在多节段车辆的牵引车上，另一个在多节段车辆的(每个)拖车部分上，并且将与各ecu相关联的摄像机所产生的各个视图合成到一起而产生环绕视图。“环绕视图”是指车辆周围的全部或部分视图(例如，在45度视角和360度视角之间等等)。每个ecu都已知与之相关联的各摄像机的数量和校准。在ecu之间的数据链路使用例如压缩数据格式，能够为驾驶员产生环绕视图。可以为其图像需处理的若干个摄像机来分配每个ecu的容量。
货车通常具有可拆分、可重组的多个节段，有牵引车和拖车，或甚至多个拖车。用于这样的可拆分节段的车辆(各节段都可以具有各自的传感器组及功能)的信息处理系统常常需要特殊的计算机架构。即，每个车辆节段通常都具有各自的传感器组，为了适当、安全、高效的货车操作，需要来自这些传感器组的信息。这样的传感器可以包括摄像机、速度捕捉装置、胎压计及气流计等。因为各传感器可能具有各自的特征(例如，摄像机的视野和安装参数)，且因为各传感器的数量和种类可能不同，所以本文描述的系统和方法在各个车辆节段中设置了ecu，以整合这些信号。每一个节段的ecu接收、格式化、管理并封装本地信息和信息流，所述信息包括任何与其节段相关的参数。节段ecu可以将其信息传送至主ecu，例如，主ecu在车辆的牵引段、首段、前段或主段上。在一个实施例中，在各节段中的备用电池便于每一个节段独立运行，而没有诸如在货运站停车时的外部电源。这造就了可拆分、可重组的商用车用计算机架构。在另一种实施例中，货运站可以在没有牵引车的情况下使用节段传感器，例如通过摄像机来监控装载和卸载。适当配备的外部移动计算装置(诸如智能手机)可以与车辆节段进行通信并控制车辆节段，例如确定该节段的胎压。
图1示出了根据本文描述的多种特征的便于产生可缩放的车辆环绕视图图像的系统10。该系统包括：在多段铰接车辆的牵引车或主要节段12上的与显示器16及多个摄像机18、20连接(例如，无线连接或有线连接)的第一ecu14，其中显示器16上显示车辆的环绕视图图像。虽然在图1中示出了两个摄像机，应当理解，可以采用任意数量的摄像机以辅助产生车辆的360°视图。每一个摄像机拍摄车辆周边的部分的图像(例如，视频帧)，且第一ecu将各图像帧合成到一起而产生用于输出到显示器16的牵引车环绕视图图像。
类似地，车辆的拖车或第二部分22包括与多个摄像机26、28、30、32耦接(例如，无线连接或有线连接)并且接收由多个摄像机拍摄的图像帧的第二ecu24。第二ecu包括天线或收发器34，第二ecu通过此天线或收发器34与连接到第一ecu14的天线或收发器36进行通信。在一个实施例中，第二ecu24将来自其多个摄像机的图像合成为车辆拖车部分的部分环绕视图，并将拖车图像数据传送到第一ecu，然后第一ecu将合成的拖车图像数据与之前合成的牵引车图像数据合成，以产生完整的环绕视图图像。由于合成减少了像素总量(因为合成舍弃了在环绕视图中没有用到的像素)，因此减小了数据传输的带宽。
每个ecu(例如，牵引车ecu、拖车ecu)均已知摄像机的数量以及与其相关联的各摄像机的校准(例如，光轴位置、焦距等)。在牵引车ecu与拖车ecu之间的数据链路使得可以为驾驶员和/或其他观看者产生完整的车辆环绕视图。如果拖车ecu出现故障，来自连接到牵引车控制器的摄像机的信息仍然能提供拖车侧面的视图。另外，在增加新的拖车时，牵引车(第一)ecu14不需要重新校准，因为每一个拖车部分都具有各自的ecu和与之关联的参数存储。因此，各ecu可被看作已知其周围的其他处理节点(ecu)的独立节点。无论摄像机的数量多少或是在各节段上是否缺少摄像机，环绕视图系统可与能够连接或断开连接的牵引车和拖车进行链接。无论哪个牵引车连接到了哪个拖车，均可将连续的车辆环绕视图提供给驾驶员。通过在牵引车ecu和拖车ecu之间提供所有摄像机的信息，可以实现牵引车ecu和拖车ecu之一或两者均能得到的组合车辆的完整环绕视图。此外，因为可以在没有对应的牵引车摄像机系统的情况下维护拖车摄像机系统，所以此系统更容易维护(moreserviceable)。
各ecu分别包括用于执行计算机可执行指令的相应的处理器38a、38b(统称为处理器38)，以及存储计算机可执行指令的存储器40a、40b(统称为存储器40)，计算机可执行指令(例如模块、例行程序、程序、应用程序等)用于执行本文描述的多种方法和技术协议等。存储器40可以包括易失性存储器、非易失性存储器、固态存储器、快闪存储器、随机存取存储器(ram)、只读存储器(rom)、可编程式只读存储器(prom)、可擦除可编程式只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)及上述各种存储器的变型、组合和/或其他种类的适合提供上述功能且/或适合存储计算机可执行指令以便处理器38执行的存储器。另外，在此“模块”代表计算机可执行指令集(例如，例行程序、子例行程序、程序、应用程序等等)，并且此指令集持久地存储在计算机可读媒介或存储器中，以由存储器执行。
图2示出了包括牵引车部分12和拖车部分22的车辆100，每部分具有相应的ecu14、24。第一(牵引车)ecu14与安装在牵引车上的乘客侧牵引车摄像机(c1)18和驾驶员侧牵引车摄像机(c2)20中的每个相耦接(例如，通过有线连接或无线连接)，虽然将理解本文公开的系统和方法不限定于只有两个牵引车摄像机。各摄像机18、20在牵引车12的相应的一侧拍摄视频图像数据，并将所拍摄的数据传送到牵引车ecu14，牵引车ecu14将摄像机图像数据合成到一起，形成合成牵引车环绕视图图像。类似地，第二(拖车)ecu14与多个摄像机相耦接(例如，通过有线连接或无线连接)，这些摄像机包括前乘客侧拖车摄像机(c3)26和前驾驶员侧拖车摄像机(c4)28，以及后乘客侧拖车摄像机(c5)30和后驾驶员侧拖车摄像机(c6)32，所有摄像机均安装在拖车上。将理解，本文描述的系统和方法不限定于只有四个拖车摄像机或限定于总计有六个摄像机，相反，任意数量的摄像机均可以耦接到相应的ecu上，且任意数量的拖车均可耦接到车辆上。
拖车摄像机26、28、30、32具有重叠的视野，拍摄拖车22周围相应视图的视频图像数据，并将所拍摄的数据传送到拖车ecu24，拖车ecu24将所拍摄的数据合成到一起，形成合成拖车环绕视图图像。在一个实施例中，对于每一帧图像，拖车ecu24提供已合成的拖车环绕视图图像，该图像包括来自各个拖车摄像机的合成的图像数据。在另一个实施例中，拖车ecu24直接将来自各个拖车摄像机的已拍摄的图像数据提供给牵引车ecu14，以与牵引车摄像机的图像帧相合成。
在又一个实施例中，为拖车摄像机独立供电(例如，通过导线或电池)并将图像帧数据直接传送到牵引车ecu以进行合成。此外或替换地，拖车摄像机可以配置为：当传输图像数据到拖车ecu时，周期性地从拖车ecu接收确认消息，并当缺失一个或多个确认消息时，拖车摄像机可以转换为直接将所拍摄的图像数据直接传送到牵引车ecu14。
通过由牵引车ecu和/或拖车ecu(例如，通过由转向节主销处的机械式传感器分析已拍摄的牵引车后部图像数据相对拖车前部的图像数据的关系)来确定牵引车12和拖车22的铰接角α，并且ecu14和ecu24在将车辆的合成环绕视图图像合成在一起时考虑到所述铰接角，从而为驾驶员提供无缝式鸟瞰视图并使图像更加美观。
图3示出了根据本文公开的一个或多个特征的系统150，该系统使用拖车控制应用程序(“app”)便于产生铰接车辆的合成环绕视图。在一个示例中，拖车控制应用程序是诸如由克诺尔(knorrbremse)开发的应用程序。克诺尔集团的
在图3的示例中，该系统150包括在多节段的铰接车辆的牵引车或主部分12上的第一ecu14，所述第一ecu14与显示器16和多个摄像机18、20相耦接(例如，通过无线连接或有线连接)，在显示器16上显示了车辆的环绕视图图像。虽然在图3中只示出了两个摄像机，但将理解的是，可以采用任意数量的摄像机，以辅助产生车辆的360°视图。各个摄像机拍摄车辆周围的一部分的图像(例如，视频帧)，并且第一ecu将图像帧合成在一起以产生用以输出到显示器16牵引车环绕视图图像。
类似地，车辆的拖车或第二部分22包括第二ecu24，所述第二ecu24耦接(例如，通过无线连接或有线连接)至多个摄像机26、28、30、32并且接收由多个拖车摄像机拍摄的图像帧。第二ecu包括天线或收发器34，第二ecu通过所述天线或收发器34与连接到第一ecu14的天线或接收器36进行通信。此外，如同关于图1所述，ecu14、24分别包括相应的处理器38a、38b和存储器40a、40b。
在一个实施例中，第二ecu24将来自其多个摄像机的图像合成为车辆拖车部分的部分环绕视图，并将合成拖车图像数据传送到itap模块154，然后itap模块154将已合成的图像数据转发到便携式计算装置152(例如，智能手机或平板电脑等)，从而向驾驶员显示。在另一个实施例中，牵引车(第一)ecu也将合成的牵引车环绕视图图像传送到便携式计算装置152，便携式计算装置152进而将拖车和牵引车环绕视图合成到一起，成为车辆的合成环绕视图。在此示例中，便携式计算装置作为主节点，而不是第一ecu(如图1的示例的情况)。
itap模块从多个车载系统和/或设备采集信息。例如，itap模块接收与例如胎压监测传感器、车载摄像机、负荷等级信息和电动气动的空气悬挂信息、拖车倾斜度、侧倾稳定性、拖车重量信息、压路机制动(finisherbrake)状态信息、压力供应信息、以及任何其他合适的辅助系统信息相关的数据，并提供给便携式计算装置152。另外，itap模块154被配置为确定拖车相对于牵引车的铰接角，且在合成图像数据以形成车辆的合成环绕视图图像时，铰接角信息用于调整合成图像。对铰接车辆的合成考虑到了车辆节段之间的转动。发送到牵引车ecu14的拖车的部分合成后的摄像机视图经过旋转，然后与牵引车的部分合成后的视图相结合。另外，可以调整接合线的位置，以允许节段间角度的变化。给定节段的ecu可以将采集到的数据和铰接角信息与每个合成节段图像帧一起来持续地传输，或者按预定间隔来传输。
为了将给定拖车上的itap模块154耦接至牵引车ecu14和/或便携式计算装置152，在拖车附接到牵引车上时，可使用握手协议。例如，驾驶员在其手机上打开itap应用程序，并且驾驶员被提示以通过车辆提供信号以指示手机和/或牵引车ecu应当与itap模块配对。在一个示例中，提示驾驶员向拖车刹车施加预定量的力。itap模块检测施加的制动力，且将便携式计算装置上的指示检测到的制动力等级的图形提供给驾驶员。一旦驾驶员施加了预定的制动力，itap模块就与便携式计算装置和/或牵引车ecu配对，从而系统准备就绪。
继续参照图1至图3，本文描述的系统可以看作用于商用车辆的多节点计算机架构，其中各个车辆节段具有其专用的ecu和存储器，且各ecu被配置为接收、格式化、管理和封装节段信息以便其节段对这些信息的进一步使用，这些信息包括图像数据、传感器信息、控制信号。在车辆内的多个节点之间可以采用主从关系(例如，其中牵引车ecu对于拖车ecu是主设备，其中便携式计算装置对于拖车ecu和/或牵引车ecu是主设备，等等)。主ecu处理器可以与驾驶员接口设备和/或乘客接口设备(诸如显示器、键盘等)相关联。另外，主节点可以被配置为控制来自和去往从节点的信息流，从而对从信息进行调整、限制、修整或二次取样。在一个实施例中，传感器信息可以由除了安装传感器的节段以外的节段上的ecu处理。另外，在多个节点之间提供有通信链路，并且可以采用共同格式，此格式可以是预先建立的，也可以是在节段组合时建立的。通信网结构可以为以下之一：星状、中继、或其他的通信几何结构。
根据另一个实施例示例，牵引车ecu、拖车ecu和itap模块中的一个或多个可以确定在主节点与一个或多个从节点之间的数据链路的拥塞。在这种情况下，可以指示从节点的ecu来对其传输的数据(例如，图像数据、传感器数据等)进行二次取样或额外压缩，从而数据链路能够处理传输。在wifi数据链路具有有限带宽的情况下，可以修整图像数据以去除在视频帧进行时不随时间变化的像素。在另一个实施例中，当wifi数据链路超负荷时，压缩视频数据来进行传输。是否压缩数据以及数据压缩的程度也可以由从ecu在本地决定。
图4是根据本文描述的多种特征的主ecu14(诸如上述牵引车ecu或便携式计算装置)的图示。ecu包括执行计算机可执行指令的处理器38a以及存储计算机可执行指令的存储器40a，计算机可执行指令便于执行本文描述的多种动作、功能等。当在主ecu的预定范围内检测到拖车ecu或itap模块时，处理器执行握手模块200，从而与拖车(第二)ecu配对以通信。一旦配对，主ecu就接收来自安装在牵引车上的多个摄像机的牵引车图像数据202，以及来自安装在与牵引车连接的拖车上的多个摄像机的拖车图像数据204。处理器执行铰接角补偿模块206，从而确定牵引车和拖车之间的铰接角，并且在执行图像处理模块208时补偿铰接角，以由牵引车图像数据和拖车图像数据来产生车辆的合成图像。处理器还执行合成模块210，该合成模块210将来自牵引车和拖车的图像数据合成到一起形成图像帧，并去除冗余的像素，诸如因为多个摄像机视野的重叠而产生的冗余像素。以这种方式，处理器对于由多个摄像机拍摄的每个视频帧产生了牵引车和拖车的无缝合成环绕视图图像。
在另一实施方式中，ecu14、24两者之一或两者都识别有故障的或者饱和的摄像机，并停止从识别到的摄像机接收到的图像数据的传送或使用，以降低带宽消耗。例如，如果摄像机在由于光而变盲(饱和)或因故障拍摄不到物体时，对应的ecu可以发送故障指示，并且停止传送由故障摄像机拍摄的数据。
另外，ecu14从位于牵引车和/或拖车的一个或多个传感器接收传感器数据212。传感器数据可以包括而不限于胎压数据、拖车倾斜角、车辆重量、载荷平衡信息等等，并可以与合成环绕视图图像一同显示给驾驶员。处理器还执行数据链路监控模块214，此数据链路监控模块214监控在主(牵引车)ecu14和拖车ecu之间的数据链路上的通信负载。当确定数据链路过载时，处理器执行数据节流模块216，该数据节流模块216指示拖车ecu对正通过数据链路传送到主ecu的图像数据和传感器数据中的一个或多个进行二次取样或额外压缩。
将理解的是，本文描述的第二(拖车)处理节点或ecu可以包括与主ecu14相似或相同的模块、软件、指令等等，以执行本文描述的多种功能(例如，图像帧的合成、数据的二次抽样等)。
图5示出了根据本文描述的多种特征的，使用铰接商用车辆的多节点计算机架构来产生合成环绕视图图像的方法。在将牵引车和拖车连接到一起，并且通过握手协议对其处理节点进行配对之后，在250处，在第一处理节点(例如，牵引车ecu)接收从第一组多个摄像机处拍摄的铰接车辆第一部分周围区域的图像数据。在252处，在第二处理节点接收从第二组多个摄像机处拍摄的铰接车辆第二部分周围区域的图像数据。在254处，在第一处理节点接收经由第二处理节点的或直接从第二组多个摄像机拍摄的铰接车辆第二部分周围区域的图像数据。在经由第二处理节点接收来自第二组多个摄像机的已拍摄的图像数据的情况下，第二处理节点首先将图像数据合成在一起以产生车辆拖车部分的环绕视图。
在256处，由从第一组和第二组多个摄像机接收到的拍摄的图像数据来产生铰接车辆的合成环绕视图图像。在产生环绕视图图像时，第一处理节点可以将在第一组和第二组多个摄像机中各独立的摄像机所拍摄的数据合成在一起，或者可以将来自第一组多个摄像机(安装在牵引车上)的所拍摄的数据合成形成为第一环绕视图图像，并将第一环绕视图图像与从第二处理节点接收到的拖车的第二环绕视图图像合成到一起。
根据另一实施例，第三处理节点(例如，智能手机、平板电脑等等)从第一处理节点接收第一环绕视图图像，并从第二处理节点接收第二环绕视图图像，并对第一环绕视图图像和第二环绕视图图像执行合成协议，从而产生铰接车辆的合成环绕视图图像来在智能手机或平板电脑上显示给观看者。第三处理节点可以被配置为经由与车辆拖车部分相关联的itap模块来接收第一环绕视图图像和第二环绕视图图像，其中itap模块起到在第三处理节点和第一处理节点之间的网关设备的作用。
在另一实施例中，第一处理节点确定车辆的牵引车部分和拖车部分之间的铰接角，并在产生合成环绕视图图像时考虑所确定的铰接角(例如，通过调整像素数据以使图像平滑)。另外，第一处理节点和第二处理节点中的每个节点都可以接收来自与其相应车辆部分相关联的一个或多个传感器(例如，胎压监控传感器、加速度计等)的传感器数据。可以将传感器数据与合成环绕视图图像一同显示给观看者(例如，驾驶员)。此外，第一处理节点可以监控在第一处理节点和第二处理节点之间的数据链路，并且能够在需要时指示第二处理节点对传感器数据和图像数据之一或两者进行二次抽样，以减少数据链路上的通信量。
已经参照若干实施方式描述了本发明。他人通过阅读和理解前面的详细描述可以想到修改和变化。本发明意在被理解为包含在所附的权利要求及等价的范围内的所有这样的修改和变化。
- 还没有人留言评论。精彩留言会获得点赞！