用色彩扩增全景LIDAR结果的制作方法

相关申请的交叉引用

本申请要求2017年5月15日提交的标题为“用于用色彩扩增360°全景lidar结果的系统和方法(systemsandmethodforaugmenting360°panoramiclidarresultswithcolor)”的第62/506,460号美国临时专利申请的优先权，所述临时专利申请的全部内容出于所有目的均以全文引用的方式并入本文中。

背景技术：

360度全景视图lidar系统可创建系统周围的体积的三维映射，且因此可以在例如车辆安全和自主车辆控制等许多应用中使用。大多数lidar系统采用单色激光脉冲，且可测量反射激光脉冲的强度和时间延迟两者。依据强度和时间延迟，lidar系统可接着计算包括lidar像素的阵列的lidar图像，每一像素包含系统周围的场中检测到的对象的范围(距lidar系统的距离)和反射性。然而，此lidar系统固有地无视正映射的周围体积的色彩或光谱质量。因此，用额外的色彩信息增强强度和范围信息将允许lidar系统产生可更有效地部署作为用于对象检测和辨识的辅助的提供更多信息的3d地图。

使用不同色彩的多个激光的lidar系统很昂贵。或者，将一个或多个外部彩色相机附接到车辆的各个部分需要谨慎且耗时的校准。此外，使彩色相机和lidar作为独立的模块需要对图像数据进行复杂且耗时的后处理，才能成功地使测距数据与彩色图像合并。此外，归因于lidar和彩色相机无法占用同一物理空间的事实，存在视差误差。

相应地，仍需要一种可靠、低成本且容易安装的色彩增强型lidar系统。

技术实现要素：

根据某些实施例，方法和系统可用从彩色相机获得的色彩扩增360度全景lidar结果(例如，来自自旋lidar系统)。彩色像素查找表可指定lidar像素(深度/测距像素)和彩色像素之间的对应性，这可在不同检视对象距离处进行。彩色相机的操作可通过lidar系统的角位置触发。举例来说，当lidar系统处于特定角位置时可捕获特定相机的彩色图像，所述角位置可基于相机的性质(例如，快门速度)预先确定。以此方式触发彩色相机可确保相机获取在时间上与相同视场内对应的lidar测距测量同步(无关于lidar的旋转速率)。

或者或另外，可使用共同内部时钟以在捕获时向lidar和彩色像素指派时戳。例如使用彩色像素查找表确定的具有最接近时戳的对应的彩色像素可用于色彩化(colorization)。

本公开的这些和其它实施例在下文详细描述。举例来说，其它实施例是针对与本文所描述的方法相关联的系统、装置和计算机可读介质。

参考以下详细描述和附图可以获得对本公开的实施例的性质和优点的较好理解。

附图说明

图1展示根据一些实施例的汽车应用的上下文中的360度全景彩色lidar系统(pcls)；

图2a-图2b展示根据某些实施例的pcls几何形状；

图3示出根据某些实施例的pcls的框图以进一步说明自旋lidar和彩色相机快门之间的旋转同步概念；

图4示出根据某些实施例与一组彩色相机视场重叠的lidar视场，以出于说明相机同步过程的目的；

图5在逐像素层级示出lidar像素和彩色像素之间的对应性；

图6a-图6c示出根据一个或多个实施例由视差所导致的lidar和彩色图像之间的差异；

图7展示根据某些实施例的pcls310的框图以进一步说明用于深度相依像素对应性的查找表的使用；以及

图8是展示用于用色彩扩增360全景视图lidar系统的步骤的流程图。

图9是展示用于用色彩扩增360全景视图lidar系统的步骤的流程图。

图10a-图10c展示根据一个或多个实施例的lidar系统的横截面图。图10d-图10e提供根据一些实施例的个别电路板的表面的视图。

图11展示根据某些实施例使用lidar和彩色像素的时戳的pcls的框图。

具体实施方式

根据某些实施例，本文中所公开的方法和系统涉及用色彩扩增360度全景lidar结果。360度全景视图彩色自旋lidar系统(pcls)的实施例用彩色相机信息扩增其距离和强度lidar结果。相机和lidar系统(例如，发射器和传感器)可构造为可在制造期间在工厂处校准的机械集成单元。

校准的一部分可包含确定彩色像素查找表以确定lidar像素(深度/测距像素)和彩色像素之间的对应性，其可在不同检视对象距离处进行。lidar像素可包括任何关于lidar感测的信息，例如深度值、信号强度值、信噪比值等。彩色像素查找表可指定哪一(些)彩色图像像素对应于用于给定测距测量的每一lidar像素。因此，lidar系统和彩色相机之间的视差效应可得以校正。相机和lidar系统可在制造期间刚性地附接到机械支撑件，使得lidar像素和彩色像素之间的逐像素映射在初始组装之后并不改变，借此当安装在车辆上时不需要额外校准，但这样的稍后校准是可能的。

在一些实施例中，旋转编码器可用于校准lidar系统相对于彩色相机的指向方向(即，角位置)，从而允许系统直接确定随着lidar系统旋转何时需要触发彩色相机中的每一个。以此方式触发彩色相机确保相机获取在时间上与相同视场内对应的lidar测距测量同步(无关于lidar的旋转速率)。此系统使lidar和色彩获取之间的时间改变(例如，轿车、行人等的移动所导致)最小化，借此使两个类型的像素能够更紧密地对应于对象上的点。在其它实施例中，独立的lidar和彩色相机系统可使用时戳识别在时间上最接近lidar图像的lidar像素的相机图像的彩色像素来执行对准。基于lidar的位置触发彩色相机可提供改进的时间同步。

因为相比于作为单独的模块，彩色相机和lidar系统可集成到单个机械单元中，所以系统可在工厂处校准且安装在车辆上，而无需在安装时进一步校准。同样，在工厂校准期间，也可使用集成到旋转lidar中的旋转编码器的输出来校准lidar相对于彩色相机的指向方向。此旋转校准允许系统确定何时lidar正指向相机中的一个的视场内的方向，以及何时触发特定相机获取。因此，在工厂处校准之后，对于(lidar的一次360度旋转期间获得的)lidar数据的每个帧，各种彩色图像和lidar点云之间的对准可固定且可重复。

lidar和彩色相机之间的获取定时(例如，触发和捕获彩色像素之间的时间)也可在工厂处设定，且不必在安装时再校准。系统的总体刚性和稳定性允许使用像素查找表使指定彩色图像的一个或多个彩色像素快速地与每一lidar像素相关联。可作为被触发彩色图像和当前旋转循环期间特定角位置处获取的lidar像素之间的预定相关的结果而实时使用查找表。实时使用查找表可比依赖于色彩和lidar数据的单独获取的布置简单，所述色彩和lidar数据稍后在后处理步骤期间使用时戳和/或地理数据协同对准。

因为可针对每一所获取lidar像素快速识别彩色像素，所以pcls可快速将全色增强型像素(范围、强度、r、g、b)发射到下游处理元件以用于三维图像重建或用于安全系统中，而不需要复杂的后处理来例如基于时戳使色彩和lidar图像协同对准。如果系统在例如高级驾驶辅助系统(adas)或自主驾驶系统等更广安全系统内采用，则处理时间的此缩短可能是有利的。

i.汽车全景彩色lidar系统

图1展示根据一些实施例的汽车应用的上下文中的360度全景彩色lidar系统(pcls)100。此处仅为了说明起见挑选pcls的汽车应用，且本文中所描述的传感器可在例如轮船、飞机、火车等其它类型的车辆中以及在其中lidar图像为有用的多种其它应用中采用，所述其它应用例如医学成像、测地学、测绘学、考古学、地理学、地质学、地貌学、地震学、林业、大气物理、激光制导、机载激光幅图像(airbornelaserswathmapping，alsm)和激光测高。根据一些实施例，pcls100可安装在车辆105的顶板上，如图1中所展示。

在一些实施例中，pcls100包含扫描lidar系统102，其旋转联接到包含彩色相机阵列119a-119d的彩色相机组合件。图1中展示的扫描lidar系统102可采用旋转架构，其中可跨越车辆105周围的360度视场的全部或一部分扫描lidar系统102的指向方向(即，角位置)。在一些实施例中，可在周围环境上扫描脉冲输出射束111，如所示。周围体积内的对象将接着反射脉冲输出射束111的反射光的部分117，且这些反射部分117接着行进回到lidar系统且可由检测器电路检测到。基于发射和检测之间的时间差，计算可确定车辆周围的环境中的点110处对象距lidar系统的距离(在本文中也被称为“范围”)。虽然图1中在给定角方向处仅展示单个点110，但lidar系统102可包含发射器阵列(例如，分布在z轴上下)用于测量针对输出射束111的任何给定定向在对应的点阵列处的深度值。还可使用发射器的二维(2d)阵列。

扫描lidar系统102可围绕z轴以机械方式旋转(如由顺时针旋转方向115指示)以捕获在车辆105周围360度的完全视场的lidar图像。在一些实施例中，可通过机械手段，例如通过将扫描lidar系统102安装到可由电马达驱动的旋转柱或平台来实施所述旋转。在其它实施例中，旋转可以经由其它机械手段实施，例如通过使用电流计。也可采用基于芯片的转向技术，例如通过使用采用一个或多个基于mems的反射器的微芯片，例如数字微镜(dmd)装置、数字光处理(dlp)装置等。在一些实施例中，扫描可以经由非机械手段实现，例如通过使用电子信号使一个或多个光学相控阵列转向。

如所展示，彩色相机的阵列包含彩色相机119a-119d。相机119a-119d中的每一个可捕获作为lidar系统的完全360视场的部分的相应角视场120a-120d内的2d彩色图像。在一些实施例中，每一彩色相机119a-119d可使用环境光反射来分别确定其视场120a-120d内的像素的色彩。如下文更详细地描述，从相机捕获的色彩信息可用于丰富由扫描lidar系统捕获的深度数据，借此以逐像素的方式提供深度(距离)和色彩信息两者。

ii.几何布置

图2a是展示根据某些实施例的pcls250的透视图，其类似于上文参考图1描述的pcls100。pcls250包含罩壳，其由光学透明窗260和盖270形成以为扫描lidar系统210提供保护。在一些实施例中，系统控制器280和包含相机220的彩色相机阵列还可驻留在壳体内。彩色相机阵列可定位在底座240的周边周围，且底座自身可包含孔隙的阵列，使得每一相机具有从底座240出去的透明光学路径。在一些实施例中，孔隙可以是空的通孔，或可包含一个或多个光学元件以辅助每一彩色相机的成像。

在一些实施例中，彩色相机不必直接附连到底座240，而是可安装到某一内部结构或可安装到容纳于罩壳内的一个或多个电路板。在一些实施例中，相机220刚性地安装(直接或间接)到罩壳的底座240，使得扫描lidar系统210可相对于相机旋转，即，相机220相对于壳体静止，同时扫描lidar系统210可在罩壳内例如围绕z轴旋转。

图2b示出pcls的俯视图，如在移除了罩壳的pcls处沿着z轴向下观察将看到的，其进一步详述相机220相对于扫描lidar系统210的几何布置。如前所述，扫描lidar系统210发射光脉冲且分析其反射以产生呈lidar图像的形式的距离和亮度值。

在任何给定时间点，扫描lidar系统210可能正指向特定角方向θ(相对于例如位于y轴的固定参考位置)，且可因此产生所述特定方向中的场中的对象的距离和亮度值。随着lidar系统210围绕z轴自旋，其可产生其自旋所经过的多个方向的距离和强度值，例如由用于执行测量的时间/速率限定。因此，lidar系统210可提供其周围的体积的360度全景视图。

在一个实施例中，pcls可包含对称地布置在扫描lidar系统210周围的8个彩色相机220。其它实施例可含有不同数目个相机和不对称布置，而不脱离本公开的范围。每一彩色相机220可捕获其自身的角视场230(其为扫描lidar系统210的完全360度视场的一部分)内的2d图像。如所展示，八个彩色相机220中的每一个的视场230可覆盖45度的角。

彩色相机中的每一个的快门可与扫描lidar系统210的旋转同步使得pcls250可在lidar系统210定向于对应相机的视场内时，例如在lidar系统210处于视场的中间时触发彩色相机的获取。被触发的相机的视场内获取的lidar数据(例如，像素)可与被触发图像的色彩数据组合。pcls250可将刚刚获取的lidar数据(例如，视场的第一半内)与彩色图像数据组合。pcls250可在lidar系统210已经完成视场内的所有测距测量(例如，对应于被触发图像)之前获取彩色相机数据。在此情况下，pcls250可从所述特定彩色相机220读取彩色图像数据，且将其与随着lidar扫过相机的视场的其余部分现获取的lidar数据组合。

在一个实施例中，彩色相机220可以是通常具有滚动快门的低成本cmos传感器。滚动快门传感器一次产生一列或多列像素的数据。还可使用具有全局快门的相机。在任一情况下，pcls250可布置彩色相机220的定向和lidar系统210的自旋方向，使得其在相同环状方向中获取像素数据。pcls250还可控制彩色相机快门，因此彩色像素的获取与lidar像素的捕获同步(即，在时间上同步，使得被触发图像的彩色像素在时间上与所确定角位置附近和处正捕获的对应lidar像素对准)。其它实施例可使用不同类型的彩色相机。举例来说，pcls可使用通常同时捕获整个图像的较昂贵ccd相机。彩色相机220可提供包含rgb、yuv和cmyk的任何格式的色彩信息。在一个实施例中，底座240为模制塑料的机械壳体，但其它实施例可使用金属或其它材料。

iii.采用旋转同步的pcls系统

图3示出根据某些实施例的pcls300的框图以进一步说明自旋lidar和彩色相机快门之间的旋转同步概念。旋转同步指代彩色相机获取与扫描lidar获取同步的过程。在一些实施例中，可在不使用后处理中的时戳的情况下实现同步，例如通过基于扫描lidar系统的角位置触发一个或多个彩色相机获取。

在图3中，旋转组合件311(包含例如一个或多个电路板、托架或其它结构部件)经由旋转联接317旋转地联接到静止组合件313(也被称为静止底座)。相应地，扫描lidar系统301可随旋转组合件313一起旋转，且可围绕z轴扫描完全360度。静止组合件313可包含例如一个或多个电路板、托架或其它结构部件。

扫描lidar系统301的旋转可提供装置周围的环境的全景深度图，在本文中也被称为“点云”和/或lidar图像。在一些实施例中，静止组合件313可例如借助于机械托架和螺钉(未图示)联接到壳体315，使得静止组合件313保持静止且不相对于壳体315旋转。

旋转联接317可在各种实施例中以若干不同方式实施。举例来说，一些实施例可采用轴杆和轴承结构(未图示)。在一些实施例中，旋转联接317还包含不仅允许旋转移动而且驱动旋转组合件311的旋转移动的旋转致动器的一个或多个组件。举例来说，可使用电马达模块(未图示)，或者一个或多个旋转驱动元件可形成为组合件本身的组成部分。举例来说，转子元件(例如，永磁体)的布置可直接集成到旋转组合件311的电路板的表面中，且电马达定子组合件(例如，包含例如螺线管线圈等定子元件的布置)可直接集成到静止组合件313的电路板中。在此类实施例中，在一个或多个旋转致动组件集成到静止组合件313和/或旋转组合件311中的情况下，不再需要用于旋转致动的单独模块，借此增加可靠性，减小复杂性，且有助于简化组装过程。

在一些实施例中，旋转编码器系统可跟踪扫描lidar系统301相对于某一固定参考的角位置(例如，编码器可测量角度θ，如图2b所示)。旋转组合件311(和因此lidar系统301)的角位置可由旋转编码器接收器319跟踪。举例来说，旋转编码器接收器319可通过检测开始特征且接着跟踪可安装到静止组合件313的环形编码器(例如，编码器323)上若干特征/标记的通过来跟踪旋转组合件311的角位置。此开始特征是静止组合件313上的固定参考点的实例。

在其它实施例中，角位置可由固定在壳体315内其它某个地方的旋转编码器模块跟踪。举例来说，旋转编码器接收器319a可具有接纳环形旋转编码器323a的槽。旋转编码器接收器319a可通过检测环形旋转编码器323a上一个或多个特征/标记的通过来确定环形旋转编码器331的角位置。技术人员将认识到，可使用仅一个编码机制，且仅出于说明性目的展示两个实例。虽然图3展示旋转编码器架构的两个实例，但可以采用任何旋转编码器技术，而不脱离本公开的范围。

无关于所采用的编码器的特定形式，编码器接收器319可产生角位置信号334，所述角位置信号334随着扫描lidar系统301随时间旋转而编码扫描lidar系统301的角位置。角位置信号334可提供到lidar控制器321用于执行扫描lidar获取和彩色相机获取之间的旋转同步。lidar控制器321可与相机控制器327通信，相机控制器327可触发指定相机拍摄图像。尽管展示为各自执行单独操作的两个单独控制器，但lidar控制器321和/或相机控制器327可作为旋转或固定的单个控制器存在。

控制器可确定由角位置信号334指示的当前角位置。控制器可确定当前角位置是否对应于用于触发相机325中的任一个的任何预定值/位置。预定位置可与对应相机的识别符相关联而存储。如果当前角位置匹配，则控制器可将命令信号发送到对应相机以拍摄图像。控制器可实时地从旋转编码器接收器319接收角位置信号334，且因此系统随时间推移持续地监视lidar系统的当前角位置，借此实现以对应于所发生的实际旋转速度的速率循序地触发相机。

因为相机325是静止的且安装在相对于静止组合件固定的位置处，所以角位置信号334指示lidar系统相对于彩色相机的角位置。如上文所描述，控制器可产生致使在适当的时刻进行相机获取的触发信号。举例来说，可在lidar系统301当前正指向相对于被触发相机的视场预先确定和/或指定的方向时触发彩色相机获取。举例来说，可在lidar系统301处于相机的角视场中途(在中心稍前方、在中心稍后方)时，或刚好在lidar进入给定相机的视场之前或之后，触发相机。上文描述的旋转同步过程实现在时间上与彩色相机获取紧密同步的lidar获取，而无需用于对准lidar和彩色像素的耗时的后处理。

在一些实施例中，扫描lidar系统301可包含光透射模块303和光感测模块305。光感测和透射模块303和305可包含体形光学件(bulkoptics)308，例如分别定位于感测和透射模块的输入/输出处的多元件透镜组合件。光透射模块303可进一步包含焦平面阵列，所述焦平面阵列具有微光学件阵列和任选的陷波滤波器元件(未图示)，其定位于体形光学件308和光发射器电路307之间。在一些实施例中，光发射器电路307包含光源的芯片级阵列，例如砷化铟镓(ingas)衬底上的竖直腔表面发射激光器(vcsel)的阵列。光感测模块305也可包含微光学件阵列和陷波滤波器元件(未图示)，其定位于体形光学件308和光检测器电路309之间。在一些实施例中，光检测器电路309可包含光子检测器的芯片级阵列，例如cmos技术中制造的单光子雪崩二极管(spads)的阵列。也可以采用其它检测器技术，例如雪崩光电二极管、ccd图像传感器、cmos光电二极管图像传感器、腔增强型光电检测器、表面增强型光电检测器等。另外的细节(例如，关于微光学件)可查阅美国专利公开案2017/0289524和2017-0219426，其内容以全文引用的方式并入。

lidar控制器321和/或相机控制器327可包含一个或多个处理器和存储器(未图示)。举例来说，系统控制器可包含现场可编程门阵列(fpga)和/或一个或多个专用集成电路(asic)，其被调适成提供特定lidar和/或相机控制功能性。扫描lidar系统301可经由多引脚电连接器硬接线到旋转组合件311，或可例如经由采用光学、电感、rf连接等的一个或多个通信信道以无线方式连接到静止组合件313。彩色相机325可直接安装到静止组合件313的电路板。静止组合件313可以无线方式将电力发射到旋转组合件311以例如为扫描lidar系统301和例如asic、fpga、通信电路等任何其它相关联电路供电。此外，光学、电感和/或电容通信信道可将静止组合件313连接到旋转组合件311，借此允许经由来自底座电路板组合件的非接触数据传送控制扫描lidar系统301。

在一些实施例中，用于执行一个或多个lidar特定操作(例如，光子时间系列累积继之以峰值检测和测距数据计算及输出)的硬件和软件/固件可并入到扫描lidar系统301和/或lidar控制器321的电路中。举例来说，光检测器电路309还可包含集成到与spad阵列相同的衬底上的asic。在此情形下，扫描lidar系统301在这样的意义上是模块化的：软件/固件的再编程(重新配置)可允许扫描lidar系统301作为旋转lidar系统的一部分或作为独立的固态lidar系统操作。可以采用也将允许射束转向而不需要机械旋转致动器的电路(例如，mems、dmd、光学相控阵列等)。相应地，本文中所公开的系统的模块化设计产生可满足用户需求的高度可调适系统，其无总体硬件和机械架构的昂贵且费时的再设计。

iv.基于lidar的角位置的彩色图像获取

图4示出根据某些实施例出于说明旋转同步过程的目的已与一组彩色相机视场对准的全景lidar图像403。图4示出根据某些实施例系统控制器可如何基于由旋转编码器产生的角位置信号触发从pcls系统的一组彩色相机进行彩色图像405、407和409的一系列获取。更具体地，图4展示完全360度全景lidar图像403与针对pcls获取的彩色图像405、407和409重叠，所述pcls具有以类似于图2b中展示的方式围绕底座周向安置的三个彩色相机。在此实例中，每一彩色相机拥有近似120度视场。

图4的顶部水平轴402描绘扫描lidar系统的定向角，且底部水平轴404描绘流逝的时间，假定扫描lidar的角速度是产生10hz旋转速率的均匀角速度。此外，出于此实例的目的，第一相机(对应于彩色图像405)指向为其成像平面的法线指向0度方向使得其角视场在0度点上居中；第二相机(对应于彩色图像407)指向为其成像平面的法线指向120度方向使得其角视场在120度点上居中；且第三相机(对应于彩色图像409)指向为其成像平面的法线指向240度方向使得其角视场在240度点上居中。

为简单起见，假定扫描lidar系统可在任何给定角度处获取5个lidar像素的群组411，这5个lidar像素在lidar系统前方的场中的5个非重叠视场之间竖直地分布在z方向上。还假定扫描lidar系统可获取针对扫描lidar系统的每次旋转的5个lidar像素的24个群组。因此，lidar数据的每一帧包含围绕系统周围的360视场分布的24*5＝120个lidar像素。

对于旋转的特定部分，可看到，特定群组的lidar像素与不同相机的特定视场重叠。为了使lidar像素和彩色相机像素之间的时间同步最大化，有益的是在lidar系统正有效地扫描经过相机的视场时获取彩色相机图像。这是有利的，因为其使lidar和彩色相机获取之间的时间最小化，借此使场中某物在获取lidar像素和彩色像素之间的时间内已动态地改变的机率最小化。lidar和彩色相机获取之间可能发生的改变的实例包含移动车辆、行人、改变红绿灯颜色、移动或道路碎屑等。取移动车辆的情况作为实例，lidar和彩色相机数据的较差时间同步可能导致展示处于交叉路口的轿车和无轿车的相同视场的彩色图像的lidar图像。

从一开始，编码器接收器(例如，图3的编码器接收器319)可将编码器信号发射到控制器，例如指示扫描lidar系统正指向0度。基于此编码器信号，控制器可产生触发命令，所述触发命令发送到第一相机以触发彩色图像405的获取。同样，当编码器信号指示扫描lidar系统正指向120度时，可由系统触发第二彩色相机。且再次，当编码器信号指示扫描lidar系统正指向240度时，系统可接着触发第三彩色相机。为了辅助旋转同步过程的物理解释，本文使用实际角度0、120和240度。然而，如得到本公开的益处的所属领域的普通技术人员将了解，实际编码器不必以度数测量角位置，且可使用任何编码，而不脱离本公开的范围。

在一些实施例中，触发相机的角位置可基于相机获取的性质来设定，例如相机是否采用滚动快门或同时获取所有图像像素(例如，具有全局快门的渐进帧相机)。为了确保一组lidar像素的获取时间最接近于对应彩色相机的获取时间，控制器可考虑相机的累积时间(即，快门速度或曝光时间)且将触发位置相应地移位到相对于每一彩色相机视场的中心提前或延迟的角位置(即，在扫描lidar系统的给定旋转循环中稍早或稍晚)。相应地，在一些实施方案中，相机帧的触发点可基于相机曝光设定点和lidar自旋速率来使给定相机和lidar数据之间的时间误差最小化。目标可以是，使相机的曝光周期的中心与相机的fov中居中的lidar系统对准。此程序可使lidar和相机数据之间的最坏情况时间误差最小化。

使用第二彩色相机获取407作为实例，系统控制器可在120度之前或120度之后的lidar的角位置处触发彩色相机。因此，第二相机的触发位置可在115度发生，因为第二相机实际被触发的时间延迟可与lidar系统将指向120度的时间重合。

除了示出相机图像的触发，图4还示出不同lidar像素到彩色图像的不同部分的映射。可在识别哪一(些)彩色像素对应于每一lidar像素的校准过程期间确定映射表。因为lidar通常为较低分辨率，所以一个以上彩色像素可指派到全景lidar图像403中的每一lidar像素。当多个彩色像素指派到单个lidar像素时，可使用色彩的平均值。

被触发图像的所述组彩色像素和对应的lidar像素(例如，视场内拍摄)可存储在指派到彼此用于组合的缓冲器中。举例来说，针对每一彩色图像405、407和409可存在一组色彩缓冲器，其中lidar数据基于获取lidar数据的角位置而存储在对应的lidar缓冲器中。举例来说，对应于彩色图像407的lidar缓冲器可针对角位置60到180度保持lidar像素。缓冲器中的存储位置可对应于角位置，且存储位置可用于在查找表中标引对应的彩色像素。

在另一实施例中，给定lidar图像的lidar像素可用对应的角位置标记，其中查找表可指定当前旋转中拍摄的哪一彩色图像的哪一(些)像素对应于所述角位置。在此类实施例中，可针对不同lidar图像(旋转)使用两个缓冲器，在一个缓冲器上发生实时分析，而数据存储在下一缓冲器中。

因为许多现代相机可以比lidar传感器高的帧速率操作(例如，60hz相比于10hz)，所以一些实施例可使相机快速连续地拍摄两个曝光，例如每一曝光由lidar角位置触发。第一曝光图像的第一半和第二曝光图像的第二半可用于产生彩色图像。或者，两个曝光可由其自身的lidar角位置触发。因此，在一次绕转中，彩色相机可被多次触发，且可使用所述曝光的仅一部分例如以产生针对所述绕转的所述相机的总体彩色图像。相应地，如果相机可支持更高的帧速率，则这可扩展到针对每一相机的fov拍摄的任意数目的相机帧。此操作可使时间误差(和空间误差，通过代理)减小例如两倍或两倍以上，这取决于所拍摄曝光的数目。

v.lidar图像-彩色图像像素对应性

如上文所解释，一个或多个彩色像素可对应于lidar像素。可经由校准程序确定查找表以识别此类映射。

a.理想的像素对应性

图5在逐像素层级示出lidar像素和彩色像素之间的对应性。有利的是，因为在一些实施例中可基于lidar系统的角位置(相比于使用系统时钟等)触发相机获取，所以总体lidar图像内的每一色彩获取的相对位置是固定的，借此允许在工厂处经由校准程序确定lidar和彩色像素之间的单个映射。此映射可存储在pcls的系统存储器中且在随后的时间用作查找表，使得系统知晓映射到对应lidar像素的每一彩色像素。

lidar图像510表示为矩形且对应于lidar系统的一次绕转(旋转)期间获取的lidar数据。lidar图像510含有lidar像素数据点(在本文中被称作lidar像素)，例如lidar像素540和550。这些lidar像素可对应于先前图4中参考的非重叠视场。lidar图像510具有lidar图像宽度520和lidar图像高度530。举例来说，lidar图像510可具有2048像素的lidar图像宽度和64像素的lidar图像高度。

彩色图像560和562也表示为矩形。在每一lidar系统绕转期间，pcls从每一彩色相机捕获一个图像，每一彩色相机的获取由系统控制器基于lidar系统的角位置触发。每一彩色图像560和562具有彩色像素，例如彩色像素575和580。每一彩色图像560和562具有彩色图像宽度565和彩色图像高度570。举例来说，每一彩色图像560和562可具有宽度640像素乘高度480像素。在此实例中，lidar像素545对应于来自第一相机图像的彩色像素575，且lidar像素550对应于来自第二相机图像的彩色像素580。

如将在下文进一步详细论述，lidar和彩色像素之间的对应性可在工厂处在系统安装在场中的车辆上之前校准，例如安装之后的再校准是不必要的。lidar像素和彩色像素表示如上文参考图3-4所论述的特定角视场(fov)的测量值。lidar像素的fov的大小通常不同于彩色像素的fov的大小。在一些实施例中，由于lidar系统和相机之间的视差差异逼近，所以lidar像素和彩色像素之间的对应性取决于被检视对象的距离(即，范围)。

在特定角位置处获取lidar像素540之后，可使用所述特定角位置或角位置的某一代理，例如已知对应于所述特定角位置的存储器中的位置来访问查找表。举例来说，lidar帧可作为二维阵列存储，所述二维阵列的列对应于绕转期间拍摄的每一角位置。查找表可通过角位置(或代理)来标引，且提供指定相机图像(例如彩色图像560)的彩色像素位置。相应地，彩色像素查找表可通过每次绕转约360度的角位置来标引。彩色像素查找表的每一条目可识别特定角位置和像素阵列(例如，一维或二维像素阵列)中的特定传感器的相应彩色图像的一个或多个彩色像素。

给定绕转的相机图像可与对应相机的识别符一起存储。不同绕转的图像可被识别且如此存储。因此，查找表可指定对应绕转的第一相机图像的位置(123,242)处的彩色像素575。

b.包含视差的像素对应性

图6a示出根据一个或多个实施例由视差所导致的lidar和彩色图像之间的差异。更确切地说，图6a展示lidar系统610和彩色相机620两者使近点对象694和远点对象692成像。为了进一步说明视差效应，图6b展示原本将从lidar系统610获取的图像的实例，且图6c展示原本将从彩色相机620获取的图像的实例。在图6b和6c中，近点对象对应于树的顶部，且远点对象对应于房屋的顶部。

在图6b中展示的lidar图像中，可见，近点对象694和远点对象692相对于从lidar系统610的中心延伸穿过相应对象的线共线。相应地，场中的这些点对应于相同lidar像素列。然而，在图6a和图6c中可以看出，近点对象694和远点对象692不相对于彩色相机620共线。实际上，其对应像素可在彩色相机图像的不同像素列上发现。因此，有可能彩色图像和lidar图像之间的像素对应性对于位于一个深度处的对象可以是准确的，且对于其它深度处的对象可以是不准确的。

为了补偿此视差效应，pcls可构造为通过使彩色相机定位成尽可能接近lidar系统来使视差效应最小化。此外，在工厂校准程序期间，可针对已知深度处的对象确定多个像素映射，且这些多个映射可用于确定提供任何给定深度的像素对应性的深度相依查找表。举例来说，可确定用于不同深度的单独查找表。因此，给定lidar像素的深度测量值可用于识别应使用哪一查找表，且接着所识别的查找表可用于识别哪一相机图像的哪一(些)彩色像素将用于创建色彩化lidar像素。

vi.采用查找表的pcls系统

在给定角位置处获取lidar像素之后，关于所述给定角位置和lidar像素的传感器阵列中的位置(例如，实际角值、角编码位置，或通过角/编码位置排序的缓冲器中的存储器位置)的信息可用于访问查找表，所述查找表提供指派到所述给定角位置和传感器位置的对应彩色像素的坐标。此类表可以如本文所描述的各种方式配置，例如不同的表用于不同相机、一个表用于所有相机，以及不同的表用于不同深度(其可由深度的函数限定)。

a.系统架构

图7展示根据某些实施例的pcls710的框图以进一步说明使用查找表用于深度相依像素对应性。pcls710可与用户接口硬件715交互。用户接口硬件715可采取许多形式，包含：a)具有监视器、键盘、鼠标、cpu和存储器的计算机系统；b)汽车中的触摸屏；以及c)具有触摸屏的手持型装置。用户接口可允许用户经由一个或多个用户命令控制pcls，包含：a)激活或解除激活pcls；b)指定相机亮度、对比度、饱和度、色调和其它操作参数；c)设置限定lidar像素和彩色像素之间的对应性的彩色像素查找表；以及d)选择用于显示结果的方法。用户接口可显示pcls结果，其可包含：a)随时间检测到的对象的三维彩色图；以及b)特定对象的特定视图在特定时间的距离值。

pcls710包含系统控制器720(例如，lidar控制器321和/或相机控制器327)、扫描lidar系统730和彩色相机阵列740。系统控制器720可与用户接口硬件715交互，且可控制lidar系统730和彩色相机阵列740两者。系统控制器720可包含通信模块，其被配置成例如通过在单个包中发送lidar像素和所述至少一个对应的彩色像素而将彩色lidar像素数据发送到用户接口硬件。系统控制器720可以多种方式实现，包含以下中的一个或多个：(a)使用例如fpga等可编程逻辑装置；(b)作为asic或asic的一部分；(c)使用具有存储器的处理器；以及(d)上述的某一组合。

系统控制器720可通过发送包含开始和停止的命令来控制扫描lidar系统730。系统控制器720可读取lidar系统状态以确定何时lidar系统730指向不同相机的视场，且因此可包含如本文所描述的旋转编码器系统的一个或多个组件。系统控制器720可通过发送命令来控制彩色相机740，所述命令包含a)“捕获帧”；以及b)调整相机参数。系统控制器720可从彩色相机740读取彩色图像像素数据。在一个实施例中，系统控制器720具有用于与lidar系统730和彩色相机740交互的有线接口。

在一些实施例中，系统控制器720可包含存储在非瞬时性计算机可读介质(未图示)中的彩色像素查找表724。彩色像素查找表724限定lidar像素和彩色像素之间的对应性(映射)。可能的彩色像素查找表格式包含：

(1)具有用于全景lidar图像中的每一lidar像素的条目的最接近彩色像素坐标的列表。所述彩色像素坐标可识别特定彩色相机的彩色图像和所述彩色相机的图像内的彩色像素位置，如可针对不同相机利用单个表或单独的表来进行。此格式可忽略到被检视对象的距离。

(2)查找表可包含距离的不同集合的子表(例如，近、中间和远，或例如数值范围等更多分类)。一旦基于测得的距离在对应于特定子表的范围内而识别所述子表，就可使用lidar像素坐标(例如，角位置和阵列中的传感器位置)来访问子表以获得对应彩色图像的彩色像素坐标。以此方式，查找表可以是多维的，具有像素id(例如，lidar传感器的阵列中的识别符)、编码器值(例如，用于角位置)和深度值作为表中的字段。

(3)特性值条目的列表，其中每一特性值条目(对应于lidar像素坐标)具有特性字段和对应的值字段。每一特性字段指定对应于被检视对象距离的不同范围(例如，深度值的范围，例如0到1m；1m到5m；5m到20m；以及20m到100m)的lidar像素的彩色像素坐标。每一值字段限定用于基于特性字段计算对应的彩色像素位置的公式。所述公式可充当曲线拟合函数，其使得能够选择不同彩色像素的混合物，例如不同混合权重可指派到不同深度的不同彩色像素。此类权重可基于针对给定lidar像素测量的测得的距离来指派。举例来说，测得的距离可以是在两个深度范围之间的边界附近(例如，5m是上述实例中的两个深度范围的边界)，且混合权重对于针对所述两个深度范围指定的彩色像素的两个集合可为约0.5。每一条目的公式可使用被检视对象距离的范围来补偿视差误差。

相应地，彩色像素查找表可包含用于lidar像素和彩色像素之间的映射的深度值。系统控制器可使用对应lidar像素的测得的深度值来访问彩色像素查找表，且接着使用针对对应lidar像素的测得的深度值存储的一个或多个彩色像素使所述彩色像素与lidar像素相关联。并且，彩色像素查找表可包含多个子表，每一子表与对应的深度值相关联，且其中控制器被配置成选择所述多个子表中的一个用于映射具有特定深度值的特定lidar像素。

一旦识别彩色像素，系统控制器720就可将色彩值与lidar像素的值(例如，距离和强度)组合。系统控制器720的执行此组合的部分可在不旋转的基本电路(例如，静止组合件313)中实施。系统控制器720的不同部分可实施于不同电路板上。校准

校准可识别哪些触发位置使lidar视场与相机视场对准(例如，到其中点)，且可针对其中安装系统的每一车辆进行。彩色像素查找表724还可在pcls制造期间构造。为了确定哪一彩色像素(或彩色像素的群组)对应于哪一lidar像素，可将pcls置于含有被不同已知距离处的静态测试图案覆盖的测试腔室中。接着，利用lidar系统以及利用彩色相机中的每一个拍摄图像。对于给定深度测量值，两个图像中的各种已知对象的图像可用于使一个或多个彩色图像像素与lidar像素相关。

或者，pcls可置于圆柱形测试腔室的中心，且lidar和彩色相机被触发以捕获圆柱体的内表面上的图案的图像。举例来说，圆柱体可被涂覆具有交替的亮和暗正方形的棋盘图案，所述正方形具有不同反射性使得可通过lidar和彩色相机两者检测到所述特征。或者，圆柱体的表面可被涂覆or码或可使用已知对象检测技术在图像内检测到的其它对象。为了确定距pcls各种距离处的对象的lidar-彩色像素对应性，可使用若干不同校准圆柱体，每一圆柱体具有不同半径。一旦完全确定彩色像素查找表，所述信息就可作为彩色像素查找表724存储在pcls的非瞬时性计算机存储器中。彩色像素查找表724可以各种方案存储，例如划分成通过各种值标引的子表，所述值例如深度、相机识别符、角位置和传感器阵列中的位置。

在大多数情况下，lidar图像包含比任何给定彩色图像少的像素，且因此情况常常是一个以上彩色像素可对应于一lidar像素。在例如这种情况下，彩色像素查找表可存储值可组合(例如，求平均)且接着与单个lidar像素相关联的一组彩色像素的识别数据。可使用其它组合方法，例如最大值、最小值、模式等。

b.运行时像素映射方法

图8示出展示用于用色彩扩增360度全景视图lidar系统的方法800的流程图。根据某些实施例，方法800可用于使用所存储的彩色像素查找表确定每一所获取lidar像素的色彩信息。pcls可已经被校准，且因此存储用于将lidar像素映射到彩色像素的查找表。

在步骤810中，pcls初始化lidar系统和彩色相机。pcls可设定或读取例如转速、图像分辨率、哪一(些)表将加载到存储器中等lidar系统的操作参数。pcls可接着开始自旋和捕获lidar数据。pcls可初始化彩色相机中的每一个的操作参数。

在步骤820中，pcls确定在给定时刻lidar系统的指向方向。pcls可作为测距测量的一部分通过透射光和检测反射光来使lidar像素平方化。如上文所描述，旋转编码器可将角位置信号提供到系统控制器，系统控制器可基于角位置信号确定lidar系统的角位置。pcls可以等效于被编码位置的数目的速率或更快地或更慢地执行此测量。

在步骤830中，pcls检查所确定角位置是否指向下一相机(即，在旋转方向中在被触发以获得彩色图像的上一相机之后的下一个)的视场内。如果所确定方向指向下一相机的视场内，则可例如基于从系统控制器发送到下一相机以触发拍摄图像的命令信号记录彩色图像。处于下一相机的视场内的状态可由特定角位置限定。如果所确定角位置不指向下一相机的视场内，则pcls可沿回路返回到步骤820。

在步骤840中，pcls的系统控制器命令适当的相机捕获图像。举例来说，系统控制器可将获取触发信号直接提供到相机。在接收触发信号后，相机快门被触发且获取开始。相应地，系统控制器可在控制器确定lidar的角位置在相应相机视场内时触发所述多个彩色图像中的每一个的图像捕获。

在步骤850中，pcls使用彩色像素查找表和若干程序中的一个确定lidar像素的色彩。程序的选择可取决于多个因素，包含：a)lidar像素的fov大小相比于彩色像素的fov大小；b)所要准确性；c)可用的计算资源；以及d)系统成本。当补偿相机和lidar系统之间的视差差异时，pcls可使用lidar像素位置和被检视对象距离两者来选择彩色像素位置。系统控制器可作出此确定。

用于确定lidar像素色彩的替代程序包含：(1)选择具有与lidar像素fov的最高fov重叠的一个彩色像素的色彩。在此情况下，彩色像素查找表指示使用哪一彩色像素；(2)对彩色相机图像进行滤波或下取样(down-sample)，因此其分辨率与lidar图像的相关部分的分辨率匹配或近似匹配。选择具有与lidar像素fov的最高fov重叠的一个像素(被滤波或下取样的彩色图像内)的色彩；以及(3)对具有与lidar像素fov的重叠的彩色像素的色彩分量求平均或应用双线性滤波器。

在其中lidar像素fov大于彩色像素fov的一个实施例中，pcls可用对应于与lidar像素fov重叠的彩色像素的多个色彩值扩增lidar像素数据。此额外色彩细节水平可用于对象检测和辨识。

在步骤860中，pcls输出用色彩信息扩增的lidar像素数据。在一个实施例中，pcls紧接在pcls已确定lidar像素色彩之后输出色彩扩增的lidar像素数据。其它实施例可输出成批的数据。pcls可将色彩扩增的lidar像素数据输出到本地装置，例如图7的用户接口硬件715。

在步骤870中，pcls决定是否停止。举例来说，用户接口可发布停止命令，或误差可能要求pcls停止。如果pcls需要停止，则装置关断且方法800可退出。如果pcls不需要停止，则方法800可继续回到步骤820以执行lidar系统的角位置的更多测量。

在步骤850中色彩化的lidar像素可对应于尚未映射到彩色图像的lidar像素，以及在步骤840中捕获彩色图像之后获取但映射到所述彩色图像的lidar像素。对应于尚未拍摄的彩色图像的lidar像素可存储在存储器中，且接着一旦已触发对应相机的图像就进行色彩化。对应的彩色图像是否存在的确定可以各种方式执行，例如识别对应的存储器位置是否包含任何数据，或通过指示存储新lidar像素直至拍摄下一彩色图像的旗标。此类程序的另外细节在以下流程图中论述。

图9示出展示用于用色彩扩增360度全景视图lidar系统的方法900的流程图。根据某些实施例，方法900可用于使用所存储的彩色像素查找表确定每一所获取lidar像素的色彩信息。可沿着相机的视场内的方向获取lidar像素，但相机尚未获取对应于lidar系统的当前完全旋转的更新后彩色图像。在此情况下，可使用lidar系统的先前旋转期间获取的彩色图像使lidar像素色彩化，但这存在旧图像将明显过时的风险，即，lidar周围的场中的许多对象可能自从上一次获取已经移动。相应地，方法900可提供将由相机阵列中的相机中的每一个触发的新彩色图像获取，因为系统控制器检测到lidar系统即将或已经输入相机中的一个的视场。

在步骤910中，从旋转编码器确定(例如，读取)lidar系统的角位置ω。举例来说，如上文参考图3所描述，编码器接收器319可将角位置信号334发射到lidar控制器321，从而指示扫描lidar系统正指向特定角位置，例如100度。

在步骤920中，lidar系统在ω方向中(在此实例中，100度)获取lidar像素。在一些实施例中，lidar像素可包含表示lidar周围的场中的点(例如，对象)的反射性和距离的数据。因此，lidar像素可表示lidar周围的一个视场的深度和反射强度。虽然此实例如上所述针对每一角位置使用仅单个lidar像素，但lidar系统可同时或接近连续地获取若干lidar像素(例如，沿着如图4所示的z轴分布)。

在步骤930中，所获取lidar像素存储在存储器中，例如以稍后在色彩化过程期间访问。所获取lidar像素可存储在存储器935中，例如以稍后在捕获对应的彩色图像时检索。

在步骤940中，系统控制器将所确定角位置ω与例如ω1、ω2、...、ωn等一组触发角位置进行比较，其中下标n等于阵列中相机的数目。触发角位置(例如，ω1、ω2、...、ωn)的指定值可取决于若干变量，包含lidar的当前绕转速率、相机的快门速度(累积时间)、每一相机的角视场的大小。在不同情况下，触发(指定)值可刚好在相机的角视场的中点之前(例如，为了考虑处理延迟)或中点处发生，乃至在给定相机的角视场外部发生以考虑给定相机的非零累积时间。

使用图4作为实例，如果负责彩色图像407的第二相机的中心处于120度，则所述相机的触发点可预定为100度)。在触发为100度的情况下，当到相机被激活同时lidar系统继续旋转的时候lidar系统处于120度时，可获取实际彩色图像。

为了确定各种相机的触发点，可针对若干不同lidar旋转速率和快门速度执行校准过程。举例来说，触发点可挑选为确保到lidar系统指向任何给定相机的角视场的中间位置的时候任何给定相机的彩色图像已经完成。这可确保最接近于彩色图像的中心的lidar像素将在时间上与所述图像的彩色像素最紧密地同步。同样，旋转中较早的例如在70和120度之间的lidar像素将在彩色相机获取稍前已经被获取，且旋转中稍后的例如在120和170度之间的lidar像素将在彩色相机获取稍后已经被获取。

在步骤950中，如果系统控制器确定角位置信号指示ω等于ω1、ω2、...或ωn，则系统控制器可接着产生发送到适当的相机的触发命令。在各种实施例中，触发命令可经由相机控制器发送，或直接从系统控制器发送到相机，以触发彩色相机的阵列的适当的彩色相机的获取。基于预定位置值的相机的此循序触发可提供针对lidar系统的给定绕转的彩色图像的循序获取。

在步骤960中，新彩色相机获取存储在存储器中，例如位于相机中的一个上的快闪存储器内，或系统控制器和相机两者可访问的系统存储器内。在一些实施例中，lidar系统的不同绕转的彩色图像可存储在交替存储器中(例如，2个、3个等存储体之间)，这可取决于使lidar像素色彩化的处理时间。此外，每一相机可将彩色图像存储在所述相机的指定存储体中。在其它实施例中，下一相机可将其彩色图像附加到单个存储体中的先前彩色图像，其中可存储彩色图像的开始和结束，例如通过彩色图像的大小已知。

在步骤970中，系统控制器可接着通过将至少一个(些)色彩值指派到lidar像素来从所存储lidar像素产生色彩化lidar像素。色彩值将与来自作为上述步骤的结果触发的新彩色相机获取的至少一个像素相关联。举例来说，色彩值可能从接近lidar像素的一组彩色像素获得。

如图4、图5和图7中所描述，色彩和lidar像素之间的映射可先前在工厂处确定且呈彩色像素查找表的形式存储。相应地，系统控制器可使用彩色像素查找表从待用于使lidar像素色彩化的适当的彩色像素选择一个或多个色彩值。如果挑选一个以上像素，则色彩值可组合(例如，求平均)以产生单个平均色彩值。如本文所使用，术语“色彩值”包含一组数字，例如rgb值或任何其它色彩空间中使用的任何其它值。

在步骤980中，色彩化lidar值从系统控制器输出例如到例如显示器等用户接口，或输出到另一模块用于例如对象检测等进一步处理。

返回步骤940，如果系统控制器确定角位置信号指示ω不等于ω1、ω2、...或ωn，则方法900可继续到步骤990。

在步骤990中，可确定对应的彩色图像是否已拍摄。lidar像素可对应于当在相机的视场的第一半中的角位置处获取lidar像素时相机的未拍摄彩色图像。举例来说，如果角位置为90度且所述相机的触发角度为120度，则对应的彩色图像尚未拍摄。在此情况下，lidar像素存储在存储器935中以供稍后在步骤970处使用。因此，当步骤970时，在触发位置处获取彩色图像之后，存储在存储器935中的所述彩色图像的像素可在步骤970中检索和色彩化。相应地，一些实施例可将一组lidar像素存储在存储器中直至获取所述多个彩色图像的对应彩色图像，且接着响应于获取对应的彩色图像将所述多个彩色像素中的一个或多个指派到所述多个lidar像素的群组中的每一个。

如果已经拍摄彩色图像，则方法900可继续到步骤970。新获取的lidar像素可例如使用查找表用所获取的最新彩色图像色彩化。

vii.实例系统的额外细节

一般来说，pcls可采用任何类型的扫描lidar，而不脱离本公开的范围。举例来说，lidar可包含数对(例如，32对、64对、128对等)定位于上部壳体内的激光发射器和光电二极管检测器，所述上部壳体旋转联接到底座单元，所述底座单元可包含围绕如上文参考图3所描述的底座周向定位的彩色相机的阵列。在一些实施例中，每一发射器和检测器可安装到其自身的单独的板，其中发射器板和检测器板安装于两个单独的组合件中。单独组合件可相对于水平面以不同角度定位在上部壳体内以提供不同的竖直视场。在一些实施例中，底座可包含电马达，其连接到允许马达上部壳体的旋转联接，借此使lidar系统能够捕获完全360度水平视场。

图10a-图10c展示根据一个或多个实施例的lidar系统1001的横截面图。更具体地，图10a-图10c中展示的个别组件对应于上文已经参考图2-图3描述的组件，其中图10a-图10c中展示的视图提供根据一些实施例的各种电路元件的几何放置的实例。图10a-图10b展示在上部和下部电路板组合件之间采用完全光学通信的实施例，且图10c展示采用电感通信的实施例。图10d-图10e提供根据一些实施例的个别电路板的表面的视图，以进一步说明若干个别电路元件的同心周向布置。

如图10a所示，上部和下部电路板组合件1007和1017分别可包含两个或两个以上堆叠平面电路板。或者，如图10b所示，上部和下部组合件可以分别是单个电路板1059和1051。此高度集成的堆叠板设计提供一种系统，其与针对lidar系统的所有不同功能元件采用许多独立模块的系统相比具有极大简化的组装过程。

在图10a中可以看出，lidar的转台组合件包含上部电路板组合件1007和光测距系统1005。通过位于中空轴杆1003(具有纵向轴线1004，其也是平面电路板中的每一个旋转所围绕的旋转轴)上的轴承系统1013实现所述旋转。

a.光学链路

1.集成中心光学下行链路

在一些实施例中，中空轴杆1003可不仅用作支撑板组合件中的每一个的中心结构部件，而且充当用于下行链路光学通信信道(“下行链路信道”)的壳体，用于将例如测距和/或操作性数据等数据从转台组合件提供到定位于下部电路板组合件1017(也称为底座系统)中的控制和处理电路。光学下行链路信道可包含光学下行链路发射器1019和光学下行链路接收器1021。光学下行链路发射器1019可直接附接(例如，焊接)到上部电路板组合件1007的电路板的表面，且可定位成使得其可穿过中空轴杆1003中的中心孔或开口透射光。同样，光学下行链路接收器1021可直接附接(例如，焊接)到下部电路板组合件1017的电路板的表面。光学下行链路接收器1021可定位在轴杆的下端上且与光学下行链路发射器1019对准，使得其能够检测从光学下行链路发射器1019发射的光。

2.集成光学上行链路

光学上行链路信道形成于光学上行链路发射器1023的周向布置和光学上行链路接收器1025的互补周向布置之间。有利的是，中空轴杆1003的壁提供上行链路和下行链路信道之间的光学隔离且因此使串扰最小化。周向布置的个别发射器和接收器连线在一起使得其一起用作单个复合接收器和单个复合发射器。举例来说，随着系统旋转，沿着由光学上行链路接收器的完全布置检测到的上行链路信号的总体光学强度随着个别发射器/检测器彼此通过仅稍微变化。此外，个别发射器的数目可与个别接收器的数目相同或不同。

用于旋转致动器的光学上行链路的光学发射器和接收器可以是任何类型的光学发射器或检测器。举例来说，irled、激光二极管、vcsel等可用于发射器。同样，任何类型的光检测技术可用于接收器，例如光电二极管等。此外，用于光学上行链路的光学发射器和接收器可以是与用于下行链路的光学发射器和接收器相同或不同的类型(例如，功率和波长)。

在图10d中展示光学上行链路发射器1023的周向布置的实例，图10d示出例如图10a的电路板1041或图10b的电路板1051等电路板的俯视图。在此实例中，存在围绕中心孔1069周向布置的6个光学上行链路发射器1023。6个发射器围绕圆1065均匀间隔，圆的中心位于轴杆(未图示)的中心处且因此与旋转轴重叠。

旋转板的相对表面包含光学上行链路接收器1025的对应周向布置，如图10e所示，图10e示出根据一些实施例的例如图10a的电路板1039或图10b的电路板1051等旋转电路板的仰视图。在此实例中，存在围绕中心孔1071周向布置的7个光学上行链路接收器。7个接收器围绕圆1067均匀间隔，圆的中心位于轴杆(未图示)的中心处且因此与旋转轴重叠。相应地，随着板旋转，光学上行链路接收器1025的布置围绕旋转轴旋转。因为圆1067的半径与圆1065的半径相同，所以发射器与接收器对准且旋转仅导致平均信号随时间略微升高和降低，其中频率为转台系统的旋转频率的倍数。

b.电感通信链路

图10c展示在上部和下部电路板组合件之间采用电感通信系统的实施例。在此实例中，数据上行链路和下行链路由分别安装在下部电路板组合件和上部电路板组合件上的数对线圈1061a-e和1063a-e提供，如所示。线圈可包含数据线和时钟线两者。每一线圈可嵌入于壳体的单独沟道(例如，环形沟道)内，所述壳体例如本身安装到其相应电路板的表面的上部线圈壳体1061和下部线圈壳体1063。在一些实施例中，可存在用于多个电感数据线的若干线圈，例如下行链路信道1发射器线圈1061b和下行链路信道1接收器线圈1063b、下行链路信道2发射器线圈1061c和下行链路信道2接收器线圈1063c。在一些实施例中，可经由例如下行链路时钟发射线圈1061a和下行链路时钟接收器线圈1063a等单独线圈对发射下行链路时钟信号。同样，数据上行链路信道可由一对或多对线圈形成，例如由上行链路发射器线圈1063d和上行链路接收器可1061d形成。类似于下行链路，数据上行链路时钟信号也可具有由例如上行链路时钟发射器线圈1063e和上行链路时钟接收器线圈1061e等一对线圈形成的专用信道。

c.集成电马达

根据某些实施例，用于旋转致动器的电马达具有“煎饼形”或“轴向”设计，其具有与相对定子板上的平面定子组合件对置的转子板上的平面转子组合件。电马达的定子和转子组合件还集成到旋转致动器1006的板上，即，电马达的元件是印刷电路板的表面上的许多组件之一，且因此lidar系统不需要单独的马达模块。举例来说，马达定子组合件1027可包含定子元件的环形布置，例如竖直定向的螺线管(其纵向轴线垂直于板的表面)，其例如使用粘合剂附连到下部电路板组合件1017的板或附连到软磁芯，所述软磁芯接着附连到下部电路板组合件1017。图10d的俯视图中展示螺线管绕组的实例。每一螺线管线圈可缠绕例如铁氧体等磁性材料的芯部。线圈定向成使得退出螺线管的磁场大体上在大体上垂直于电路板的平面的方向上定向。

定位于马达定子组合件1027上方且附接到上部电路板组合件1007的板的是马达转子组合件1029。在一些实施例中，马达转子组合件可以是包含永磁体的环形布置的无源元件，其极布置成交替图案以循序地排斥和吸引定子组合件的各种螺线管线圈的开口，如图10e中展示的板视图中更详细地展示。如图10d和图10e中可以看出，马达定子组合件1027和马达转子组合件1029可具有总体圆环形状，其中定子和转子环形两者具有相同的半径和中心位置(例如，两个环可在轴杆上居中)。

d.集成无线电力发射系统

为了将电力提供到连接到旋转上部电路板组合件1007的电路元件，旋转致动器1006包含无线电力系统，在本文中也被称为旋转变压器，其包括包含无线电力发射器1035的无线电力发射子系统和包含无线电力接收器1037的无线电力接收子系统。无线电力发射器1035可以是呈圆形环路天线的形式的发射器线圈，即单匝或多匝线圈，其附接到下部电路板组合件1017的电路板的表面，例如如图10d所示。同样，无线电力接收器1037可以是呈圆形环路天线的形式的接收器线圈，即单匝或多匝线圈，其附接到上部电路板组合件1017的电路板的表面，例如如图10e所示。无线电力发射器1035和无线电力接收器1037两者的中心定位于中空轴杆1003的中心处，且因此与光学编码器环、电马达组合件和光学上行链路接收器/发射器同心。

在一些实施例中，无线电力发射器1035和无线电力接收器1037可放置在其相应板的环形区内，其中环形区的壁和底部由例如铁氧体等磁性材料形成。举例来说，图10e展示安置于由铁氧体壁1047和1049以及被遮挡的铁氧体底部形成的环形区内的无线电力接收器1037。铁氧体材料的此布置有助于使发射器和接收器之间的磁场形成沟道来改进电力传递效率和减小来自系统的电磁辐射泄漏。

e.集成光学编码器

旋转致动器1006进一步包含集成光学编码器组合件，其允许读出上部电路板组合件1007相对于下部电路板组合件1017的角位置。光学编码器组合件包含图案化环状光学编码器1031和旋转编码器检测器1033，其用于通过(例如)检测随着系统旋转通过旋转编码器检测器1031的图案的数目并对所述数目进行计数来读出组合件的角位置。在某些实施例中，旋转编码器检测器1033可包含照明装置，例如led和检测器，例如用于对环状光学编码器的图案化表面进行照明和检测的光电二极管或成像检测器。在一些实施例中，环状光学编码器可包含开始代码，其在环形上的唯一位置处发生或提供绝对编码图案，借此实现绝对角定向测量。在一些实施例中，编码器系统本质上为磁性的而非光学的，且依赖于类似地定位的磁性编码器条带和磁性编码器读取器。

在一些实施例中，环状光学编码器1031可附接到下部电路板组合件1017的电路板的表面，且旋转编码器检测器1033可附接到上部电路板组合件1007的表面，如此处展示，或反之亦然。无关于其放置在哪一板上，环状光学编码器1031可被布置成使其中心在中空轴杆1003的中心处，且因此与电马达组合件和光学上行链路接收器/发射器两者同心，例如如图10d所示。在一些实施例中，旋转编码器检测器1033定位于旋转电路板上，在环状光学编码器1031上方任何地方，例如如图10e所示。有利的是，编码器组合件定位于无线电力发射系统和电马达组合件之间以使编码器检测器和光学上行链路系统的发射器之间的光学隔离最大化。如图10a的实例中所展示，在一些实施例中，环状光学编码器1031可在旋转致动器1006的定子侧上，而旋转编码器检测器1033在转子侧上。虽然这是旋转致动器的非标准配置，但此配置对于lidar应用是有利的。举例来说，通过以此方式移除旋转编码器检测器1033和光测距系统1005之间的旋转连接，可实施两个系统之间的低等待时间连接的实施方案。在lidar应用中，低等待时间连接对于快速取得旋转编码器检测器1033的角位置测量值且使当前测距信息与转子的当前角位置相关以增加空间准确性可能是重要的。

viii.使用时戳的对准

除使用lidar系统的角位置触发彩色图像之外，一些实施例还可使用共同内部时钟在每一lidar像素和每一相机像素串流到处理器中时对其加时戳，使得数据基于共同时基以实现紧密时间相关。当接收lidar像素用于色彩化时，其捕获时间可用于选择在时间上接近的，例如在时间上最接近的或在指定时间阈值内的彩色像素。举例来说，所述选择可使用查找表来识别彩色像素的坐标，且这些坐标可以与lidar像素的时戳一起使用以利用相对于lidar像素的时戳的所要时间选择这些坐标处的特定像素值。还可执行不同时间处的彩色像素的混合。

图11展示根据某些实施例使用lidar和彩色像素的时戳的pcls1110的框图。pcls1110可以与图7的用户接口硬件715类似的方式与用户接口硬件1115交互。pcls1110包含系统控制器1120、扫描lidar系统1130和彩色相机阵列1140。pcls1110可使用查找表1124(例如，图7的724)。

时钟1121可将共同内部时钟信号提供到lidar定时模块1122和色彩定时模块1123。lidar定时模块1122可使用时钟信号向每一lidar像素指派时戳。如果使用lidar像素传感器的阵列，则所述阵列中的lidar像素中的每一个可具有相同时间。在各种实施例中，所述时间可以是阵列中的第一lidar像素、最后一个lidar像素或任何其它lidar像素由lidar定时模块1122接收的时间。lidar像素连同其定时信息可存储在lidar定时缓冲器1125中。

色彩定时模块1123向彩色像素指派时戳。当使用全局快门时，给定彩色图像的像素可全部具有相同时戳。当使用滚动快门时，像素图像的彩色像素可具有不同时戳，例如每一时戳对应于捕获彩色像素的特定时间。因此，实施例可随着滚动快门相机中的每一像素流入而对其加时戳。此外，色彩定时模块1123可基于对彩色相机中的每一个的曝光时间和/或数据读出等待时间的了解来调整时戳。色彩定时存储器1126可存储来自相机的彩色像素，且可存储来自给定相机的多个像素图像。举例来说，彩色相机1140可在比lidar系统1130高的帧速率下操作。此较高速率可允许系统选择在时间上相对靠近的彩色像素，作为需要基于lidar系统1130的角位置触发彩色图像的补充或替代。因此，对于lidar系统的给定绕转，可针对每一彩色相机捕获多个彩色图像，例如针对lidar系统的绕转每相机2个、3个或更多个彩色图像。

当lidar像素从lidar定时缓冲器1125(例如，fifo缓冲器)发送到色彩化模块1127时，色彩化模块1127可使用查找表1124识别对应的彩色像素坐标。接着，色彩化模块1127可从色彩定时存储器1126检索对应于这些坐标且具有最接近lidar像素的时戳的时戳的彩色像素。色彩定时存储器1126可存储数据，所述数据通过各种字段标引以促进快速检索，例如时间、彩色像素坐标和相机id。

一旦检索所要彩色像素，则色彩化模块1127就可从例如如本文所描述的彩色像素确定将使用的色彩。色彩化lidar像素可接着从pcls1110输出例如到用户接口硬件。

ix.计算机系统

本文提到的计算机系统或电路中的任一个可以利用任何合适数目个子系统。所述子系统可经由系统总线连接。举例来说，子系统可包含输入/输出(i/o)装置、系统存储器、存储装置和网络适配器(例如以太网、wi-fi等)，其可用于连接计算机系统其它装置(例如，引擎控制直至)。系统存储器和/或存储装置可以体现计算机可读介质。

计算机系统可包含多个相同组件或子系统，其例如通过外部接口、通过内部接口，或经由可在不同组件之间连接和移除的可移除存储装置而连接在一起。在一些实施例中，计算机系统、子系统或设备可以在网络上通信。

实施例的方面可以控制逻辑的形式使用硬件电路(例如专用集成电路或现场可编程门阵列)和/或使用计算机软件利用大体可编程处理器以模块化或集成的方式实施。如本文所使用，处理器可包含单核处理器、在同一集成芯片上的多核处理器，或者在单个电路板上或联网的多个处理单元，以及专用硬件。基于本文中提供的公开内容和教示，所属领域的普通技术人员将了解并意识到使用硬件及硬件和软件的组合实施本公开的实施例的其它方式和/或方法。

在本申请中描述的软件组件或功能中的任一个可以被实施为将由处理器使用例如常规或面向对象的技术使用任何合适的计算机语言执行的软件代码，所述计算机语言例如java、c、c++、c#、objective-c、swift或例如perl或python等脚本语言。软件代码可作为一系列指令或命令存储在计算机可读介质上以供存储和/或发射。适合的非瞬时性计算机可读介质可包含随机存取存储器(ram)、只读存储器(rom)、例如硬盘驱动器或软盘等磁性介质，或例如光盘(cd)或dvd(数字通用光盘)等光学介质、快闪存储器等。计算机可读介质可以是此类存储或发射装置的任何组合。

此类程序也可以使用载波信号来编码和发射，所述载波信号适合于经由符合多种协议的有线、光学和/或无线网络来发射，包含因特网。因此，计算机可读介质可以使用以这些程序编码的数据信号产生。以程序代码编码的计算机可读介质可以与兼容装置一起封装或与其它装置分开地提供(例如，经由因特网下载)。任何此类计算机可读介质可驻留在单个计算机产品(例如，硬盘驱动器、cd或整个计算机系统)上或内，且可在系统或网络内的不同计算机产品上或内存在。计算机系统可包含监视器、打印机，或用于向用户提供本文所提及的任何结果的其它合适的显示器。

本文所描述的方法中的任一个可以全部或部分地用包含一个或多个处理器的计算机系统执行，所述一个或多个处理器可以被配置成执行步骤。因此，实施例可以针对配置成执行本文中所描述的任何方法的步骤的计算机系统，可能不同组件执行相应步骤或相应步骤群组。虽然呈现为编号的步骤，但本文的方法的步骤可以同时或在不同时间或以不同次序执行。另外，这些步骤的部分可以与其它方法的其它步骤的部分一起使用。此外，步骤的全部或部分可以是任选的。另外，任何方法的步骤中的任一个步骤可以利用用于执行这些步骤的模块、单元、电路或其它构件来执行。

特定实施例的特定细节可以在不脱离本公开的实施例的精神和范围的情况下以任何合适的方式组合。然而，本公开的其它实施例可以针对与每个个别方面或这些个别方面的特定组合相关的特定实施例。

本公开的实例实施例的以上描述已出于说明和描述的目的呈现。其不希望是详尽的，或将本公开局限为所描述的精确形式，根据上文的教示许多修改和变化是可能的。

“一”或“所述”的陈述旨在表示“一个或多个”，除非特定相反地指示。除非特定相反地指示，否则“或”的使用旨在表示“包含性的或”，而不是“排除性的或”。提及“第一”组件未必要求提供第二组件。此外，除非明确陈述，否则提及“第一”或“第二”组件不将提及的组件限制于特定位置。术语“基于”旨在表示“至少部分地基于”。

本文提到的所有专利、专利申请、公开案和描述出于所有目的以全文引用的方式并入本文。并非承认它们是现有技术。