突破性的模块系统的制作方法

本申请主张于2017年2月14日提交的美国临时申请us62/458887的优先权。

本发明涉及服务器架构领域，更具体地涉及服务器机房中的服务器的机架的结构。

背景技术：

在一个典型的计算结构中存在有一客户端和一服务器。一般来说，客户端和服务器可以一起靠近地定位，使得它们位于同一盒子中或者它们间隔开使得客户端位于一个盒子中而服务器位于距离一定距离定位的另一盒子中(通常在另一个房间或在不同的建筑物中，且有时在不同的城市或国家或大陆)。将客户端和服务器一起靠近地定位能够实现客户端和服务器之间的低延迟，但却使服务器难以在多个客户端之间共享，这往往导致服务器利用率不高。此外，如果服务器正在执行密集型计算，则本地需要更多功率(这对移动设备而言显然是一问题)。因此，为了效率和成本，将服务器放置在服务器群(serverfarm)中变得越来越受欢迎。

为了支持通过网络提供更多服务的大趋势以及支持依赖被服务的计算服务的大量移动设备，服务器的使用大幅增长。服务器数量的急剧增加导致更大的计算服务提供商设计和维护充满服务器的大型设施。这些设施有时称为服务器群，且可能包含数百或数千平方米的服务器。

能认识到的是，管理这样的设施是一项具有挑战性的任务。具有这样庞大的设施需要使用某种逻辑组织，使得这些服务器能正确供应、维护和替换。除了机械逻辑外，还必须考虑计算逻辑。各种客户端向服务器提供输入，服务器将执行一定量的计算工作(例如任务)，而后服务器将向客户端提供响应。从架构上讲，为了有效管理这些资源，接收输入的带宽、执行必要的计算和提供输出必须配置成总体工作负载平衡。

图1a和图1b示出一种常见的这种结构。服务器的机架设置于所述设施中。在各机架的顶部是一交换机，通常称为机架顶部式(atopoftherack)交换机或tor交换机。tor交换机通过有源光连接连接于能距离100米或更远的某个输入点(有时称为脊柱(spine))。tor交换机还通过无源铜质线缆连接于计算节点(其可充当服务器)。

一种常见的结构是在tor交换机中使用qsfp型插座。例如，qsfp插座构造为在tor交换机和脊柱之间以及在tor交换机和计算节点之间通信。对于从tor交换机到脊柱的qsfp插座，qsfp插座接收将电信号转换为光信号而后通过光纤传输这些信号的有源光模块。由于tor交换机和计算节点之间的距离要短的多，因此可以在tow交换机和计算节点之间使用更便宜的无源铜质线缆。每个qsfp连接器具有4个双向信道，且因此有时将qsfp插头连接器分成4个sfp型连接器(每个都有1个双向信道)。因此，对于32端口交换机，8个端口将指向脊柱，而24个端口指向计算节点。能认识到的是，这样的交换机将导致交换机和脊柱之间的连接的3:1超额认购(oversubscription)。具体地，交换机和计算节点之间的带宽是交换机和脊柱之间的带宽的三倍。在实践中，这样的比率往往会使得通信信道的利用相当均衡同时仍然有效地支持计算节点，并因此被广泛采用。

然而，当前的结构存在着问题。一个问题是，当数据速率从28gbps增加到56gbps(采用nrz码)和112gbps(采用pam4码)时，当前的tor交换机在支持当前的结构方面存在着问题。具体地，由于最长电缆的长度预计约为2.5米，所以在不使用前向纠错(forwarderrorcorrection，fec)的情况下，从tor交换机到机架底部的计算节点的无源线缆组件变得难以支持。使用fec会产生大量额外的能源，因此大幅增加大型服务器群的能量消耗。此外，当前的qsfp连接可能不足以支持更高速度的无源线缆链路(links)。结果，某些人群会赏识改进的服务器机架结构。

技术实现要素：

一种提供多个计算节点的服务器机架系统包括一机架的多个盒子，每个盒子支持一个或多个计算节点。计算节点(其可以是处理器)连接于机架中部式(mor)交换机，所述mor交换机允许减小所述mor交换机和所述计算节点之间的线缆的长度。所述mor交换机能直接连接于光缆，或能连接于一光电面板(eop)以允许将电信号转换为光信号。所述eop与一脊柱通信，而且在一些实施例中，可以与其它eop通信。采用mor交换机与eop组合允许改进热管理，并且还允许在相邻的服务器和脊柱之间的通信通道中提供额外的灵活性。

附图说明

本发明进行举例说明但不限于附图，在附图中类似的附图标记标示类似的部件，而且在附图中：

图1a示出一现有技术的服务器机架结构的一示意图。

图1b示出图1a所示的现有技术的服务器机架结构的另一示意图。

图2a示出具有一机架中部式(mor)交换机的一服务器机架的一实施例的一示意图。

图2b示出图2a所示的服务器机架结构的另一示意图。

图3a示出具有一mor交换机和一光电面板(eop)的一服务器机架的一实施例的一示意图。

图3b示出图3a所示的服务器机架结构的另一示意图。

图4a示出具有一mor交换机和一eop的一服务器机架的另一实施例的一示意图。

图4b示出图4a所示的服务器机架结构的另一示意图。

图5示出一mor交换机的一实施例的一示意图。

图6示出一eop的一实施例的一示意图。

图7示出一现有技术的交换机结构的一实施例的特征

图8示出一现有技术的交换机结构的一实施例的特征。

图9示出一现有技术的电路板结构的特征。

图10示出一mor交换机的一实施例的一示意图。

图11示出图10所示的实施例的另一示意图。

图12示出图11所示的实施例的另一示意图。

图13示出连接器安装在与一交换机芯片相邻的一电路板上的一示意图。

图14示出连接器安装在与一交换机芯片相邻的一电路板上的另一示意图。

图15示出具有降低的插入损耗的一mor交换机的一实施例的一示意图。

图16示出具有降低的插入损耗的一交换机的一实施例的一示意图。

图17a示出一应变消除结构的一实施例的一示意图。

图17b示出一应变消除结构的另一实施例的一示意图。

图18示出一eop的一实施例的一示意图。

图19示出具有一交换机的一eop的一实施例的一示意图。

图20示出两个相邻的机架式服务器的一实施例的一示意图。

图21示出两个相邻的机架式服务器的一实施例的一示意图。

图22示出两个相邻的机架式服务器的另一实施例的一示意图。

图23示出两个相邻的机架式服务器的另一实施例的一示意图。

图24示出两个相邻的机架式服务器的另一实施例的一示意图。

具体实施方式

下面的详细说明描述多个示范性实施例且公开的特征不意欲限制到明确公开的组合。因此，除非另有说明，本文所公开的各种特征可以组合在一起而形成出于简明目的而未示出的多个另外组合。

从图2a和图2b能认识到的是，公开了一服务器机架40的一实施例。服务器机架40包括多个盒子(通常采用1u或2u尺寸，但是其它尺寸也适用)且每个盒子提供多个计算节点。计算节点本质上可以是异构的或同构的并且可包括各种公知的结构，诸如但不限于一个或多个fpga、cpu、控制器、asic、dsp和/或gpu。各计算节点构造为提供某类计算能力并且不同的计算节点能根据预期的用途具有不同的能力。

能认识到的是，图2a中示出的结构与图1a中的现有技术的设计类似但是包括一机架中部式(amiddleoftherack,mor)交换机70。已经确定的是，采用这种结构可缩短mor交换机70和计算节点50之间延伸的线缆55(其优选地为无源铜质线缆)，使得线缆55的最长长度大约为1.5m。预计这样的最大长度将允许服务器机架在没有前向纠错(fec)的情况下工作。

mor交换机70通过通常与tor交换机一起使用的一根或多根光缆35(各光缆包括一根或多根光纤)连接于线缆室30(cableplant)，有时称为脊柱，并且根据特定设施的组织方式可以具有大范围的结构)。一个潜在的问题是，如果光缆35在tor交换机的位置附近没有足够的松弛度(slack)，那么难以将光缆35延伸到mor交换机70，并且可能需要拉新的光缆。当然，拉新的光缆往往会降低这样的设计的成本收益。然而，预计在某些情况下，图2a中的结构将是可行的。如果需要，附加特征诸如图16中示出的(后面公开)元件也可以附加到mor交换机70中。

应该注意的是，除了能够去除fec(其可以为服务器群提供显著的功率降低)之外，净效果(neteffect)是减小线缆的总长度。因此所示的设计应该为线缆部分提供成本降低。

图3a和图3b示出具有一顶部140a和一底部140b的一服务器机架140的另一实施例，其包括一mor交换机170。mor交换机170位于顶部140a和底部140b之间且优选地位于顶部140a和底部140b之间大约一半的位置。在所示的实施例中，mor交换机170不包括光电交换机。而是在机架的顶部上设置有一光电面板(electricaltooptical,eop)180。应注意的是，尽管预计eop180最理想地位于机架的顶部，但也可以考虑将eop180定位在机架的顶部附近(例如，设置于机架式服务器但相邻机架的顶部)。mor交换机170使用比2米短(潜在地不超过约1.5米)的线缆55连接于计算节点50。mor交换机170通过无源线缆(其长度可以约为1.5米)连接于eop180，而后eop通过一根或多根光缆35连接于线缆室30。从图3b能认识到的是，有时计算节点比mor交换机170上的端口多。为了管理该问题，线缆可在mor交换机170处包括一4x接口且在计算节点处包括一1x接口。根据计算节点和端口的数量，该比率可能会改变为与qsfp连接器与sfp连接器的4:1比率不同。

能认识到的是，图3a中示出的所示的设计的一些益处与能量消耗有关。无源线缆的长度的缩短使系统能够在没有fec的情况下支持高数据速率，优选地能够支持每个双向信道至少56gbps且更优选地支持每个双向信道112gbps。此外，因为光模块往往会引起大量的热能，所以eop的使用能够改进热管理。通过将光模块和mor交换机分开，从热角度考虑，确保所有元件都得到适当管理变得更加容易。

图4a和图4b示出具有与图3a和3b所示的结构类似的机架式服务器240的另一实施例。与图3a所示的实施例类似，线缆室30通过一光缆35连接于一eop280。eop280继而通过一线缆257连接于一mor交换机270。mor交换机270然后通过线缆255连接于计算节点。能认识到的是，主要区别之一是qsfp和sfp连接器被替换为下一代连接器且因此使用线缆255和线缆257。虽然qsfp和sfp连接器已经使用多年，但其基本结构对于高数据速率并不理想，且因此更希望使用更适合支持采用不归零(non-returntozeronrz)编码的56gbps数据速率和采用pam4编码的112gbps数据速率。

图5示出诸如mor交换机170的一mor交换机的一框图。通常mor交换机构造为1u盒子，并且这样的结构是可考虑的但不是所有情况下都是必需的。虽然可以附加很多特征，但是如上所述，该设计的一个潜在益处是光电转换被移出mor交换机。这大大减少了废热并且使mor交换机的冷却更加有效。所示的实施例具有通向eop的8个连接器端口，而且包括通向计算节点的24个连接器端口，但是一些其它数量的连接是可能的，特别是如果使用比现有的qsfp型连接器更紧凑的下一代连接器。

图6中示出诸如eop180的一eop的一示意图。eop能相对有效地制成，但是一个显著的益处是能够将废热能从mor交换机移出。在标准交换机体系结构中，所有端口都通电(powered)，因为不知道哪些端口将收容(receive)收发器模块。然而，使用eop时，能收容收发器模块的端口是已知的，且因此可以通过不给不接受(accept)收发器的端口供电来避免一些电力浪费。此外，能认识到的是，在机架结构中集中的热量变得难以冷却，并且将光收发器直接放置在交换机旁边会增加单个盒子中的热负载。所示的eop可依然包括qsfp端口，qsfp端口接受将电信号转换的光信号的适合于更长转换长度的产生废热的光电模块。然而，通过将qsfp端口放置在远离mor交换机的位置，使得管理热负载变得更容易。当然，将热量从mor交换机移出应该也能够提高mor交换机的可靠性并且改善mor交换机的性能。应注意的是，eop可以直接将电信号转换为光信号，从而不需要单独的电/光收发器模块。在这种情况下，eop可包括诸如朗讯连接器/物理接触(lc/pc)连接器的标准光纤连接器，标准光纤连接器代替诸如qsfp插座这样更传统(traditional)的端口以使eop连接于线缆室或脊柱。

图7至图9示出一常规(conventional)的交换机架构。具体地，多个端口335设置于一盒子的前表面上或前表面处并且由安装于一电路板320的多个连接器形成，电路板320提供与芯片封装315的连接，芯片封装315包括执行交换任务的一芯片310。在操作时，空气通常被导入一前表面330和一后表面334之间(经过侧壁332)。这样的设计允许空气通过安装于芯片310上的一散热器312(由此解决散热问题)，但由于芯片和这些外部的端口之间的物理距离而为这些外部的端口创建了长的迹线路径。众所周知，电路板在过长的长度上路由(rounting)高频率信号不是最佳的，而且所示的设计由于更长距离延伸的迹线而降低了系统的信号完整性。结果，这些外部的端口的性能限制整个组件的性能。

图10至图14示出能够改善性能同时保持采用低成本电路板材料的一替代实施例。具体地，采用更小的下一代连接器使利用连接器436的端口435仅在一盒子400的前表面430的一部分上成组。更小的连接器436可以竖向地安装于具有一对接侧420a和一芯片侧420b的一电路板420，并且电路板420布置成它大致平行于前表面430。在这样的结构下，电路板420直接阻挡从前向后的气流。然而，由于连接器436的尺寸，可以使对端口435成组，并且还在盒子400的一侧上设置一空气入口407，空气入口407的尺寸足够大并且与电路板420上的一孔421对准。空气入口407允许空气流动到一气流歧管408，气流歧管408继而将空气穿过一空气通道409引导到用于帮助冷却一交换机芯片410的一热模块415(例如一散热器)上。能认识到的是，空气通道409提供了在空气入口407中被引导的空气的方向的改变，并且在一实施例中，方向的改变大约为90度。电路板的一侧可设置有一控制面板(controlplane)440和一电源面板(powerplane)450(均可设置为小电路板)，使得在热模块415上通过的空气也可以对各自的板上的可能采用冷却的任何元件进行冷却。在一实施例中，当从盒子400的一侧400a观察时，电源面板450和控制面板440中的其中一个可以位于热模块415的上方，而电源面板450和控制面板440中的另一个可以位于热模块415的下方(从图12能认识到)。

由于盒子的前表面上的端口435的尺寸和朝向，所以可能使交换机芯片410位于与每个端口435更加等距，并且可能的布置在图13至图14中示出。根据多个端口435的结构，交换机芯片410可定位成多个端口位于交换机芯片410的两侧或者可能多达四侧(如图13所示)。总距离可以从20cm(或更多)减少到大约10cm(或更少)。因此，所示的设计潜在地使得否则将不适合的板材料(由于与在现有技术设计的交换机芯片和对应的连接器之间延伸超过10cm的迹线相关的损耗)变得更适合于高数据速率。

图15至图17b示出可用于以另一方式解决电路板损耗问题的一交换机系统(其可以是mor交换机或者tor交换机)的一实施例中的特征。一交换机170’包括一电路板520(电路板520可以由任何所需的且适合的材料形成)，电路板520支持构造为发送和接收信号的一芯片510。一连接器560位于相邻芯片510。线缆575从一前表面530延伸且线缆终止于连接器580(连接器580可以是任何所需的结构)。能认识到的是，因此，不是试图将芯片移动更靠近端口，而是使连接器560位于相邻芯片510，并且连接器560直接连接于一线缆组件。在这样的实施例中，可能具有从电路板520(或基板，如果连接器560直接安装于基板以进一步改善性能)到一线缆(直接或经由采用非可拆卸地安装于电路板上的一连接器中的端子)的第一转换。线缆575从交换机170’的前表面530延伸出，并且能够通过连接器580直接连接于计算节点。

能认识到的是，这样的结构避免芯片510和插入盒子前部的线缆575之间至少两次转换。每次转换固有地引入一些插入损耗，且因此与常规设计相比，所示的设计能够减少芯片510与线缆575的一端的连接器580之间的损耗。这样的实施例可以因此显著减少整个系统的损耗。

然而，这样的结构具有需要确保线缆575具有适当的应变消除(strainrelief)保护的问题(或施加到线缆上的任何力施加到连接器560上可能会破坏系统的问题)。通过使一应变消除块570防止线缆的移位(translation)超过盒子的前表面530，能保护线缆575避免过度移位通过前表面。所示的实施例因此允许一芯片510(芯片510可以是芯片封装)和一板520(板520可以是基板)之间、一板520和连接器560中的一端子之间、连接器560中的端子和线缆575中的一导体之间以及线缆575中的导体和连接器580中的一端子之间的转换，显著减少转换次数。当然，连接器560也可以构造成安装在位于相邻芯片510的一板安装连接器，仅损耗略有增加，但显著改善柔性。

应变消除块570可以具有各种结构。例如，图17a中示出一实施例，其中一应变消除块670模制成形于线缆675上，并且应变消除块670插入一前部元件632上的一槽633(前部元件632能提供对应的盒子的前表面630或者可以设置于前表面的内部)中并且固持于槽633中。可以通过设置槽633来提供固持，使得应变消除块670只能从一个方向插入，而后可以提供一盖体以防止应变消除块脱出槽633。能认识到的是，这样的设计允许移除特定的线缆(或一组线缆，如果多根线缆共用同一应变消除块的话)，从而交换机仍可修复，同时提供更高级别的性能。

在另一实施例中，多根线缆775能模制成形于一应变消除块770中，应变消除块770构造为放置在前部元件732后面。在这样的实施例中，前部元件732中的槽734将允许线缆775延伸穿过前部元件732。当然，单根线缆775也能模制成形于一单独的应变消除块770中，使得每根线缆成形于单独的块中。主要要求是，对应的块足够大并且足够牢固地固定于线缆以确保施加在线缆的末端的力有效地传递到应变消除块770。在图17a和图17b提供的实施例中，提供应变消除的应变消除块可以由导电塑料形成，或可以镀覆以有助于提供合适的emi保护。

应注意的是，应变消除的替代实施例可以构造成使两个元件夹住线缆。例如，在另一实施例(未示出)中，盒子的两相反侧可以一起压制并捕捉一根或多根导线。因此，用于应变消除的各种可能的结构是可能的且是可以考虑的。

图18至图19示出eop的实施例的示意图。图18中各电气端口直接连接于构造为收容电/光收发器的端口。应注意的是，尽管示出了qsfp型连接器(并且相对受欢迎)，但是可以提供任何合适的外形因素(formfactor)。还应注意的是，如果光缆组件是标准光连接器(诸如但不限制于lc/pc连接器)，那么光端口可以是标准光连接器端口，且图18中的交换机可以包括构造为将各光连接器与对应的电气端口结合(couple)的一光电收发器(或者一组收发器)。

能认识到的是，图18和图19中的实施例之间的主要区别是图19中的实施例包括允许如图23中所示的功能的交换机。此外，可以设置若干eop东/西(e/w)端口以允许两个eop之间的通信。预计eope/w端口将是电气的且不需要供电，因为大多数服务器机架与其它服务器机架相对较近，且因此短的连接线缆就足够。在对于特定的工作负载有意义地(makesense)使两个相隔较远的eop之间的连接的情况下，则eope/w连接器可以构造成为电/光收发器模块提供供电端口(或者甚至作为诸如带内部光电信号转换器的lc/pc连接器的纯光连接器)。

可以从图20中认识到的一个问题是，进行横向通信(例如，两个相邻的服务器机架之间的通信)需要6跳(hops)，其中一跳是两个介质之间(诸如光信号到电信号)和/或通过一芯片(诸如交换机芯片)的转换。在需要在相邻机架中的服务器之间进行横向通信的情况下，这种结构会造成显著的延迟。图21至图23示出解决这个问题的方法。图21取到脊柱的其中一个链路且将其路由(route)到相邻的eop。这能够减少一个跳(尽管以增加超额认购成本为3.4:1的比率为代价)。图22示出超额认购仍然是3.4:1的实施例，但是在相邻的机架上的计算节点之间仅有三跳。能认识到的是，这样的结构能够减少相邻的服务器之间的延迟，并且在计算任务受益于高级并行处理的情况下或者用于两个机架都在一计算项目上工作并且不可能将所有任务都放在一个服务器机架上的情况可能是可取的。

图23提供额外的灵活性，但确实增加了eop的复杂性。通过在eop中并入交换机，相邻的服务器之间的跳数可以保持在6，同时仍保持需要的3:1超额认购比率。图23中的实施例的一个潜在的重要的益处是它允许更灵活的信号路由。例如，如果一个服务器机架具有大量的响应要提供，则可以将一些响应指向相邻的eop，这潜在地将超额认购比率(至少在短时间内)降低至2:1。当然，这样的架构对于具有足够灵活性编程到eop/mor中和/或工作负荷从此受益的系统是最有利的。

图24示出能提供额外的灵活性的另一实施例。能认识到的是，服务器和mor交换机之间的连接数量仍然等于计算节点的数量(因为每个计算节点直接与mor通信是合理的)，但是相邻的mor交换机也能互相通信。此外，相邻的eop能相互通信。预计在大多数情况下，要么使用m链路要么使用p链路(通常不需要使用两者)，但如果需要最大的连接性和灵活性，则能使用两者。

此外，两个相邻的机架式服务器的计算节点能使用单跳直接互相通信，并且能改变连接n、m、b、p和c的数量，从而各种情况能够产生。能认识到的是，这样的系统在灵活性上具有显著的益处。通过将服务器直接连接在一起，可以使用额外的计算能力以最小的延迟(单跳)解决任务。因此，结果是一种灵活的结构，其中计算节点能够组合，而后可以通过路径的组合将信息发送回脊柱，以确保最大限度地使用可利用的带宽。

在一实施例中，2n可以等于a，使得一个服务器机架中的每个计算节点基本上能够通过链接到相距单跳的相邻服务器中的计算节点而使其性能加倍(假设机架式服务器在两侧被类似的机架式服务器包围)。由于a链路的数量通常大于b链路的数量(通常为3:1的比率)，所以所示的结构允许信息经由m链路(m链路可以是与存在的b链路一样多的链路，但在给定预期的在mor交换机上空间限制下，m链路更可能会数量少些)从mor交换机传播到相邻的mor交换机。如果m和p链路的数量保持较低以便于mor交换机和/或eop中的可利用的空间，则可以使用m链路和p链路的组合来基本上提供1:1的比率(且因此将不存在超额订购)。然而，应注意的是，当增加额外的带宽时，这样的结构确实向计算节点和脊柱之间的路径增加一个跳或多跳，且因此希望这种增加额外带宽将取决于应用对客户端(可以在脊柱外部)和计算节点之间的延迟的敏感度与(versus)在计算节点处的额外性能的需求。

本文给出的本发明以其优选实施例及示范性实施例说明了各个特征。本领域技术人员将作出处于随附权利要求的范围和精神内的许多其它的实施例、修改以及变形。