实时抗生素治疗建议的制作方法

相关申请的交叉引用

本申请要求享有于2017年4月27日提交的并且题为“real-timeantibiotictreatmentsuggestion”的美国临时申请第62/491,029号的优先权权益，出于所有目的，其全部公开内容通过引用的方式合并于此。

本文所描述的各种实施例涉及机器学习，并且更具体地但非排他地涉及在滚动获取输入数据期间的模型选择。

背景技术：

在抗微生物疗法中，治疗速度是成功的最具决定性因素中的一个。然而，研究病原体以标识理想治疗选项的当前方法花费大量时间。尽管可以相对快速地获得某些信息(例如，革兰氏染色(gramstaining))，但是由于培养细菌所需要的时间，由抗生素敏感性测试(ast)提供的完整信息可能花费24-48小时。

由于对关于特定患者的感染的新的信息的交错和延迟的接收，因此临床医生通常必须基于不完整的信息来做出治疗决定。虽然在联邦级别、州级别和医院级别提供了针对这种决定的基于证据的指南，但是这些指南相对不频繁地更新(例如，大约每年一次)。因此，临床医生常常无法对当前的发作或抗生素抗性模式的改变做出充分的反应。

技术实现要素：

本文所描述的各种实施例涉及一种非暂时性机器可读介质，该非暂时性机器可读介质编码有指令，该指令用于由处理器执行以用于选择经训练的模型以应用于患者数据，该非暂时性机器可读介质包括：用于维护对患者的所有可用的患者特征的指示的指令；用于接收患者的新可用的患者特征的指令；用于更新对所有可用的患者特征的指示以指示新可用的患者特征的指令；用于读取与经训练的模型集合中的相应的经训练的模型相关联的元数据的指令，其中，元数据指示相应的经训练的模型的输入特征；用于将对所有可用的患者特征的指示和与相应的经训练的模型相关联的元数据进行比较，以确定输入特征是否可用于将相应的经训练的模型应用于患者的指令；用于基于确定所选定的经训练的模型的输入特征可用于将所选定的经训练的模型应用于患者来选择所选定的经训练的模型的指令；以及用于调用所选定的经训练的模型的指令。

本文所描述的各种实施例涉及一种用于选择经训练的模型以应用于患者数据的方法，该方法包括：接收患者的至少一个新可用的患者特征；将新可用的患者特征添加到对所有可用的患者特征的指示，对所有可用的患者特征的指示是先前针对经训练的模型集合中的一个向患者的先前应用而建立的；将对所有可用的患者特征的指示与描述经训练的模型集合中的相应的模型的输入特征的元数据进行比较，以确定输入特征是否可用于将相应的经训练的模型应用于患者；基于确定所选定的经训练的模型的输入特征可用于将所选定的经训练的模型应用于患者来选择所选定的经训练的模型；以及调用所选定的经训练的模型。

本文所描述的各种实施例涉及一种用于选择经训练的模型以应用于患者数据的设备，该设备包括存储器和处理器，该处理器被配置为接收患者的至少一个新可用的患者特征；将新可用的患者特征添加到对所有可用的患者特征的指示，对所有可用的患者特征的指示是先前针对经训练的模型集合中的一个向患者的先前应用而建立的；将对所有可用的患者特征的指示与描述经训练的模型集合中的相应的模型的输入特征的元数据进行比较，以确定输入特征是否可用于将相应的经训练的模型应用于患者；基于确定所选定的经训练的模型的输入特征可用于将所选定的经训练的模型应用于患者来选择所选定的经训练的模型；以及调用所选定的经训练的模型。

描述了各种实施例，其中，用于选择所选定的经训练的模型的指令包括在对其而言输入特征可用于将所选定的经训练的模型应用于患者的那些经训练的模型中选择具有最大数量的输入特征的经训练的模型。

描述了各种实施例，其中：经训练的模型集合被布置在序列中，并且用于选择所选定的经训练的模型的指令包括用于在对其而言输入特征可用于将所选定的经训练的模型应用于患者的那些经训练的模型中选择在序列中被放置在最远处的经训练的模型的指令。

描述了各种实施例，其中，用于调用所选定的经训练的模型的指令包括用于将输入特征提供给所选定的经训练的模型的指令。

描述了各种实施例，其中，用于将输入特征提供给所选定的经训练的模型的指令包括用于将患者群体的抗生素敏感性数据提供给所选定的经训练的模型的指令。

各种实施例还包括用于周期性地对经训练的模型集合中的相应的模型进行重新训练的指令。

各种实施例还包括：用于在对患者的所有可用的特征的指示包括对所有特征由模型集合中的经训练的模型中的任一个接受为输入的指示之后生成至少一个标记的指令；用于根据所生成的至少一个标记和患者的可用的特征来生成至少一个新的训练示例的指令；以及用于将至少一个新的训练示例添加到训练集的指令，其中，用于周期性地对相应的模型进行重新训练的指令被配置为使用训练集来对相应的模型进行训练。

描述了各种实施例，其中，周期性地对经训练的模型集合中的相应的模型进行重新训练包括使用从患者群体的抗生素敏感性数据导出的训练示例来对相应的模型进行训练。

描述了各种实施例，其中，经训练的模型集合中的第一模型被配置为将从第一过程获得的第一数据接受为输入特征，该第一过程花费第一时间量；并且经训练的模型集合中的第二模型被配置为将从第二过程获得的第二数据接受为输入特征，该第二过程花费比第一时间量长的第二时间量。

描述了各种实施例，经训练的模型集合中的第一模型被配置为接受至少一个早期基因测序值，至少一个早期基因测序值包括病原体种类和与抗生素抗性相关联的病原体基因中的至少一个；并且经训练的模型集合中的第二模型被配置为接受至少一个早期基因测序值和至少一个晚期基因测序值，至少一个晚期基因测序值包括以下各项中的至少一个：病原体多位点序列类型、与抗生素抗性相关联的病原体单核苷酸多态性、与核心基因组相关联的病原体单核苷酸多态性以及被标记为辅助的病原体基因，其中，第一模型不会将至少一个晚期基因测序值接受为输入。

附图说明

为了更好地理解各种示例实施例，参考附图，其中：

图1示出了使用本系统的实施例的患者治疗的示例时间线；

图2示出了本系统的实施例的示例功能图；

图3示出了根据各种实施例的模型选择器的操作的示例图示；

图4示出了用于实现各种实施例的示例硬件设备；

图5示出了在各种实施例的操作中使用的示例元数据；

图6示出了用于提取并管理可用于患者的特征的示例方法；

图7示出了用于选择模型以应用于可用的患者特征的示例方法；以及

图8示出了用于向用户呈现模型输出的示例显示。

具体实施方式

本文所呈现的说明书和附图示出了各种原理。应当认识到，本领域技术人员将能够设计出尽管未在本文中明确描述或示出但是体现这些原理并且被包括在本公开的范围内的各种布置。除非另有指示(例如，“或其他”或“或在替代方案中”)，否则如本文所使用的术语“或”指代非排他性的或(即，和/或)。另外地，本文所描述的各种实施例不一定是互相排斥的，并且可以组合以产生并入本文所描述的原理的附加实施例。

图1示出了使用本系统的实施例的患者治疗的示例时间线100。根据某些典型的治疗工作流程，通过开始经验疗法112(即，基于关于患者状况的最佳可用的信息选择的疗法)，在检测到感染110时开始对患者的治疗。例如，临床医生可以基于诸如患者的病史120、临床观察、当前医院范围内的抗菌谱等之类的信息来选择治疗。在此时，关于感染本身的具体信息是不可用的。推着时间推移，可以获取附加的感染特定的信息或病原体特定的信息。例如，微生物学信息122、128(例如，革兰氏染色结果和抗生素测试结果)；或基因测序信息124、126(例如，病原体种类、与抗生素抗性(abr)相关联的基因、多位点序列分型(mlst)、与abr相关的单核苷酸多态性(snp)、核心基因组snp和辅助基因)。如所示的，可以在不同的时间点使此类信息可用；例如，在根据基因测序确定病原体种类之前革兰氏染色结果可以是可用的，而在完整的抗生素测试结果可用之前基因测序可以是可用的。虽然完整的抗生素测试结果(一旦可用)可以指示针对患者的具体的靶向疗法116，但是临床医生还可以在抗生素测试结果可用之前的某个时间，使用过渡期可用的附加信息来一次或多次调整114最初规定的疗法112。

各种实施例提出了在该工作流程内操作的系统。例如，各种实施例包括一个或多个经训练的模型130、140、150、160的集合，每个模型被配置为接收关于患者的可用的信息中的一些并且生成一个或多个治疗选项132、142、152、162(例如，针对患者的给药建议的一种或多种抗生素)。经训练的模型130、140、150、160实际上可以是对于选择治疗选项有用的任何机器学习模型，例如，回归模型、神经网络、深度学习架构或这些模型或其他模型中的任一个的组。例如，经训练的模型可以包括多个分类器，其中一个被训练以关于每种可能的抗生素提出建议；因此，如本文所使用的术语“经训练的模型”和“模型”将被理解为还包括多个经训练的模型的分组，这些分组要一起应用于患者数据。根据各种实施例，每个模型130、140、150、160可以被训练以接受可能的患者输入的不同子集并且从中生成治疗选项132、142、152、162。因此，取决于可用的信息，模型130、140、150、160中的不同模型在患者治疗的不同时间可能是适用的。例如，如果以患者的病史和病原体种类为示例，则一个模型可能是适用的，而如果患者的病史和革兰氏染色结果是可用的，则不同的模型可能是适用的。在某些情况下，输入可以对于模型中的多于一个模型是可用的，在这种情况下，系统可以从多个候选中选择一个模型，以应用于当前可用的输入。在一些实施例中，模型130、140、150、160可以被布置在序列中，使得在序列中的每个模型都接受除了针对先前模型所接受的输入之外的附加信息。例如，如图1所示的系统所示，经训练的模型1(130)可以接受患者的病史，而经训练的模型2(140)可以接受患者的病史120和革兰氏染色结果122两者。在一些这样的实施例中，系统可以选择应用并入了最大数量的可用输入的模型；因此，可以应用经训练的模型1(130)，直到革兰氏染色结果122可用的时间为止，在此时系统可以切换为应用经训练的模型2(140)。鉴于以下描述，各种替代的模型序列(例如，非线性序列或树序列)以及用于在多个可能适用的模型中进行选择的标准将是显而易见的。

根据各种实施例，将模型130、140、150、160应用于可用的信息以产生推荐的治疗选项132、142、152、162，直到完整的抗生素测试结果128可用于定义靶向疗法116的时间为止。在那时，然后可以将抗生素测试结果128存储在抗生素敏感性测试(ast)数据库170中。可以为医院、医院系统、地理位置、遍布国家或遍布世界的所有患者维护该ast数据库170。此后，ast数据库170可以用于周期性地重新训练模型130、140、150、160，以解决ast数据库170所对应的细菌生态系统中的改变。因此，例如，如果最近的抗生素敏感性测试已经显示在当前医院中对阿莫西林的抗性急剧增加，则可以对模型130、140、150、160进行重新训练以考虑到这一点，并且(可能地)趋向于建议其他的治疗选项。

图2示出了本系统的实施例的示例功能图200。功能图200示出了可以对应于一个或多个硬件设备的若干功能块。例如，在一些实施例中，单个硬件设备可以实现图200中描绘的所有功能和存储装置，而在其他实施例中，每个功能和存储装置可以对应于单独的专用硬件设备。实际上，也可以实现其间的任何布置。例如，一个预置设备(或其若干实例)可以实现功能205-230以在治疗期间提供治疗建议，云存储设备可以维护ast数据库235，并且云虚拟机可以实现功能/存储装置240-260以周期性地重新训练模型225，并且将新训练的版本推送到预置设备。用于实现本文所描述的教导和原理的各种附加布置将是显而易见的。

最初，输入接收器205可以接收关于特定患者的信息，例如，病史、人口统计信息、微生物学实验室结果、基因测序结果或者可能与选择疗法有关的任何其他信息。可以通过输入接收器205主动地拉取来自另一设备(例如，emr系统)的信息或者被动地接收从另一设备推送的信息来接收信息。在各种实施例中，输入接收器205可以被配置为处理多种不同形式的信息，例如，结构化报告、自由文本、图像、离散值(例如，携带一个或多个属性-值对的分组)和其他形式。

在接收到新的信息时，输入接收器205可以将该新的信息传递给一个或多个特征提取器210，以用于将信息处理为适合于用作模型输入的形式。例如，在输入是结构化报告的情况下，可以采用特征提取器来仅选择并提取系统认为相关的那些值。作为另一示例，对于自由文本报告，可以采用特征提取器210对报告执行自然语言处理以定位有关信息。因此，输入接收器205可以基于输入格式或其源从可用组中选择一个或多个特征提取器210。

如上面所指出的，在将输入提供给模型225中的一个之前，系统200选择要应用那些可用模型中的哪个模型225。具体地，在各种实施例中，系统基于什么模型输入可用于患者来选择模型225，无论该模型输入是刚接收到的还是先前在模型225中的一个的先前应用上接收到的。为了支持模型选择，特征管理器至少维护对哪些模型输入可用于患者的指示。例如，在从特征提取器210接收任何新的特征时，特征管理器可以更新与患者相关联的表以指示新接收的特征，或者特征管理器可以存储患者的实际特征值。可替代地，特征管理器215可以适应于例如通过请求可以从其重新提取特征的从另一系统(例如，emr系统)递送的信息来收集特征或在每个模型应用时哪些特征可用的知识，而不是保持对可用特征的持续指示。

一旦特征管理器215具有对哪些特征可用于模型应用的最新指示，模型选择器220就可以选择模型(或者在一些实施例中选择多个模型)以应用于患者的特征。可以采用用于判断要选择哪个模型的各种方法。例如，在一些实施例中，模型选择器220可以从所有特征均可用的那些模型中选择接受最大数量的输入的任何一个模型。作为另一示例，每个模型可以与权重相关联，并且模型选择器可以从所有特征均可用的那些模型中选择具有最大权重的任何一个模型。在一些实施例中，模型选择器220本身可以是模型(例如，神经网络)，其被训练以基于先前模型选择的回顾数据以及从例如临床医生是否接受推荐导出的标记来选择要应用哪个模型225。在一些实施例中，模型225中的一个或多个可能能够(例如，使用特征插补(featureimputation)技术)处理至少一些丢失的输入。在这样的实施例中，模型选择器220可以使用其他方法来确定要应用哪个模型225。例如，每个模型可以与元数据相关联，该元数据指示哪些特征是要求的以及哪些特征是可选的；在一些这样的实施例中，模型选择器可以从所有要求的特征均可用的那些模型中进行选择。在其他实施例中，每个模型可以与元数据相关联，该元数据指示该模型接受为输入的每个特征的“重要性”分数；在这样的实施例中，模型选择器220可以基于可用的特征及其每个模型的重要性分数来为每个模型记录分数，然后选择具有最高分数的模型。

图3示出了根据各种实施例的模型选择器(例如，图2的模型选择器220)的操作的示例图示300。如所指出的，特征管理器可以维护一个或多个数据结构302、304、306、308，其指示在至少一个模型320、322、324、326使用的所有特征中哪些特征可用于当前患者。数据结构302、304、306、308可以是单独的数据结构或单个数据结构。如本文所使用的术语“特征矩阵”将被理解为指代用于至少维护对一个或多个患者的可用的特征的指示的任何数据结构(以包括矩阵、阵列、树、位串等)。例如，数据结构可以存储每个特征的布尔值或特征值本身。如所示示例中示出的，所有可能的病史302值都是可用的，而五个微生物学结果304值中仅有三个是可用的(如灰色框和白色框所示)。基于对哪些特征可用以及哪些不可用的指示，模型选择器310选择模型320、322、324、326中的一个，以应用于可用的特征；如所示的，模型选择器310当前已经选择模型2(322)，该模型2(322)将用于生成疗法推荐。在将来的某个时间，系统可以接收附加的测序结果306，使得当前未被填充的框被填充，以指示患者的附加特征的存在。在那时，模型选择器210可以选择模型3(324)以应用于患者的特征，并且生成新的、更新后的推荐。

返回图2，一旦模型选择器220已经选择了模型225以供应用，就通过特征提取器(或在一些实施例中通过特征管理器)将患者特征提供给该模型225。然后，模型225产生包括针对患者的疗法推荐的输出，然后经由输出报告器将该输出呈现给临床医生。在各种实施例中，模型225可以输出一个或多个“原始”分数或者由输出报告器230转换为人类可读形式的其他值。例如，可以用于实现模型225的许多分类器可以包括最后阶段的sigmoid函数，并且因此输出可能仅为0到1之间的一个或多个浮点数。然后，输出报告器230可以通过将模型输出与要被递送的一种或多种疗法进行关联来解释模型输出。例如，在模型与阿莫西林相关联的情况下，输出报告器230可以将浮点数与阈值进行比较，以确定是否推荐阿莫西林。在模型输出多个这样的数字的情况下，输出报告器230可以将浮点数与一个或多个阈值进行比较，以确定要推荐的哪一种或哪几种疗法。在一些实施例中，输出报告器230还可以导出呈现给用户的推荐的置信度。在一些实施例中，输出报告器230还可以生成用于向用户呈现包括(多个)推荐和其他信息(例如，推荐置信度、关于推荐的信息(例如，从外部源取回的信息)、关于患者的信息(例如，人口统计信息或对最终推荐有影响的特征)或其他信息)的界面(例如，html页面)。

在一些实施例中，除了向临床医生提出建议之外或代替向临床医生提出建议，该系统可以适合于直接提供疗法。例如，在推荐是药物的给药的情况下，输出报告器230可以经由api将药房订单输入到订单输入系统，或者控制附接到患者的输液泵以递送药物。作为另一示例，在推荐疗法是改变呼吸机设置的情况下(例如，在将本文教导的原理应用于除了病原体感染之外的其他状况的情况下)，输出报告器可以经由与呼吸机的接口来配置呼吸机。输出报告器的各种其他动作将显而易见。

如上面所指出的，在患者的治疗过程期间，完整的抗生素敏感性测试结果在某个时间将为可用的并且存储在一个或多个ast数据库中。例如，(多个)ast数据库可以是医院数据库或全国数据库，其存储与患者相关或者通过系统200以其他方式可与针对特定患者收集的特征相关联的抗生素敏感性测试的结果。随着新的结果在ast数据库中变得可用，标记提取器240可以针对先前治疗的患者确定哪些疗法确实是最佳选择。例如，标记提取器可以注意到哪种抗生素对于感染来说被认为是敏感且有抗性的，以在将来用于对模型225的重新训练。然后，训练示例创建器245可以根据新提取的标记以及针对患者获取的特征创建一个或多个训练示例。例如，训练示例创建器245可以创建记录，该记录包括由特征管理器215为患者保留的所有特征，以及针对每种抗生素的“真”或“假”标记，其指示ast结果是否显示出敏感性或抗性。然后，训练示例创建器245可以将训练示例存储在训练数据库250中以供将来使用。

模型重新训练器255可以周期性地执行机器学习算法以基于自从上一次对模型225进行重新训练之后存储在训练数据库250中的新的训练示例，对模型225进行重新训练。例如，模型重新训练器255可以每小时、每天、每周或以某种其他定时基础执行。可替代地，每当预定数量的新的训练示例(例如，100个、1000个等)已经被添加到训练数据库250时，就可以执行模型重新训练器255。任何适当的训练算法可以用于所选择的模型225。例如，梯度下降可以用于回归模型，或者反向传播可以用于神经网络。在一些实施例中，模型重新训练器255可以基于存储在训练数据库中的(新的或旧的)所有训练示例来对模型225进行重新训练。在一些实施例中，模型重新训练器255可以首先删除旧的训练示例，例如，早于预定时期(例如，7天、3个月等)的那些示例。在一些实施例中，模型重新训练器255可以将重点更多地放在比较旧的那些示例更新的示例上。使用这些或其他类似方法，模型重新训练器255周期性地尝试更新模型225，以考虑由ast数据库235反映的当前的病原体生态系统。

根据各种替代实施例，不是对模型225进行重新训练以将当前的抗生素敏感性趋势“烘焙”到模型225中，相反，可以训练模型以将抗生素敏感性趋势的一个或多个指示符接受为输入。例如，可以将代表医院当前的抗菌谱的特征的集合包括为针对每个模型的输入。在一些这样的实施例中，仍然可以采用模型重新训练器255来周期性地重新训练模型，以仅利用系统200生成的附加训练示例。

图4示出了用于实现各种实施例的示例硬件设备400。示例性硬件400可以对应于图2中描述的系统200的功能块中的一个或多个。如所示的，设备400包括经由一个或多个系统总线410互连的处理器420、存储器430、用户接口440、通信接口450和存储装置460。将理解的是，图4在某些方面构成了抽象，并且设备400的组件的实际组织可能比所示的更为复杂。

处理器420可以是能够执行存储在存储器430或存储装置460中的指令或者能够以其他方式处理数据的任何硬件设备。因此，处理器可以包括微处理器、现场可编程门阵列(fpga)、专用集成电路(asic)或其他类似设备。

存储器430可以包括各种存储器，例如，l1、l2或l3高速缓存或系统存储器。因此，存储器430可以包括静态随机存取存储器(sram)、动态ram(dram)、闪速存储器、只读存储器(rom)或其他类似的存储器设备。显而易见的是，在其中处理器包括以硬件实现本文所描述的功能中的一个或多个功能的一个或多个asic(或其他处理设备)的实施例中，可以省略在其他实施例中被描述为与这种功能相对应的软件。

用户接口440可以包括用于实现与诸如管理员之类的用户进行通信的一个或多个设备。例如，用户接口440可以包括用于接收用户命令的显示器、鼠标和键盘。在一些实施例中，用户接口440可以包括可以经由通信接口450呈现给远程终端的命令行接口或图形用户接口。

通信接口450可以包括用于实现与其他硬件设备进行通信的一个或多个设备。例如，通信接口450可以包括被配置为根据以太网协议进行通信的网络接口卡(nic)。另外地，通信接口450可以根据tcp/ip协议实现用于通信的tcp/ip栈。用于通信接口450的各种替代或附加硬件或配置将是显而易见的。

存储装置460可以包括一种或多种机器可读存储介质，例如，只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光学存储介质、闪速存储器设备或类似的存储介质。在各种实施例中，存储装置460可以存储用于由处理器420执行的指令或者处理器420可以对其操作的数据。例如，存储装置460可以存储用于控制硬件400的各种基本操作的基本操作系统461。

存储装置460还可以包括定义一个或多个特征提取器462的指令，以用于将传入的患者信息以用于由一个或多个经训练的模型463消耗的形式放置。经训练的模型463进而可以包括用于消耗特征并且输出一个或多个疗法推荐的指令(例如，模型架构和学习的权重)。可以提供模型选择器指令464，以用于基于可用的那些特征(例如，如可能由特征管理器指令(未示出)所指示的)来确定应该应用哪个模型464。为了支持这种决定，存储装置460可以包括元数据469，该元数据469标识可以使用的特征的类型，以及对于每个模型，哪些特征作为输入被消耗。输出显示指令465可以包括用于解释来自模型的原始输出并且以人类可读形式(例如，格式化的网页或报告)呈现这种解释的指令。

为了重新训练模型463，存储装置460可以包括标记提取指令466，以用于(例如，经由通信接口450)与一个或多个ast数据库进行接合以确定患者感染的真实抗性简档，并创建一个或多个标记以用于构建训练示例。然后，训练示例创建指令467可以将这些标记连同可用于患者的特征一起编译以创建一个或多个记录以用作训练示例。这样的训练示例可以存储在本地或远程训练数据库(未示出)中。然后，模型重新训练指令468可以包括这样的指令：用于基于新的训练实例来周期性地重新训练模型463、潜在地删除或不强调较旧的训练示例以便解决抗性简档中的最近的医院或地理趋势。

显而易见的是，被描述为存储在存储装置460中的各种信息可以另外地或可替代地存储在存储器430中。在这方面，存储器430也可以被认为构成“存储设备”，并且存储装置460可以被认为是“存储器”。各种其他布置将是显而易见的。此外，存储器430和存储装置460两者可以被认为是“非暂时性机器可读介质”。如本文所使用的的，术语“非暂时性”将被理解为排除暂时性信号，但是包括所有形式的存储，包括易失性存储器和非易失性存储器两者。

尽管主机设备400被示为包括每个所描述的组件中的一个，但是在各种实施例中可以复制各种组件。例如，处理器420可以包括多个微处理器，多个微处理器被配置为独立地执行本文所描述的方法，或者被配置为执行本文描述的方法的步骤或子例程，使得多个处理器协作以实现本文所描述的功能。此外，在以云计算系统实现设备400的情况下，各种硬件组件可以属于单独的物理系统。例如，处理器420可以包括第一服务器中的第一处理器和第二服务器中的第二处理器。

图5示出了在各种实施例的操作中使用的示例元数据500。元数据可以例如对应于图4的元数据469，并且可以用于出于模型选择的目的确定每个模型消耗哪些特征。

所有特征元数据表510可以指示系统已知的每个特征。例如，所有特征元数据表510可以被构造为由任何模型指示作为输入的所有特征的并集。可替代地，每个特征提取器或外部数据源可以向系统注册一个或多个标签，以指示将要由此提供哪些特征；然后，可以将这样的注册标签添加到所有特征元数据表510。可以利用这种注册功能来使系统灵活且可扩展，从而可以即时添加或更新注册特征提取器或外部数据源。

如所示的，每个特征可以通过标签的方式来描述。例如，“#medhist/penicillin_allergy”可以是与指定患者是否患有青霉素过敏的特征相对应的标签。类似地，“#sequencing/species”标签可以是与指定由基因测序确定的病原体种类的特征相对应的标签。示出了以分层布置组织的这样的标签，尽管其他布置也是可能的。在一些实施例中，标签可能不是人类可读的。例如，标签可以仅为在输入或模型注册时随机指派的唯一标识符。

类似地，模型1元数据表520可以指示与模型1作为输入消耗的特征相关联的特征标签。例如，在将模型1引入系统时，可以填充此表。例如，模型1可以通过通知生成疗法推荐所需要的标签来将其自身向系统注册。可以利用这种注册功能来使系统灵活且可扩展，从而可以即时添加或更新注册模型。可以针对向系统注册的每个模型维护类似的元数据表(未示出)。

图6示出了用于提取并管理可用于患者的特征的示例方法600。方法600可以例如由特征提取器指令462和图4的其他指令(例如，输入接收器和特征管理器指令(未示出))执行以支持系统对模型的选择。用于提取并管理可用于患者的特征的各种替代方法将是显而易见的。

方法600开始于步骤605，在该步骤605中，设备接收新的患者信息，例如，结构化报告、自由文本、图像数据或单独的值。在步骤610中，设备从新的患者信息中对任何特征连同元数据标签一起进行提取。例如，患者信息可以在接收时已经包括元数据标签，或者单独的特征提取器可以在特征提取时附接标签。如上面所解释的，这样的元数据标签可以用于跟踪哪些特征是可用的以及针对每个模型需要哪些特征。

在步骤615中，设备确定新的患者信息是否与(对系统而言)新的患者相关。例如，设备可以从接收到的患者信息中读取患者标识符，并且确定是否已经将任何特征与该患者标识符相关联地进行了本地存储。如果患者是新的，则设备会为新的患者建立空的特征矩阵。例如，设备可以建立新的位串(其最初全为零)，该位串包括针对系统(例如，通过确定所有特征元数据表510的长度)已知的每个特征的一个位。可替代地，设备可以建立一个新的阵列(其最初全为空值)，该阵列包括针对系统已知的每个特征的一个位置。接下来，在步骤625中，设备查找针对所提取的特征标签的索引，并且在步骤630中，将所提取的特征添加至特征矩阵。例如，在特征矩阵是位串的情况下，设备可以在所有特征元数据表510中定位标签并且取回对应的数字索引。在所示的示例中，如果标签是“#medhist/antibiotic_usage”，则索引可以为“1”。然后，系统可以将位串内所定位的索引处的位置位为值“1”以指示存在该特征。作为另一示例，在特征矩阵是阵列的情况下，系统可以将特征值存储在阵列内所定位的索引处。

将认识到的是，可以使用替代的索引策略，而不是使用标签到索引的查找。例如，可以使用字典数据结构，其中标签本身用作数据结构的键。可替代地，系统范围的标签可以是索引本身(例如，标签可以是“0”、“1”、“2”等)。

在步骤635中，设备确定是否存在在步骤610中提取的、仍要添加到矩阵的任何特征。如果存在这样的特征，则方法循环回到步骤625。一旦最后一个所提取的特征已经被处理，方法就继续进行以在步骤635中结束。在各种实施例中，在结束之前，方法600可以调用、流入或以其他方式开始系统中的下一个算法，例如，模型选择器指令464。

图7示出了用于选择模型以应用于可用的患者特征的示例方法700。方法700可以例如由模型选择器指令464执行。用于选择模型的各种替代方法将是显而易见的。

一旦特征矩阵已经利用新可用的特征或者在一些实施例中利用针对先前可用的特征的新的值被更新，图7就开始于步骤705。在步骤710中，设备初始化两个工作变量：所选定的模型(selectedmodel)和所选定的模型分数(selectedmodelscore)，以在迭代通过所有系统模型的同时跟踪最高“得分”模型，其中将根据本示例算法选择具有最高分数的模型。在步骤715中，设备取回在该迭代中要分析的模型的元数据。例如，设备可以取回图5的模型元数据表520。

然后，在步骤720中，设备开始通过取回模型元数据中列出的特征来迭代通过当前模型的表。在步骤725中，设备确定当前模型的当前特征在特征矩阵中是否被列为可用的。如果当前特征没有在特征矩阵中列为可用的，则设备可以确定所需要的输入不可用于应用当前模型，并且因此该方法应该通过向前跳至步骤750来跳至下一个模型(如果有)。否则，如果特征在特征矩阵中被指示为可用的，则方法700继续进行到步骤730，在步骤730中，设备确定当前模型的模型元数据中是否还保留了附加特征。如果当前特征不是要考虑的最后一个特征，则方法循环回到步骤720以继续其对当前模型的所有输入特征的考虑。一旦所有特征都已经被特征矩阵考虑并认为是存在的，方法就继续进行到步骤735。

在步骤735中，已经确定模型可以被应用的设备开始根据某个度量来确定该模型是否是要应用的“最佳”模型。根据该示例，消耗最大数量的输入的模型被认为是“最佳”的，尽管各种替代实施例可以采用不同的方法以从多个潜在适用的模型中选择一个(或多个)模型。遵循所示的示例，设备通过对模型接受为输入的特征的数量(例如，模型元数据表的长度)进行计数来计算当前模型分数。在步骤740中，设备确定当前模型分数是否超过当前存储在所选定的模型分数变量中的分数。如果超过，则方法继续进行到步骤745，在步骤745中，更新所选定的模型分数以存储当前的模型分数，并且更新所选定的模型变量以存储当前模型的标识符。在另一方面，如果在步骤740中当前分数没有超过所选定的模型分数变量，则方法700向前跳至步骤750，从而使得工作变量保持不变，由此维持对模型的先前的暂定选择。

方法700通过循环回到步骤715直到最后一个模型被处理为止，来继续迭代通过所有的系统模型。然后，方法700继续进行到步骤755，在步骤755中，设备调用现在由所选定的模型变量标识的任何模型。然后，该模型可以消耗可用的功能，并且然后生成用于由系统呈现给用户的输出。然后，方法700继续进行以在步骤760中结束。

图8示出了用于向用户呈现模型输出的示例显示800。如上面所指出的，输出报告器可以解释模型输出并且生成人类可读版本的输出，例如，网页或报告文档。如所示的，输出800的一个示例可以包括关于如何生成推荐的信息，例如，对应用了哪个模型的指示810，基于所提供的输入的模型的置信度820，以及指示哪些特征权重最大、有利于所提出的治疗选项的证据基础。用于解释模型的操作以及相对特征重要性的各种方法将是显而易见的。

显示800可以包括一种或多种推荐疗法连同附加信息，例如，预测的药物抗性的概率(其中模型提供了此类信息)和治疗的描述(例如，如从外部知识库或其他源取回的)。显示800列出了两个这样的治疗840、850，以向临床医生提供对用于治疗患者的可能选项的选择。为了生成这样的替代建议，如上面所指出的，一些模型可以包括针对每种可能的治疗的单独的分类器。然后，可以例如以置信度、预测的抗性的概率或其他标准的次序在显示800上列出提供高于相应阈值的输出的那些分类器。

根据前述内容，各种实施例提供了一种用于基于滚动获取输入数据来生成机器学习输出的系统。特别地，通过在完整特征集的不同子集上训练多个模型，可以随时选择适当的模型进行应用。在期望模型输出或者甚至在所有输入特征都可用之前需要模型输出的情况下(例如，在患者的紧急护理和感染控制的情况下)，这种功能可能特别地有益处。此外，通过基于改变的环境动态(例如，完成的抗生素敏感性测试的数据库中反映的抗性简档趋势)来周期性地重新训练这样的模型，临床建议可以考虑对于临床医生典型不可用的最新数据。

根据前述描述应该显而易见的是，本发明的各种示例实施例可以以硬件或固件来实现。此外，各种示例性实施例可以被实现为存储在机器可读存储介质上的指令，该指令可以由至少一个处理器读取并执行以执行本文详细描述的操作。机器可读存储介质可以包括用于以机器(例如，个人计算机或膝上型计算机、服务器或其他计算设备)可读形式存储信息的任何机制。因此，机器可读存储介质可以包括只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光学存储介质、闪速存储器设备以及类似的存储介质。

本领域技术人员应该认识到的是，本文的任何框图表示体现本发明原理的说明性电路的概念图。类似地，将认识到的是，任何流程图表、流程图、状态转变图、伪代码等都表示各种进程，这些进程可以实质上在机器可读介质中表示，并且因此由计算机或处理器执行，而无论这种计算机或处理器是否明确地示出。

尽管已经特别参考本发明的某些示例性方面对各种示例性实施例进行了详细描述，但是应当理解，本发明能够具有其他实施例，并且本发明的细节能够在各种明显的方面进行修改。如对本领域技术人员而言显而易见的，可以在保持在本发明的精神和范围内的同时实现变化和修改。因此，前述公开内容、说明书和附图仅出于说明性的目的，并且不以任何方式限制本发明，本发明仅由权利要求书限定。