用于缺陷分类的方法和系统与流程

相关申请的交叉参考

本申请涉及且主张来自下文所列申请(“相关申请”)的最早可用有效提交日期的权利(例如，主张除临时专利申请以外的最早可用优先日期，或根据35usc§119(e)规定主张临时专利申请、所述相关申请的任意和全部父代申请、祖父代申请、曾祖父代申请等等的权利)。

相关申请：

出于美国专利商标局(uspto)的额外法定要求，本申请构成2015年5月8日提交的申请第62/158,605号的以李贺(lihe)、亚当陈倩辉(chienhueiadamchen)、桑卡尔·文卡塔拉曼(sankarvenkataraman)、约翰·r·乔丹三世(johnr.jordaniii)、尹华军(huajunying)和辛哈·哈什(sinhaharsh)为发明者的标题为用于高纯度缺陷分类和缺陷数据分析的方法(methodforhighpuritydefectclassificationanddefectdataanalysis)的美国临时专利申请的正规(非临时)专利申请。申请第62/158,605号的全文以引用的方式并入本文中。

本发明大体上涉及缺陷检视和分类，且特定来说，本发明涉及提供高纯度缺陷分类的缺陷分类器的自动产生。

背景技术：

制造例如逻辑和存储器装置的半导体装置通常包含使用大量半导体制造过程处理例如半导体晶片的衬底以形成半导体装置的多种特征和多个层级。随着半导体装置大小变得越来越小，开发增强的检验和检视装置和程序变得至关重要。一个此程序包含分类且分析样本(例如晶片)上的缺陷。如贯穿本发明使用的术语“晶片”通常是指由半导体或非半导体材料形成的衬底。举例来说，半导体或非半导体材料可包含(但不限于)单晶硅、砷化镓和磷化铟。

缺陷检视是检视工具通过其检视由检验器或检验工具获取的缺陷的过程。缺陷检视需要基于一组经计算缺陷属性进行缺陷分类和缺陷类型的区分或分离。然而，当前缺陷分类方法具有若干限制。

首先，用于缺陷分类的决策树通常是使用经计算属性手动产生，这是耗时的过程。在此情况中，用户必须从大量(例如，大于80个)属性选择决策树的每一节点的最佳属性。另外，树大小可变大(例如，大于50个节点)。另外，手动产生的树的质量与用户对可用属性的解释和理解以及决策树产生过程有关。此外，测量缺陷类型可分离性的当前方法有限。先前方法需要用户手动发现对于类型对的最佳属性以分离两个缺陷类型。而且，通过生产的当前分类器监测方法耗时且复杂。

因而，提供解决上文识别的缺陷的提供经改进缺陷分类、缺陷类型可分离性和分类器监测的系统和方法将为有利的。

技术实现要素：

揭示一种用于缺陷分类的方法。在一项说明性实施例中，所述方法包含获取样本的一或多个图像，所述一或多个图像包含多个缺陷类型。在另一说明性实施例中，所述方法包含从用户接口装置接收指示基于样本的一或多个训练缺陷的一或多个属性进行所述一或多个训练缺陷的手动分类的信号。在另一说明性实施例中，所述方法包含基于所述经接收的手动分类和所述一或多个训练缺陷的所述属性产生整体学习分类器。在另一说明性实施例中，所述方法包含基于经接收的分类纯度要求产生所述一或多个训练缺陷的每一缺陷类型的可信度阀值。在另一说明性实施例中，所述方法包含获取包含一或多个测试缺陷的一或多个图像。在另一说明性实施例中，所述方法包含使用所述经产生的整体学习分类器对所述一或多个测试缺陷分类。在另一说明性实施例中，所述方法包含使用所述经产生的整体学习分类器针对所述一或多个测试缺陷中的每一者计算可信度水平。在另一说明性实施例中，所述方法包含经由所述用户接口装置报告具有低于所述经产生的可信度阀值的可信度水平的一或多个测试缺陷以用于手动分类。

揭示一种用于确定缺陷类型对分数的方法。在一项说明性实施例中，所述方法包含获取包含多个缺陷类型的一或多个图像，所述多个缺陷类型包含第一缺陷类型和至少第二缺陷类型。在另一说明性实施例中，所述方法包含针对所述第一缺陷类型和所述至少第二缺陷类型产生第一整体学习分类器。在另一说明性实施例中，所述方法包含使用所述第一整体学习分类器针对与所述第一缺陷类型和所述至少第二缺陷类型相关联的多个属性中的每一者计算准确度指数的平均降低。在另一说明性实施例中，所述方法包含识别具有准确度指数的最大平均降低的选定数目个属性。在另一说明性实施例中，所述方法包含使用具有所述最大平均降低准确度指数的所述经识别的选定数目个属性来产生第二整体学习分类器。在另一说明性实施例中，所述方法包含确定与所述第二经产生的整体学习分类器相关联的训练误差。在另一说明性实施例中，所述方法包含基于所述经确定的训练误差计算与所述第一缺陷类型和所述第二缺陷类型相关联的缺陷类型对分数。

揭示一种用于确定缺陷数据的充分性以进行分类的方法。在一项说明性实施例中，所述方法包含从样本获取一组缺陷数据，所述缺陷数据包含与包含多个缺陷类型的多个缺陷相关联的图像数据。在另一说明性实施例中，所述方法包含从用户接口装置接收指示进行所述多个缺陷的手动分类的信号。在另一说明性实施例中，所述方法包含将至少所述第一缺陷类型的缺陷数据分布成n个数据群组。在另一说明性实施例中，所述方法包含将所述n个数据群组的一群组识别为含有测试数据。在另一说明性实施例中，所述方法包含将未经识别为含有测试数据的所述经分布缺陷数据的n-1个数据群组识别为含有训练数据。在另一说明性实施例中，所述方法包含针对所述n个群组的至少第一群组，基于所述n-1个数据群组中含有的所述训练缺陷数据递增地产生一系列分类器，其中使用所述n-1个数据群组的所述训练缺陷数据内含有的至少第一缺陷类型的递增百分比产生每一分类器。在另一说明性实施例中，所述方法包含通过将所述系列分类器中的每一者应用到所述经分布缺陷数据的所述n-1个群组中未含有的所述测试数据而针对用于至少所述第一缺陷类型的所述系列分类器中的每一者确定准确度值。在另一说明性实施例中，所述方法包含基于n个群组的至少所述第一群组的经产生准确度分数和所述n个群组的至少一个额外群组的至少一个额外经产生准确度分数而针对至少所述第一缺陷类型产生缺陷数据充分性分数。

揭示一种用于缺陷分类的设备。在一项说明性实施例中，所述设备包含检验工具。在另一说明性实施例中，所述检验工具包含经配置以获取样本的至少部分的一或多个图像的一或多个检测器。在另一说明性实施例中，所述设备包含用户接口装置。在另一说明性实施例中，所述设备包含控制器。在另一说明性实施例中，所述控制器包含通信耦合到所述检验工具的所述一或多个检测器的一或多个处理器，其中所述一或多个处理器经配置以执行存储于存储器中的一组程序指令。在另一说明性实施例中，所述程序指令组经配置以使所述一或多个处理器：从所述检验工具的所述一或多个检测器接收所述一或多个图像；从用户接口装置接收指示基于所述样本的一或多个训练缺陷的一或多个属性进行所述一或多个训练缺陷的手动分类的信号；基于所述经接收的手动分类和所述一或多个训练缺陷的所述属性产生整体学习分类器；基于经接收的分类纯度要求产生所述一或多个训练缺陷的每一缺陷类型的可信度阀值；获取包含一或多个测试缺陷的一或多个图像；使用所述经产生的整体学习分类器对所述一或多个测试缺陷分类；使用所述经产生的整体学习分类器针对所述一或多个测试缺陷中的每一者计算可信度水平；且经由所述用户接口装置报告具有低于所述经产生的可信度阀值的可信度水平的一或多个测试缺陷以用于手动分类。

揭示一种用于确定一或多个缺陷类型对分数的设备。在一项说明性实施例中，所述设备包含检验工具。在另一说明性实施例中，所述检验工具包含经配置以获取样本的至少部分的一或多个图像的一或多个检测器。在另一说明性实施例中，所述设备包含用户接口装置。在另一说明性实施例中，所述设备包含控制器。在另一说明性实施例中，所述控制器包含通信耦合到所述检验工具的所述一或多个检测器的一或多个处理器，其中所述一或多个处理器经配置以执行存储于存储器中的一组程序指令。在另一说明性实施例中，所述程序指令组经配置以使所述一或多个处理器：从所述检验工具接收所述一或多个图像，所述一或多个图像包含多个缺陷类型，所述多个缺陷类型包含第一缺陷类型和至少第二缺陷类型；针对所述第一缺陷类型和所述至少第二缺陷类型产生第一整体学习分类器；使用所述第一整体学习分类器针对与所述第一缺陷类型和所述至少第二缺陷类型相关联的多个属性中的每一者计算准确度指数的平均降低；识别具有准确度指数的最大平均降低的选定数目个属性；使用具有所述最大平均降低准确度指数的所述经识别的选定数目个属性来产生第二整体学习分类器；确定与所述第二经产生的整体学习分类器相关联的训练误差；和基于所述经确定的训练误差计算与所述第一缺陷类型和所述第二缺陷类型相关联的缺陷类型对分数。

揭示一种用于确定缺陷数据的充分性以进行分类的设备。在一项说明性实施例中，所述设备包含检验工具。在另一说明性实施例中，所述检验工具包含经配置以获取样本的至少部分的一或多个图像的一或多个检测器。在另一说明性实施例中，所述设备包含用户接口装置。在另一说明性实施例中，所述设备包含控制器。在另一说明性实施例中，所述控制器包含通信耦合到所述检验工具的所述一或多个检测器的一或多个处理器，其中所述一或多个处理器经配置以执行存储于存储器中的一组程序指令。在另一说明性实施例中，所述程序指令组经配置以使所述一或多个处理器：从样本接收所述缺陷数据组，所述缺陷数据包含与包含多个缺陷类型的多个缺陷相关联的图像数据；和基于所述缺陷数据的n个群组的至少第一群组的经产生准确度分数和缺陷数据的所述n个群组的至少一个额外群组的至少一个额外经产生准确度分数而针对至少第一缺陷类型产生缺陷数据充分性分数。

应了解，前述一般描述和以下具体实施方式两者仅为例示性和说明性的且未必限制本发明。并入本说明书中且构成本说明书的部分的附图说明本发明的实施例，且与一般描述一起用于解释本发明的原理。

附图说明

所属领域的技术人员可通过参考附图而更佳理解本发明的多个优点，其中：

图1是根据本发明的一个实施例的用于缺陷分类和分析的系统的框图。

图2是说明根据本发明的一个实施例的在用于缺陷分类的方法中执行的步骤的流程图。

图3是说明根据本发明的一个实施例的在用于确定缺陷类型对分数的方法中执行的步骤的流程图。

图4是说明根据本发明的一个实施例的在用于确定缺陷数据充分性分数的方法中执行的步骤的流程图。

具体实施方式

现在将详细参考在附图中说明的所揭示主题。

大体上参考图1到4，根据本发明描述用于缺陷分类和分析的方法和系统。本发明的实施例涉及由检验或检视工具提供的自动缺陷分类。在一些实施例中，本发明提供自动产生和/或训练提供关于缺陷分类的高纯度输出的基于整体学习的缺陷分类器。另外，本发明的整体学习分类器提供分类器监测。本发明的额外实施例提供缺陷类型对可分离性分析。在此意义上，本发明的实施例涉及在分析与缺陷对相关联的一或多个属性是否足以分离两个缺陷时确定缺陷类型对分数。本发明的额外实施例提供给定缺陷数据组的充分性确定以便对给定缺陷数据分类。

图1说明根据本发明的一或多个实施例的用于缺陷分类和分析的系统100的概念框图。在一个实施例中，系统100包含检验工具102。在一个实施例中，检验工具102经配置以测量安置在样本(例如(但不限于)半导体晶片(例如，硅晶片))的表面上或表面中的一或多个缺陷的一或多个特性。

检验工具102可包含所属领域中已知能够检视缺陷的任何检验配置。在一个实施例中，如图1中描绘，检验工具102为电子束缺陷检视(edr)工具。例如，如图1中展示，检验工具102包含电子源101(例如，电子枪)、检测器103(例如，二次电子检测器)和所属领域中已知用于实行缺陷检视的任何一或多个电子光学组件105。

本文中应注意，本发明的范围通常不限于系统100的edr配置或电子束检视。在一个实施例中，检验工具102可经配置为基于光的检验工具。举例而言，检验工具102可(但不需要)经配置用于暗场检验。通过另一实例，检验工具102可(但不需要)经配置用于明场检验。

在一个实施例中，检验工具102包含一或多个光源(未展示)以照明样本112。光源可包含所属领域中已知的任何光源。例如，光源可包含窄带光源，例如激光源。通过另一实例，光源可包含宽带光源，例如放电灯或激光维持等离子(lsp)光源。在另一实施例中，光源可经配置以(经由多种光学组件)将光引导到安置在样本载物台115上的样本112的表面。此外，检验工具102的多种光学组件经配置以将从晶片112的表面反射、散射和/或衍射的光引导到检验工具102的检测器(未展示)。检测器可包含所属领域中已知的任何适当光检测器。在一个实施例中，检测器可包含(但不限于)电荷耦合装置(ccd)检测器、光电倍增管(pmt)检测器等。

应注意，为了简洁起见，已在简化框图中描绘检验工具102。此描绘(包含组件和几何配置)并非限制性的且仅是为了说明性目的而提供。在本文中应认知，检验工具102可包含任何数目个光学元件(例如，透镜、镜、滤光器、光束分离器等)、能量源(例如，光源或电子源)和检测器(例如，光检测器或二次电子检测器)以实行安置在样本载物台115上的晶片112的一或多个部分的检验。

在另一实施例中，系统100包含控制器104。在一个实施例中，控制器104通信耦合到检验工具102。例如，控制器104可耦合到检验工具102的检测器103的输出。控制器104可以任何适合方式(例如，通过由图1中展示的线指示的一或多个传输媒体)耦合到检测器，使得控制器104可接收由检验工具102产生的输出。

在一个实施例中，控制器104包含通信耦合到检测器103和存储器108的一或多个处理器106。在一个实施例中，一或多个处理器106经配置以执行维持在存储器108中的程序指令116组。

控制器104的一或多个处理器106可包含所属领域中已知的任何一或多个处理元件。在此意义上，一或多个处理器106可包含经配置以执行软件算法和/或指令的任何微处理器型装置。在一个实施例中，一或多个处理器106可由桌上型计算机、主计算机系统、工作站、图像计算机、平行处理器或经配置以执行程序(其经配置以操作系统100)的其它计算机系统(例如，网络计算机)组成，如贯穿本发明所描述。应认知，贯穿本发明描述的步骤可通过单个计算机系统或者多个计算机系统实行。一般来说，术语“处理器”可经广泛定义以涵盖具有执行来自非暂时性存储器媒体(例如，存储器108)的程序指令的一或多个处理元件的任何装置。而且，系统100的不同子系统(例如，检验工具、显示器或用户接口110)可包含适合于实行贯穿本发明描述的步骤的至少部分的处理器或逻辑元件。因此，上文描述不应解释为对本发明的限制而仅解释为说明。

存储器媒体108可包含所属领域中已知适合于存储可由相关联的一或多个处理器106执行的程序指令的任何存储媒体。例如，存储器媒体108可包含非暂时性存储器媒体。例如，存储器媒体108可包含(但不限于)只读存储器、随机存取存储器、磁性或光学存储器装置(例如，磁盘)、磁带、固态磁盘等。在另一实施例中，本文中应注意，存储器108经配置以存储来自检验工具102的一或多个结果和/或本文中描述的多种步骤的输出。应进一步注意，存储器108可与一或多个处理器106一起容置在共同控制器外壳中。在替代实施例中，存储器108可相对于处理器和控制器104的物理位置远程定位。例如，控制器104的一或多个处理器106可存取远程存储器(例如，服务器)，可通过网络(例如，因特网、内部网等)存取。在另一实施例中，存储器媒体108存储用于使一或多个处理器106实行贯穿本发明描述的多种步骤的程序指令116。

在另一实施例中，系统100的控制器104可经配置以通过可包含有线和/或无线部分的传输媒体从其它系统接收和/或获取数据或信息(例如，来自检验系统的检验结果或来自度量系统的度量结果)。这样，传输媒体可充当控制器104与系统100的其它子系统之间的数据链路。而且，控制器104可经由传输媒体(例如，网络连接)将数据发送到外部系统。

在另一实施例中，系统100包含用户接口110。在一个实施例中，用户接口110通信耦合到控制器104的一或多个处理器106。在另一实施例中，用户接口装置110可由控制器104利用以接受来自用户的选择和/或指令。在一些实施例中，在本文中进一步描述，显示器114可用于将数据显示给用户(未展示)。继而，用户可响应于经由显示装置114显示给用户的数据而经由用户输入装置113输入选择和/或指令。

用户接口装置110可包含所属领域中已知的任何用户接口。例如，用户接口110的用户输入装置113可包含(但不限于)键盘、键台、触摸屏、控制杆、旋钮、滚轮、轨迹球、开关、拨号盘、滑杆、卷杆、滑件、把手、触控垫、踏板、方向盘、操纵杆、面板输入装置等。在触摸屏接口装置的情况中，所属领域的技术人员应认知，大量触摸屏接口装置可适合实施于本发明中。例如，显示装置114可与触摸屏接口集成，例如(但不限于)电容式触摸屏、电阻式触摸屏、基于表面声波的触摸屏、基于红外线的触摸屏等。在一般意义上，能够与显示装置的显示部分集成的任何触摸屏接口适合实施于本发明中。在另一实施例中，用户输入装置113可包含(但不限于)面板安装接口。

显示装置114可包含所属领域中已知的任何显示装置。在一个实施例中，显示装置可包含(但不限于)液晶显示器(lcd)。在另一实施例中，显示装置可包含(但不限于)基于有机发光二极管(oled)的显示器。在另一实施例中，显示装置可包含(但不限于)crt显示器。所属领域的技术人员应认知，多种显示装置可适合实施于本发明中且显示装置的特定选择可取决于多种因素，包含(但不限于)外观尺寸、成本等。在一般意义上，能够与用户输入装置(例如，触摸屏、面板安装接口、键盘、鼠标、轨迹垫等)集成的任何显示装置适合实施于本发明中。

在一个实施例中，控制器104的一或多个处理器106经编程以实行缺陷分类器产生和缺陷分类程序的一或多个步骤。在一个实施例中，一或多个处理器106可基于经手动分类的训练缺陷和经计算属性自动产生整体学习分类器。另外，一或多个处理器可根据所接收的用户选定纯度要求自动计算每类型可信度阀值。一或多个处理器106可针对每一测试缺陷(例如，生产晶片的测试缺陷)计算可信度测量。另外，在生产中，一或多个处理器106可将具有小于可信度阀值的可信度水平的缺陷报告到用户接口装置110以用于通过用户手动检视。

在另一实施例中，控制器104的一或多个处理器106经编程以实行缺陷类型对分数确定程序的一或多个步骤。在一个实施例中，通过一或多个处理器106对缺陷类型对的缺陷类型计算缺陷类型对分数。在此方面，计算任何两个缺陷类型之间的缺陷类型对分数。例如，在其中缺陷数据组包含缺陷类型a、b和c的情况中，一或多个处理器106可计算以下每一者：缺陷类型a与b之间的缺陷类型对分数；b与c之间的缺陷类型对分数；和a与c之间的缺陷类型对分数。在另一实施例中，针对缺陷对数据，可训练整体学习分类器(例如，随机森林分类器)且可计算每一属性的平均准确度降低指数。在对平均准确度降低指数排序后，使用前n个属性以训练额外随机森林分类器，其中计算训练误差(例如，袋外(oob)误差)。具有低于预定义阀值的分数的类型对指示属性不足以分离两个缺陷类型。

在另一实施例中，一或多个处理器106经编程以实行缺陷数据充分性确定程序的一或多个步骤。在一个实施例中，一或多个处理器106接收经分布成n个群组(例如，文件夹)的手动分类缺陷数据和属性。另外，n-1个群组(例如，文件夹)的缺陷数据可用作训练数据，而剩余群组用作测试数据。在计算特定缺陷类型的分数时，一或多个处理器106可递增地增加训练数据中的特定缺陷类型的缺陷的数目(例如，从10％递增增加到100％)。在此情况中，一或多个处理器106可在每一递增步骤处构建分类器且将其应用到测试数据。接着基于每一递增缺陷含量步骤处的准确度的偏差计算准确度分数。接着通过针对每一群组(例如，文件夹)重复此过程且跨全部数据群组(例如，文件夹)平均化结果而产生数据充分性分数。接着可针对每一缺陷类型重复此过程。

可如本文中描述般进一步配置图1中说明的系统100的实施例。另外，系统100可经配置以执行本文中描述的方法实施例的任一者的任何其它步骤。

图2是说明根据本发明的一个实施例的在缺陷分类的方法200中执行的步骤的流程图。本文中应注意，可全部或部分通过系统100实施方法200的步骤。然而，应进一步认知，方法200不限于系统100，因为额外或替代系统级实施例可实行方法200的全部或部分步骤。

在步骤202中，获取包含多个缺陷类型的一或多个图像107。在一个实施例中，如图1中展示，样本112的一或多个图像107中含有的缺陷的至少部分能够充当训练缺陷。在一个实施例中，检验工具102获取一或多个图像107且将一或多个图像107发射到一或多个控制器104。进一步预期一或多个图像107可存储于存储器108中且用于随后分析。

在步骤204中，实行一或多个训练缺陷的手动分类。例如，用户可对经获取的一或多个图像107中含有的训练缺陷手动分类。例如，用户可基于一或多个训练缺陷的一或多个属性而经由用户接口装置110对训练缺陷手动分类。继而，用户接口装置110可将指示样本112的一或多个训练缺陷的手动分类的信号发射到控制器104的一或多个处理器106。在另一实施例中，控制器104可接收训练缺陷的手动分类且将结果存储在存储器108中。用于实行步骤204的分类的一或多个属性包含可从缺陷检验或检视工具导出的任何一或多个属性。例如，一或多个属性可包含(但不限于)图像特征量、缺陷坐标、成分分析结果、制造起始历史数据或机器qc(质量控制)数据。此外，在一些实施例中，可从多个类型的缺陷检验工具或系统获得一或多个属性，所述多个类型的缺陷检验工具或系统例如(但不限于)光学或sem异物检验机器、图案检验机器、缺陷检视机器、spm或元素分析机器。在2009年10月13日颁布的美国专利第7,602,962号中描述适合于缺陷分类的属性，所述专利的全文以引用的方式并入本文中。

在一个实施例中，可通过自动分类功能(例如(但不限于)实时自动分类(rt-adc))处理一或多个训练缺陷的属性以对一或多个训练缺陷分类。应注意，利用rt-adc能提供训练缺陷的“粗略”自动分类而不牺牲高处理速度。在2009年10月13日颁布的美国专利第7,602,962号中大体上描述实时自动分类，所述专利的全文以引用的方式并入上文中。

在步骤206中，产生整体学习分类器。在一个实施例中，基于步骤208的训练缺陷的手动分类和一或多个属性产生或训练整体学习分类器。在一个实施例中，控制器104的一或多个处理器106可产生或训练整体学习分类器且将整体学习分类器存储于存储器108中。在一个实施例中，整体学习分类器为随机森林分类器。一或多个处理器106可训练随机森林分类器，所述随机森林分类器通过在训练周期期间建构多个决策树且输出类别(其为个别树的类别的模式)而操作。在此方面，一或多个处理器106可使用训练缺陷的手动分类和相关联的属性以训练随机森林分类器。由布莱曼(breiman)在随机森林(randomforests)(机器学习(machinelearning)，第45卷，第1期，第5到32页(2001年))中大体上描述随机森林分类器的实施方案，所述案的全文以引用的方式并入本文中。也由库尔卡尼(kulkarni)等人在随机森林分类器：调查与未来研究方向(randomforestclassifiers:asurveyandfutureresearchdirections)(先进计算的国际期刊(internationaljournalofadvancedcomputing)，第36卷，第1期，第1144到1153页(2013年))中论述随机森林，所述案的全文以引用的方式并入本文中。

在另一实施例中，整体学习分类器为支持向量机器(svm)。一或多个处理器106可使用训练缺陷的手动分类和相关联的属性以训练基于svm的分类器。由谢(xie)等人在缺陷图案在使用支持向量机器的光学检验中的检测和分类(detectionandclassificationofdefectpatternsinopticalinspectionusingsupportvectormachines)(计算机科学中的智能计算理论讲义(intelligentcomputingtheorieslecturenotesincomputerscience)，第7995卷、第376到384页(2013年))中大体上描述基于svm的分类器的实施方案，所述案的全文以引用的方式并入本文中。

在步骤208中，产生一或多个训练缺陷的每一缺陷类型的可信度阀值。在一个实施例中，一或多个处理器106基于从用户接口110接收的可信度阀值产生所述一或多个训练缺陷的每一缺陷类型的可信度阀值。在另一实施例中，由一或多个处理器106经由交叉验证程序而产生可信度阀值。在另一实施例中，可经由用户输入(例如，经由用户接口110的用户输入)而手动设定可信度阀值。

例如，用户可经由用户接口110选择纯度要求或纯度水平。继而，用户接口装置110可将指示选定纯度要求的信号发射到控制器104的一或多个处理器106。接着，控制器104可将选定纯度要求存储在存储器108中。本文中应注意，所接收的纯度要求可依据多种参数变动。例如，所接收的纯度要求可取决于用户偏好和/或给定生产晶片上存在的预期缺陷类型。例如，用户可对于全部缺陷类型选择单个分类纯度要求(例如，90％)。在另一情况中，用户可对于第一缺陷类型选择第一分类纯度要求(例如，90％)且对于第二缺陷类型选择第二分类纯度要求(例如，85％)等等。应进一步注意，在一些实施例中，提高的纯度要求与较高可信度阀值相关。在此方面，控制器104的一或多个处理器106响应于经由用户接口110的用户输入而自动调整可信度阀值。

在步骤210中，获取包含一或多个测试缺陷的一或多个图像。在一个实施例中，一或多个测试缺陷安置在与一或多个训练缺陷不同的样本(例如，晶片)上。例如，检验工具102可从生产样本(例如，晶片)获取图像数据，借此控制器104从给定图像数据提取一或多个测试缺陷。此外，可从来自训练样本的图像数据提取用于产生整体学习分类器的训练缺陷。在另一实施例中，本发明的一或多个测试缺陷和一或多个训练缺陷安置在相同样本(例如，晶片)上。在此方面，用于提取训练缺陷的图像数据(例如，一或多个图像)也用于获取本发明的一或多个测试缺陷。

在步骤212中，使用所产生的整体学习分类器对一或多个测试缺陷分类。在一个实施例中，一或多个处理器106可检索存储在存储器108中的整体学习分类器(见步骤206)，且将整体学习分类器应用到在步骤210中获取的一或多个测试缺陷。在此方面，一旦已经在步骤206中训练整体学习分类器，接着便可使用所述整体学习分类器以对从给定样本(例如，生产晶片)获取的图像数据中含有的一或多个测试缺陷分类。

在步骤214中，针对一或多个测试缺陷中的每一者计算分类可信度水平。在一个实施例中，一或多个处理器106使用在步骤206中训练的整体学习分类器针对一或多个测试缺陷中的每一者或至少一些测试缺陷计算可信度水平。本文中应注意，可以所属领域中已知的任何方式计算针对一或多个缺陷的分类的可信度水平。在一个实施例中，一或多个处理器106经由投票程序计算一或多个测试缺陷的可信度水平。例如，在随机森林分类器的情况中，随机森林分类器的每一树具有在本文中称为“投票”的分类输出。在此情况中，可(但不需要)经由通过以下给定的主要两个投票方案计算一或多个测试缺陷的可信度水平：

在步骤216中，经由用户接口装置报告具有低于经产生的可信度阀值的可信度水平的一或多个测试缺陷以用于手动分类。在一个实施例中，一或多个处理器106比较步骤214的经计算可信度水平与步骤208的经产生可信度阀值。在其中经计算可信度水平高于可信度阀值的情况中，接受分类且将其存储于存储器108中。在其中经计算可信度水平低于可信度阀值的情况中，对给定的一或多个测试缺陷编索引且将所述测试缺陷报告给用户以用于手动分类。例如，在其中经计算可信度水平低于一或多个测试缺陷的可信度阀值的情况中，可在显示器114上显示与给定的一或多个测试缺陷相关联的图像数据和/或已知属性。在此方面，用户可经由用户输入113执行这些测试缺陷的手动分类。继而，用户接口装置110接着可发射这些测试缺陷的手动计算且将其存储于存储器108中。在此方面，接着，可将自动分类的测试缺陷(使用整体学习分类器分类)和手动分类的测试缺陷(经由用户输入分类)汇总到综合数据库中以用于检视和/或分析。

另外，在已经分析一或多个测试缺陷后，方法可移动到步骤218，借此如果额外测试缺陷需要分析，那么重复步骤212到216。在其中额外测试缺陷无需分析的情况中，过程结束。

在另一实施例中，一或多个测试缺陷的每一缺陷类型的可信度水平可由一或多个处理器106使用，以监测由系统100产生的整体学习分类器的有效性。例如，每一缺陷类型的平均可信度水平可由一或多个处理器106使用以监测系统100的整体学习分类器。在此方面，可使用与每一缺陷类型的分类相关联的平均可信度水平，以通过指示晶片生产过程中的缺陷类型的柏拉图(pareto)改变和/或新缺陷类型的产生而监测系统100的整体学习分类器。

图3是说明根据本发明的一个实施例的在确定缺陷类型对分数的方法300中执行的步骤的流程图。本文中应注意，可全部或部分通过系统100实施方法300的步骤。然而，应进一步认知，方法300不限于系统100，因为额外或替代系统级实施例可实行方法300的全部或部分步骤。应进一步注意，除非另有指明，否则在方法200的背景内容中描述的实施例和实例应解释为扩展到方法300(且反之亦然)。

在步骤302中，获取包含多个缺陷类型的一或多个图像107。在一个实施例中，多个缺陷类型包含第一缺陷类型和至少第二缺陷类型。在此方面，第一缺陷类型和第二缺陷类型形成缺陷类型对。本文中应注意，一组给定检验数据可包含大量缺陷类型。在此方面，两个不同缺陷类型的任何组合可形成缺陷类型对。

在步骤304中，针对缺陷类型对产生或训练第一整体学习分类器。在一个实施例中，一或多个处理器106可针对缺陷类型对训练第一整体学习分类器。例如，一或多个处理器106可针对第一缺陷类型(a)和第二缺陷类型(b)产生第一整体学习分类器。通过另一实例，一或多个处理器106可针对第二缺陷类型(b)和第三缺陷类型(c)产生第一整体学习分类器。通过另一实例，一或多个处理器106可针对第一缺陷类型(a)和第三缺陷类型(c)产生第一整体学习分类器。本文中应注意，上文中的缺陷类型的标记并非限制性的且仅是为了说明性目的而提供。此外，多种缺陷类型不限于上文提供的实例且可包含所获取缺陷数据中存在的任何缺陷类型对。

第一整体学习分类器可包含所属领域中已知的任何整体学习分类器。例如，如本文中先前论述，第一整体学习分类器可包含(但不限于)随机森林分类器或基于svm的分类器。应进一步注意，控制器104的一或多个处理器106可通过随机选择训练数据的子集且接着多次随机选择训练属性的子集以产生多个决策树而训练整体学习分类器(例如，随机森林分类器)。

在步骤306中，使用第一整体学习分类器计算与所述缺陷类型对相关联的每一属性的准确度指数的平均降低。例如，一或多个处理器106可使用第一整体分类器计算与缺陷类型对相关联的每一(或至少一些)属性的准确度指数的平均降低。例如，一或多个处理器106可使用第一整体学习分类器针对与第一缺陷类型和第二缺陷类型(或第二缺陷类型和第三缺陷类型；第一缺陷类型和第三缺陷类型)相关联的每一(或至少一些)属性计算准确度指数的平均降低。

在步骤308中，识别具有准确度指数的最大平均降低的n个属性。本文中应注意，缺陷类型对(例如，第一缺陷类型/第二缺陷类型对)的准确度指数的平均降低表示最佳适合于(或至少充分适合于)分离给定缺陷类型对的第一缺陷类型和第二缺陷类型的属性的测量。

在一个实施例中，一或多个处理器106可对准确度指数的平均降低排序，且接着识别具有准确度指数的最大平均降低的选定数目(n)。在另一实施例中，一或多个处理器106可以选定方式(例如，基于平均降低、中值降低等)对准确度指数排序，且识别显示选定特征(例如，最大平均降低、最大中值降低、来自具有准确度的最大平均或中值降低的n个属性的选定数目)的选定数目个属性。本文中应注意，本发明和方法300不限于步骤308的统计分析，步骤308仅是为了说明性目的而提供。相反，应注意，步骤308应解释为扩展到用于识别与准确度指数的降低相关联的属性的子集的任何统计分析过程。

在步骤310中，使用步骤308的经识别属性产生或训练第二整体学习分类器。在一个实施例中，一或多个处理器106可使用具有准确度指数的最大平均降低的n个属性训练第二整体学习分类器。第二整体学习分类器可包含所属领域中已知的任何整体学习分类器。例如，如本文中先前论述，第二整体学习分类器可包含(但不限于)随机森林分类器或基于svm的分类器。

在步骤312中，确定与第二经产生的整体学习分类器相关联的训练误差。在一个实施例中，一或多个处理器106确定与第二经产生的整体学习分类器相关联的训练误差。例如，一或多个处理器106可确定与第二经产生的整体学习分类器相关联的袋外(oob)训练误差。在以下每一者中大体上论述oob误差的确定：布莱曼(breiman)的随机森林(randomforests)(机器学习(machinelearning)，第45卷，第1期，第5到32页(2001年))，所述案的全文以引用的方式并入上文中；和库尔卡尼(kulkarni)等人的随机森林分类器：调查与未来研究方向(randomforestclassifiers:asurveyandfutureresearchdirections)(先进计算的国际期刊(internationaljournalofadvancedcomputing)，第36卷，第1期，第1144到1153页(2013年))，所述案的全文以引用的方式并入本文中。

在步骤314中，计算与缺陷类型对相关联的类型对分数。在一个实施例中，一或多个处理器106可基于步骤312的训练误差确定计算与缺陷类型对相关联的类型对分数。例如，一或多个处理器106可基于步骤312的训练误差确定计算与第一缺陷类型和第二缺陷类型(或第二缺陷类型和第三缺陷类型；第一缺陷类型和第三缺陷类型等等)相关联的类型对分数。例如，在其中使用oob误差以计算训练误差的情况中，可使用以下关系计算缺陷类型对分数：

类型对分数＝1-oob误差

在另一实施例中，一或多个处理器106可比较经计算的类型对分数与预定义阀值。在另一实施例中，在类型对分数低于预定义阀值(例如，经由用户输入选择)的情况中，一或多个处理器106可提供在步骤308中选择的属性不足以分离缺陷类别对(例如，第一缺陷类别和第二缺陷类别)的缺陷类别的指示。此外，一或多个处理器106可经由用户接口装置110的显示器114将类型对分数报告给用户或控制器104的存储器108。

在另一实施例中，控制器104可贯穿半导体装置生产过程监测类型对分数。本文中应注意，类型对分数的减小可指示给定样本中的一或多个新缺陷类别的形成。在此方面，监测类型对分数提供在生产过程期间是否已形成新缺陷类别的指示。

此外，在其中额外缺陷类型对需要分析的情况中，步骤316可使方法重复步骤304到314以针对额外缺陷类型对确定类型对分数。在其中额外缺陷类型对无需分析的情况中，方法300结束。

图4是说明根据本发明的一个实施例的在确定缺陷数据充分性分数的方法400中执行的步骤的流程图。本文中应注意，可全部或部分通过系统100实施方法400的步骤。然而，应进一步认知，方法300不限于系统100，因为额外或替代系统级实施例可实行方法400的全部或部分步骤。应进一步注意，除非另有指明，否则在方法200和300的背景内容中描述的实施例和实例应解释为扩展到方法400(且反之亦然)。

在步骤402中，获取包含多个缺陷类型的一或多个图像107。在一个实施例中，检验工具102获取一或多个图像107且将一或多个图像107发射到一或多个控制器104。

在步骤404中，实行一或多个缺陷数据的手动分类。例如，用户可手动分类一或多个图像107中含有的缺陷数据的缺陷。例如，用户可基于一或多个缺陷的一或多个属性经由用户接口装置110对缺陷手动分类。继而，用户接口装置110可将指示样本112的一或多个缺陷的手动分类的信号发射到控制器104的一或多个处理器106。在另一实施例中，控制器104可接收缺陷的手动分类且将结果存储在存储器108中。用于实行步骤404的分类的一或多个属性包含可从缺陷检验或检视工具导出的任何一或多个属性。例如，一或多个属性可包含(但不限于)图像特征量、缺陷坐标、成分分析结果、制造起始历史数据、机器qc(质量控制)数据。此外，在一些实施例中，可从多个类型的缺陷检验工具或系统获得一或多个属性，所述多个类型的缺陷检验工具或系统例如(但不限于)光学或sem异物检验机器、图案检验机器、缺陷检视机器、spm或元素分析机器。在2009年10月13日颁布的美国专利第7,602,962号中描述适合于缺陷分类的属性，所述专利的全文之前以引用的方式并入本文中。

在一个实施例中，可通过自动分类功能(例如(但不限于)实时自动分类(rt-adc))处理一或多个训练缺陷的属性以对一或多个训练缺陷分类。应再次注意，利用rt-adc能提供训练缺陷的“粗略”自动分类而不牺牲高处理速度。在2009年10月13日颁布的美国专利第7,602,962号中再次大体上描述实时自动分类，所述专利的全文以引用的方式并入上文中。

在步骤406中，将缺陷数据分布成n个群组。例如，在步骤404中的缺陷数据的手动分类后，一或多个处理器可将缺陷数据分布成n个群组。例如，可经由用户输入选择群组的数目n。在另一实施例中，可将缺陷数据随机分布成n个群组。此外，本文中应认知，可通过将缺陷数据分布且存储到维持在存储器108(或另一存储器)中的一组n个文件夹中而实行将缺陷数据分布成n个群组。

在步骤408中，将缺陷数据的n个群组的一者识别为测试缺陷数据。在步骤410中，将缺陷数据的剩余n-1个群组识别为训练缺陷数据。例如，一或多个处理器106可识别或选择经分布缺陷数据的群组的一者以充当测试数据，而剩余n-1个群组充当训练数据。一旦已将缺陷数据的n-1个群组识别为训练缺陷数据，便可组合且使用数据的n-1个群组以用于在下列步骤中分析。

在步骤412和414中，针对缺陷数据的n个群组的至少第一群组，递增地产生一系列分类器和每一分类器的对应准确度值。应注意，可经由本文中进一步论述的步骤418而针对n个群组的额外群组(例如，文件夹)重复这些步骤。在步骤412中，针对其中训练数据含有选定百分比(ci)的第一缺陷类型的情况，基于n-1个群组中含有的训练数据产生第i个分类器。在此方面，可针对第一缺陷类型的每一百分比ci递增地产生一系列分类器。例如，使用数据的n-1个群组的训练缺陷数据内含有的至少第一缺陷类型的递增百分比产生每一分类器。例如，可以从0到100％的第一缺陷百分比的每一10％递增产生一系列分类器。例如，可以10％的第一缺陷百分比(c1)产生第一分类器；可以20％的第二缺陷百分比(c2)产生第二分类器；可以30％的第三缺陷百分比(c3)产生第三分类器；可以40％的第四缺陷百分比(c4)产生第四分类器；可以50％的第五缺陷百分比(c5)产生第五分类器；可以60％的第六缺陷百分比(c6)产生第六分类器；可以70％的第七缺陷百分比(c7)产生第七分类器；可以80％的第八缺陷百分比(c8)产生第八分类器；可以90％的第九缺陷百分比(c9)产生第九分类器；可以100％的第十缺陷百分比(c10)产生第十分类器。应注意，方法400不限于这些递增且本发明应解释为扩展到任何递增标准(例如，2％、5％、10％、20％递增等等)。例如，可仅针对其中第一缺陷百分比是80％、90％和100％的情况产生分类器。

本文中应注意，在此步骤中产生的分类器可包含所属领域中已知的任何分类器且不限于整体学习分类器。在一个实施例中，经产生的分类器的一或多者为整体学习分类器(例如，随机森林分类器、基于svm的分类器等)。在另一实施例中，经产生的分类器的一或多者为单个决策树分类器或多个决策树分类器(例如，超级分类器)。

在步骤414中，针对用于测试数据的第一缺陷类型的第i个分类器中的每一者确定准确度值。例如，一或多个处理器106可确定在步骤412中针对至少第一缺陷类型产生的所述系列分类器中的每一者的准确度值。在此方面，一或多个处理器可通过将每一分类器应用到经分布缺陷数据的n-1个群组中未含有的测试数据而针对每一分类器确定准确度值。

如本文中先前提及，可针对第一缺陷类型百分比的每一递增重复步骤412和414。一旦已经针对第一缺陷类型(或在进一步迭代中的额外缺陷类型-见步骤422)的每一ci百分比计算每一分类器和对应准确度值，方法400移动到步骤416。

在步骤416中，针对第一缺陷类型产生准确度分数。在一个实施例中，一或多个处理器106通过汇总在步骤414中针对第一缺陷类型的每一ci百分比计算的准确度值而产生第一缺陷类型的准确度分数。例如，可由一或多个处理器106通过确定与ci百分比相关联的准确度值的偏差的统计测量而产生准确度分数。在一个实施例中，一或多个处理器106可通过经由以下关系而确定第一缺陷类型的准确度分数：

准确度分数＝1-s*std(ci百分比的准确度值)

其中s表示比例因子且std表示步骤414中获取的第一缺陷类型的ci百分比的准确度值的标准偏差。

在步骤418中，方法400可针对n个群组的每一群组重复步骤408到416。在此方面，所述方法可针对n个群组中的每一者计算准确度分数。一旦方法400已针对n个群组中的每一者执行准确度分数确定，所述方法便移动到步骤420。

在步骤420中，计算第一缺陷类型的数据充分性分数。例如，一或多个处理器106可通过汇总在步骤416中针对n个群组中的每一者发现的准确度分数且接着针对n个群组计算平均准确度分数而计算数据充分性分数。在此方面，第一缺陷类型的数据充分性分数可采取以下形式：

一旦方法400已针对第一缺陷类别执行数据充分性分数后，方法400可接着移动到步骤422。

在步骤422中，方法400可针对一或多个额外缺陷类别重复步骤408到420。在此方面，所述方法可针对任何数目个缺陷类别计算数据充分性分数(步骤420)。一旦已对全部所要缺陷类别计分，方法400便结束。

本文中描述的全部方法可包含将方法实施例的一或多个步骤的结果存储在存储媒体中。结果可包含本文中描述的任何结果且可以所属领域中已知的任何方式存储。存储媒体可包含本文中描述的任何存储媒体或所属领域中已知的任何其它适合存储媒体。在已存储结果后，结果可在存储媒体中存取且由本文中描述的方法或系统实施例的任何一者使用；经格式化用于显示给用户；由另一软件模块、方法或系统等使用。此外，结果可“永久”、“半永久”、暂时存储或存储达某个时间段。例如，存储媒体可为随机存取存储器(ram)且结果可不必无限期地保存在存储媒体中。

所属领域的技术人员将认知，当前最先进技术已进展到系统的方面的硬件与软件实施方案之间不存在区别的地步；硬件或软件的使用通常是(但非始终，由于在某些背景内容中，硬件与软件之间的选择可变得显著)表示成本对效率权衡的设计选择。所属领域的技术人员将了解，存在可通过其实现本文中描述的过程和/或系统和/或其它技术的多种载具(例如，硬件、软件和/或固件)，且较佳载具将随着部署过程和/或系统和/或其它技术的背景内容而变动。例如，如果实施者确定速度和准确度是最重要的，那么实施者可选取主要硬件和/或固件载具；或者，如果灵活性是最重要的，那么实施者可选取主要软件实施方案；又或者，实施者可选取硬件、软件和/或固件的某个组合。因此，存在可通过其实现本文中描述的过程和/或装置和/或其它技术的若干可能载具，所述载具的任何者本质上并不优于其它载具，因为待利用的任何载具是取决于其中将部署载具的背景内容和实施者的特定关注(例如，速度、灵活性或可预测性)(其的任何一者可变动)的选择。所属领域的技术人员将认知，实施方案的光学方面通常将采用光学定向硬件、软件和/或固件。

虽然已展示且描述本文中描述的当前主题的特定方面，但所属领域的技术人员将了解，基于本文中的教示，可做出改变和修改而不脱离本文中描述的主题和其较广方面，且因此，所附权利要求书在其范围内涵盖如在本文中描述的主题的真实精神和范围内的全部此等改变和修改。

此外，应理解，本发明由所附权利要求书界定。所属领域的技术人员将理解，一般来说，本文中所使用的术语且尤其所附权利要求书(例如，所附权利要求书的正文)中所使用的术语一般预期作为“开放式”术语(例如，术语“包含(including)”应解释为“包含但不限于”，术语“具有”应解释为“至少具有”，术语“包含(includes)”应解释为“包含但不限于”等)。所属领域的技术人员将进一步理解，如果预期特定数目个引入权利要求叙述，那么将在权利要求书中明确叙述此意图，且在缺乏此叙述的情况下不存在此意图。例如，为帮助理解，以下所附权利要求书可含有介绍性词组“至少一个”和“一或多个”的使用以引入权利要求叙述。然而，即使在相同权利要求书包含介绍性词组“一或多个”或“至少一个”和例如“一”(a/an)的不定冠词(例如，“一”(a/an)通常应解释为指“至少一个”或“一或多个”)时，也不应将此等词组的使用理解为暗示通过不定冠词“一”(a/an)引入的权利要求叙述将含有此引入权利要求叙述的任何特定权利要求书限于仅含有一个此叙述的发明；对于用于引入权利要求叙述的定冠词的使用同样有效。另外，即使明确叙述引入的权利要求叙述的特定数目，所属领域的技术人员应认知，此叙述通常应解释为意指至少所叙述的数目(例如，无其它修饰语的“两个叙述”的裸露叙述，通常意指至少两个叙述，或两个或两个以上叙述)。此外，在使用类似于“a、b和c等等的至少一者”惯例的那些情况中，一般以所属领域的技术人员理解所述惯例的意义预期此构造(例如，“具有a、b和c的至少一者的系统”应包含(但不限于)仅具有a、仅具有b、仅具有c、同时具有a和b、同时具有a和c、同时具有b和c和/或同时具有a、b和c等等的系统)。在使用类似于“a、b或c等等的至少一者”的惯例的那些情况中，一般以所属领域的技术人员理解所述惯例的意义预期此构造(例如，“具有a、b或c的至少一者的系统”应包含(但不限制于)仅具有a、仅具有b、仅具有c、同时具有a和b、同时具有a和c、同时具有b和c，和/或同时具有a、b和c等等的系统)。所属领域的技术人员应进一步理解，无论在描述、权利要求书或附图中，实际上呈现两个或两个以上替代项目的任何分离性字词和/或词组应理解为考虑包含所述项目的一者、所述项目的任一者或两个项目的可能性。例如，词组“a或b”应理解为包含“a”或“b”或“a和b”的可能性。

据信，通过前述描述，将理解本发明和其许多伴随的优点且将明白，可对组件的形式、构造和配置进行多种改变而不脱离所揭示主题或不牺牲全部其材料优点。所描述的形式仅为说明性的，且以下权利要求书意在涵盖且包含此等改变。