脑机接口的制作方法

1.本发明涉及脑机接口的操作。特别地，本发明涉及使用涉及视觉感测的脑机接口的系统的校准。


背景技术：

2.某些基于脑机接口(bci)的系统利用附接到头部的多个电极，该电极可以检测由大脑活动引起的电特性的变化。尽管由于个体执行相同功能时电特性存在这些变化，由个体产生的这些神经信号中存在相似性，但个体之间的神经信号参数仍然存在显著差异。因此，需要对需要相当准确的 bci结果的系统进行校准，使得神经信号可以可靠地与系统所需的控制和任务相关联。为了在整个bci使用期间保持准确的关联，由于电极位置的变化和可能影响神经信号模型功效的其它因素，可能需要重新校准bci。然而，校准步骤可能既耗时又具有破坏性。因此，理想情况下，可以不显眼且快速地执行校正神经信号变化的校准适应的校准方法可以通过至少保持bci准确性和改善用户bci体验来提供多方面的好处。
3.因此，希望提供解决上述挑战的脑机接口。


技术实现要素：

4.本公开涉及一种脑机接口系统，其中计算机控制或监测在测量个体的大脑活动时个体可感知的感觉刺激。然后构建将感觉刺激与大脑活动(即神经响应)相关联的模型，并将其用于解码每个个体的神经信号。模型和感觉刺激被更新(即校准)以确保刺激和神经信号之间更可靠的关联，从而在图形界面任务的执行中提供改进的用户体验。在某些实施例中，bci 系统是视觉bci系统并且感觉刺激是视觉刺激。
5.根据第一方面，本公开涉及一种计算机实现的方法，在至少一个处理器中，该方法包括：在初始阶段中，从神经信号采集设备接收用户的第一组神经信号，该用户在训练序列中感知感觉信息，该训练序列包括至少一个感觉刺激，每个感觉刺激至少具有一个预定的对应特性；从第一组神经信号和训练序列确定与一个或多个感觉刺激中的每一个感觉刺激相关联的神经响应数据，该神经响应数据被组合以生成用户对感觉刺激的神经响应的模型，该模型包括对神经信号的特征应用的权重；在校准阶段中，从神经信号采集设备接收用户的第二组神经信号，用户在确认序列中进一步感知感觉信息，确认序列包括感觉刺激中的至少一个感觉刺激；使用该模型，估计感觉刺激中的哪一个是用户的关注对象；确定所估计的关注对象的识别是否对应于确认序列中的感觉刺激；如果确定对应，则修改权重；以及如果确定不对应，则修改确认序列中的感觉刺激。
6.根据第二方面，本公开涉及一种脑机接口系统，包括：感觉信息生成单元，其被配置为输出用于由再现(reproduction)设备再现的信号，该再现的信号由用户感知为感觉信息；神经信号采集设备，其被配置为采集与用户相关联的神经信号；以及信号处理单元，其可操作地耦合到感觉信息生成单元和神经信号采集设备，该信号处理单元被配置为：在初始阶段中，从神经信号采集设备接收用户的第一组神经信号，该用户在训练序列中感知感
觉信息，该训练序列包括至少一个感觉刺激，每个感觉刺激具有至少一个预定的对应特性；从第一组神经信号和训练序列确定与一个或多个感觉刺激中的每一个感觉刺激相关联的神经响应数据，神经响应数据被组合以生成用户对感觉刺激的神经响应的模型，该模型包括对神经信号的特征应用的权重；在校准阶段中，从神经信号采集设备接收用户的第二组神经信号，用户在确认序列中进一步感知感觉信息，该确认序列包括感觉刺激中的至少一个感觉刺激；使用该模型，估计感觉刺激中的哪一个是用户的关注对象；确定所估计的关注对象的识别是否对应于确认序列中的感觉刺激；如果确定对应，则修改权重；以及如果确定不对应，则修改确认序列中的感觉刺激。
附图说明
7.为了容易地识别对任何特定元素或动作的讨论，参考数字中的一个或多个最高有效数字是指第一次引入该元素的图号。
8.图1描绘了根据本公开的用于接收和处理eeg信号的bci系统的电子架构；
9.图2示出图1的系统如何采集可以与关注显示对象相关联的神经信号；
10.图3示出当每个显示对象具有其自己的调制显示特性时图1的系统如何采集神经信号，该神经信号在时间上彼此不同；
11.图4示出根据本公开的校准方法中某些功能块的流程的流程图；
12.图5示出根据本公开的另一种校准方法中某些功能块的流程的流程图；
13.图6示出根据本公开的用于构建解码模型的示例性技术；
14.图7示出根据本公开的在已经执行校准后bci的操作方法中某些主要功能块的流程；
15.图8示出适合与本公开的bci系统一起使用的显示设备的各种示例；
16.图9是示出根据一些示例实施例的可以在其中实现本公开的软件架构的框图；以及
17.图10是根据一些示例实施例的计算机系统形式的机器的图解表示，其中可以执行一组指令以使机器执行所讨论的任何一个或多个方法。
具体实施方式
18.脑机接口(bci)试图解释个体中所测量的大脑活动，以允许确定(即推断)该个体的注意焦点(focus of attention)。所推断的注意焦点可用于在与计算机(可能是bci的一个组件)的接口中执行输入或控制任务。计算机控制或监测个体可感知的感觉刺激，使得感觉刺激可能与所测量的大脑活动相关。
19.在某些实施例中，bci系统是视觉bci系统并且感觉刺激是视觉刺激。在视觉bci中，通常在呈现给用户的多个生成的视觉刺激中，对目标刺激的神经响应用于推断(或“解码”)在任何给定时间的情况下哪个刺激本质上是(视觉注意的)关注对象。然后可以将关注对象与用户可选择或可控制的动作相关联。
20.可以为非视觉bci系统做出类似的规定，其中用于推断关注的目标刺激可以包括听觉和触觉/触摸刺激。
21.可以使用多种已知技术获得神经响应。一种方便的方法依赖于表面脑电图(eeg)
(其是非侵入性的)，具有细粒度的时间分辨率，并且基于公知的经验基础。表面脑电图(seeg)可以实时测量受试者颅骨(即头皮) 表面的扩散电势变化。这些电势变化通常称为脑电图信号或eeg信号。其它技术当然也是可用的，并且能够用于代替(或结合)表面eeg——示例包括颅间eeg(ieeg)(也称为皮层电图(ecog))、脑磁图(meg)、功能磁共振成像(fmri)、功能近红外光谱(fnirs)等。
22.在典型的视觉bci中，计算机控制在由显示设备生成和呈现的图形界面(即显示器)中视觉刺激的显示。计算机还生成对视觉刺激的先前神经响应的模型，用于解码每个个体当前的神经信号。
23.合适的显示设备的示例(其中一些在图8中示出)包括电视屏幕和计算机监测器802、投影仪810、虚拟现实头盔806、交互式白板和平板计算机804的显示屏、智能电话、智能眼镜808等。视觉刺激811、811'、812、 812'、814、814'、816可以形成生成的图形用户界面(gui)的一部分，或者它们可以呈现为覆盖基础图像的增强现实(ar)或混合现实图形对象 816：该基础图像可能只是用户的实际视野(如在混合现实显示功能投影到一组智能眼镜的透明显示器上的情况下)或与用户的视野对应但由光学采集设备(其可以继而采集与其它可能视图中的用户视野相对应的图像)实时采集的数字图像。
24.在任何给定时间推断多个视觉刺激(如果有的话)中的哪一个是关注对象是充满困难的。例如，当用户面临多种刺激(诸如例如屏幕键盘上显示的数字或图形用户界面中显示的图标)时，事实证明，几乎不可能直接从特定时间的大脑活动中推断出哪一个是被关注的。用户感知关注下的数字(比如数字5)，因此大脑必须包含将该数字与其它区分开的信息，但目前的方法无法仅从大脑活动中提取该信息。也就是说，当前的方法可以推断出已经感知到刺激，但它们无法仅使用大脑活动来确定哪个特定刺激处于关注下。
25.为了克服该问题并提供在刺激和背景之间(以及在刺激之间)足够的对比度，已知将由视觉bci使用的刺激配置为闪烁(blink)或脉动(即，使得每个刺激随时间推移具有可区分的特性分布)。闪现的刺激引起可测量的电响应。特定技术监测不同的电响应，例如稳态视觉诱发电势(ssvep) 和p-300事件相关电势。在典型实现方式中，刺激以超过6hz的速率闪现。因此，该视觉bci依赖于一种方法，该方法包括在显示设备中离散地而不是持续地显示各种刺激，并且通常在不同的时间点显示。发现与集中在给定刺激上的注意相关联的大脑活动与该刺激的时间分布的一个或多个方面相对应(即相关)，例如刺激闪烁的频率和/或刺激在闪烁状态和静止状态之间交替的占空比。
26.因此，神经信号的解码依赖于以下事实，即当启动刺激时，其将触发可以从电信号(即ssvep或p-300电势)确定(例如由eeg设备的电极拾取)的大脑中的神经响应的特性模式。对于各种数字或图标，该神经数据模式可能非常相似甚至相同，但随着时间推移，对于被感知的数字/图标，该神经数据模式与特征分布进行时间锁定(即同步)：任何时候只有一个数字/图标可以脉动，使得脉冲神经响应与时间(该数字/图标在此时脉动) 的相关性可被确定为指示该数字/图标是关注对象。通过在不同的时间点显示每个数字/图标，以不同的速率开启和关闭该数字/图标，应用不同的占空比，和/或简单地在不同的时间点应用刺激，bci算法可以确定当启动时哪个刺激最有可能触发给定的神经响应，从而允许系统确定被关注的目标。在显示器上显示的数据的时间戳可以与视觉bci共享，并用于将视觉刺激与对应的神经响应同步。这将在下面进一步讨论。
27.更一般地，应用于感觉刺激的调制与使用先前神经响应的神经响应模型相结合，以允许解释当前的神经响应。该模型提供了置信度值(即模型权重)，采用该置信度值，信号特征(在由感觉刺激引起的神经响应中) 可以与注意焦点对象相关联。
28.对视觉刺激的先前神经响应的模型用于在称为“刺激重建”的操作中解码每个个体的当前神经信号。
29.于2019年5月6日提交的共同未决美国专利申请62/843,651(案卷号 3901.00.0001)描述了快速和准确地从目标外围的对象(干扰物)确定关注对象(目标)的挑战的一种方法，其整个说明书以引用方式并入本文。该方法依赖于人类视觉系统的特性。
30.需要相当准确的bci结果的系统还需要校准每个个体的神经信号，使得神经信号可以可靠地与系统所需的控制和任务相关联。此外，由于电极位置的变化和可能影响神经信号模型在整个bci使用期间保持准确关联的功效的其它因素，可能需要重新校准bci。然而，校准步骤可能既耗时又具有破坏性。
31.因此，需要可以不显眼且快速地执行校正神经信号变化的校准自适应的校准方法，其可以通过至少保持bci准确性并改善用户bci体验来提供多方面的好处。
32.如今，bci校准基本上有两种方法：操作性调节和“机器学习”。操作性调节保持对用户隐藏界面的细节，并使用户能够通过反复试验缓慢“学习”如何移动屏幕对象并使用大脑活动调用任务。显然，这既令人沮丧又耗时，因此它不是当今校准需求的第一选择。
33.采用机器学习，用户与显示屏上的一个或多个显示目标进行交互，通过选择一个来注意(即，关注)。在显示多个显示目标的情况下，每个显示目标可以具有每个对象唯一的显示特征，使得对一个特定目标的关注可能引发“编码”该目标的唯一显示特征的响应，如上所述。
34.例如，在使对象以不同的闪烁率闪烁的情况下，用户正在关注的对象将刺激神经响应和信号，该信号可以通过反映该对象的闪烁率的信号特性来区分。可以构建与该调制和由该调制引起的信号特性相关联的神经信号模型，然后将该模型用于将该调制与其刺激的神经信号相关联。
35.然而，如前所述，电极位置可能在连续记录会话期间或之间改变，并且外部干扰可能将电磁干扰、噪声和其它伪影添加到神经信号。在任何一种情况下，检测到的信号现在可能不再匹配先前构建的模型，因此bci不能再以足够的确定性将神经信号与显示的刺激调制联系。有必要重新校准对感觉刺激的神经响应模型。
36.与视觉bci相关的现有技术bci使用神经反馈或模型加权来尝试并使bci适应变化的神经信号条件。
37.神经反馈是一种生物反馈，其中测量神经活动(例如，通过seeg、 meg、ieeg/ecog、fmri或fnirs)，并向用户呈现该活动的感觉表示，以便自调节他们的精神状态和/或相应地调整他们的行为。在神经反馈方法中，向用户呈现信息，他们可以使用这些信息来训练他们与bci的交互，例如“学习”如何移动屏幕对象和/或使用大脑活动调用任务。该反馈可以是通过改变该对象的颜色、大小、显示位置或外观的其它方面来突出显示当前确定为关注对象的对象。
38.视觉bci上下文中的模型加权是指机器学习系统的训练。权重与用户意图的预测相关联。在传统的校准程序中，神经信号中与已知视觉刺激的神经信号模式最匹配的信号
特征被赋予比那些不太可靠的信号特征更大的权重。
39.存在可以从神经信号中提取来自单个通道或感兴趣区域(即，源自该区域的电极的通道的集合)的一组信号特征的几种方法。在meg或eeg 的情况下，源自神经时间序列的一些特征示例包括：事件相关电势(erp)、诱发电势(其可能是视觉诱发电势、听觉诱发电势、感觉诱发电势、运动诱发电势)、振荡信号(特定频段的信号功率)、慢皮层电势、脑状态相关信号等。
40.在视觉bci实施例中，本公开建立在用于辨别在用户的视野内(通常但不总是在呈现给用户的显示器上)哪些(潜在)感兴趣的对象是视觉注意焦点的技术。如上所述，这些对象中的一个或多个对象的调制使对象闪烁或以其它方式在视觉上改变，使得调制充当相关神经响应的刺激。反过来，神经响应可以被测量和解码，以确定哪个感兴趣的对象是用户注意的焦点。然后对确定为注意焦点的对象进行可视修改，使得用户理解解码的结果，并鼓励用户继续展示引发该确定的活动，确认(即验证)解码(或从该活动停止，标记非期望的解码结果)。无论哪种方式，可以根据由用户对修改的注意焦点的响应所确定的解码准确性来调节视觉刺激和相关神经响应之间的关联强度。
41.在此公开的方法的某些实施例结合使用这两种技术——改变对象调制以获得更明确的关联，同时还改变模型加权以获得更好的匹配。模型加权和视觉刺激的调制被实时更新(即校准)，以确保(重建的)刺激和神经信号之间更可靠的关联，从而提供在图形界面任务的执行中的改进的用户体验。这导致“闭环”或自适应神经反馈基于神经活动有效地实时改变实验任务。
42.此外，所公开的方法可以采用神经信号滤波来去除可能混淆关联模型的伪影。因此，该方法可以是选择性的，因为它通过确保在尝试将信号与调制关联之前首先滤波掉任何伪影(即，由于运动或背景电磁条件、噪声等引起的干扰)来确定神经信号是否具有信息性。
43.在显示器采用多个显示目标(具有相关联的调制刺激)的情况下，该自适应方法重复与每个新关注的显示目标的细化和调制关联的过程。因此，该模型基本上通过这些新试验进行了细化。
44.在本文所公开的校准方法的某些实施例中，对象调制和模型加权二者都经过细化。结果，该校准方法比保持一个因素(诸如显示目标刺激调制) 固定的传统校准方法更快且更准确。此外，所描述的校准方法适用于不那么突兀的过程，由此校准可以在后台中进行，因为用户采用bci进行各种应用，诸如游戏或免提生产力工具。
45.本质上，该方法创建了闭环过程，其中实时神经反馈增强了用户的注意和关注，这进而增强了由用户的注意和关注引起的eeg信号，这提高了bci解码的准确性，这可以增加用户的沉浸感。
46.在某些实施例中，自适应校准方法可以与采用bci的系统一起使用以实现免提系统控制。为了检测大脑活动，两种最突出的方法涉及脑电图 (eeg)，由此放置在用户的头皮上(“表面eeg”)或直接插入大脑内部(即“颅间eeg”，ieeg，或皮质电图，ecog)的电极将检测神经元突触活动产生的电场变化。每个人的大脑虽然大体相似，但却是不同的。暴露于相同刺激的两个人将具有不同的特定eeg结果，但通常会显示出时间和空间响应相似性。因此，任何系统(取决于解码神经信号并将其与特定系统控制相关联)都需要将其操作校准为个
人特定的eeg神经信号。
47.系统控制的准确性直接受到神经信号与预期系统控制的关联的准确性和确定性影响。
48.如上所述，在bci技术的早期阶段，实验者经常依赖操作性调节，由此用户使用试错法尝试调节对系统响应的心理方法。这通常需要很长的训练时间才能取得一点成功。随着技术发展，机器学习技术被应用来绘制出对特定最终结果的神经信号响应。因此，例如，如果向用户示出具有一个对象或多个对象中的一个对象的显示屏，并指示用户关注一个对象。如果在用户“关注”对象时采集到一致的神经信号，则可以开始将该信号与该对象相关联，依此类推。
49.然而，对于具有多个表示数据或控制调用的对象的屏幕，通常难以将神经信号与具有高确定度的那些对象相关联。如上所述，解决该困难的一种方法是使对象(称为“显示目标”或与该目标相关联的刺激)以不同的速率闪烁，具有不同的光强度、增加的对比度变化、颜色转换、几何变形、旋转、振荡、沿路径的位移等。作为示例，在不同闪烁率的情况下，对象的开关状态之间的时间差异将反映在所检测的神经信号中。因此，通过查看各种信号变化的时间并将它们与闪烁率相关联，可以将这些信号与具有更高确定度的对象相关联。因此，调制显示模式以赋予每个对象显示区别，同时冒着使用户烦恼的风险，增加了将信号与对象关联的确定性。
50.bci领域的技术人员知道多种用于表示神经信号和处理神经信号以产生可靠模型的方法。他们还知道多种用于调节所显示的对象的方法，以创建在它们引起的神经信号模式中的易于识别的区别。因此，当使用术语“调制”或该术语的任何变体时，其应该被广义地解释为包含调制显示对象的显示特性的任何已知方式。
51.同样，当使用术语“信号处理”或该术语的任何变体时，其应该被广义地解释为包括处理神经信号的任何已知方式。当使用术语“滤波”或该术语的任何变体时，其应该被广义地解释为包括滤波神经信号以减轻或消除伪影(诸如与确定关注对象无关的神经信号或脑节律)的任何已知方法。
52.此外，支持脑机交互的系统实现方式在本领域中也是众所周知的。最常见的涉及带有分布式电极的头戴式头盔，允许在用户参与活动时并行检测电场变化。
53.在根据本公开的某些实施例中，bci的操作包括简要、初始化和校准阶段。由于用户在对相同刺激的基线神经响应方面可能存在显著差异(特别是视觉皮层受损或伤害的人)，因此校准阶段可用于生成用户特定的刺激重建模型。该阶段可能需要不到一分钟的时间来构建(通常，大约30 秒)。
54.根据本公开的实施例实现了用于对采用bci的系统进行“自适应校准”的方法。方法允许由于分心的用户关注、头盔/电极位置的变化、“嘈杂”信号条件等可能会向信号引入伪影的情况而需要重新校准。因此，该方法是自适应的，并且旨在允许在必要时以最小的用户分心重复不显眼的校准，而不是启动单个校准事件并冒着因变化而失去确定性的风险。方法还利用模型加权和对象显示调制的变化来细化和改进神经信号建模，以提高操作可靠性。
55.图1示出根据本公开的用于借助于bci设备100来接收和处理神经信号的电子架构的示例。头戴电极头盔101的用户注视具有一个或多个对象的显示器107并注意一个对象
103。头盔检测电场的基本同时间变化并且每个电极提供随时间变化的输出信号。总的来说，电极的组合提供了一组时间上平行的电极信号。各个电极被馈送到eeg获取单元(eau，104)， eeg获取单元(eau，104)将其结果传送到信号处理单元(spu，105)，信号处理单元(spu，105)的处理结果用于控制显示生成单元(dgu， 106)。dgu 106进而控制图像数据在显示器107上的呈现。dgu还可以提供图像数据的时间戳信息102。它本质上是闭环系统，因为dgu 106所做的任何改变都会影响显示器107并通过用户的神经响应来反馈。
56.为了测量对象颅骨表面上的扩散电势，表面eeg设备包括便携式设备(即帽子或头戴式装置)。在图1中，该便携式设备被例示为电极头盔 101。图1的便携式设备101包括一个或多个电极108，通常在1和128个电极之间，有利地在2和64之间，有利地在4和16之间。
57.每个电极108可以包括用于检测由受试者的神经元活动生成的电信号的传感器和用于在模拟数字转换之前对检测到的信号进行预处理(例如滤波和/或差分放大)的电路：该电极被称为“有源”。在图1中示出有源电极108处于使用中，其中传感器与受试者的头皮物理接触。电极可适用于与导电凝胶或其它导电液体(称为“湿”电极)一起使用或不使用此类液体(即“干”电极)。
58.eau 104可以包括模拟到数字转换(adc)电路和微控制器。每个 adc电路被配置为转换给定数量的有源电极108的信号，例如在1和128 之间。
59.adc电路由微控制器控制并且例如通过协议spi(“串行外围接口”) 与微控制器通信。微控制器将接收的数据打包以传输到外部处理单元(图 1中的spu 105)。spu可以例如是计算机、移动电话、虚拟现实头盔、游戏机、汽车或航空计算机系统等。
60.在某些实施例中，每个有源电极108由电池(图1中未示出)供电。电池方便地设置在便携式设备101的壳体中。
61.在某些实施例中，每个有源电极108测量相应的电势值，从该电势值中减去由参考电极测量的电势(ei＝vi-vref)，并且借助于adc电路而将该差值数字化，然后由微控制器传输。
62.在某些实施例中，dgu 106使用来自spu 105的处理结果来改变目标对象以在显示设备(例如显示器107)的图形用户界面中显示。目标对象可以包括控制项，并且控制项进而与用户可选择的动作相关联。
63.在图1的系统100中，在显示设备107的显示器上显示图像。受试者观看显示器107上的图像，关注目标对象103。
64.在实施例中，显示设备107至少将目标对象103显示为具有变化的时间特性的图形对象，其与其它显示对象和/或显示器中的背景的时间特性不同。变化的时间特性可以例如是以大于6hz的速率改变目标对象的外观的恒定的或时间锁定的闪现效果。在另一个实施例中，变化的时间特性可以使用伪随机时间码，使得生成平均(例如以平均3hz的速率)每秒改变目标对象的外观几次的闪现效果。在多于一个的图形对象是潜在目标对象的情况下(即，向观看受试者提供以集中注意的目标对象的选择)，每个对象与离散的空间和/或时间代码相关联。
65.在图2中，示出如在eau 104处获取的由电极头盔101中的电极检测到的并行发生信号201的表示。每个电极响应的相应信号迹线示为垂直间隔开但共享相同的时间轴：使得时间在水平方向中延续，并且垂直高于或低于水平线的迹线的高度表示该电极在该时刻的
响应的强度。使用几种公知的信号处理方法中的任何一种可以细化对最相关信号特征的响应。
66.在图3中，与用户关注对象103相关联的信号模式201和与代替关注第二对象103'的用户相关联的信号模式301进行对比，并且对象103和103' 的闪烁率使得103在时间t1闪烁，而103'在时间t2闪烁，可以通过比较对应的刺激响应开始的时间来区分该变化。这只是调制对象图形属性以便将给定的eeg信号/段唯一地关联到正在关注的对象的一种方式。
67.eau 104检测与关注目标对象的注意力相关联的神经响应(即，指示视觉皮层中大脑活动的微小电势)；因此，对目标对象的变化的时间特性的视觉感知在受试者的大脑中充当刺激，生成与关注的目标对象相关联的代码对应的特定大脑响应。然后将检测到的神经响应(例如电势)转换为数字信号并传输到spu 105进行解码。其中大脑似乎“振荡”或与闪现的时间特性同步响应的交感神经响应在此称为“神经同步”。
68.spu 105执行解释接收的神经信号的指令，以确定实时指示目标对象是当前(视觉)注意的焦点的反馈。解码神经响应信号中的信息依赖于该信息与目标对象(即刺激)的时间分布的一个或多个方面之间的对应关系。在图3的示例中，信号模式201和301分别表示与关注对象103和103'相关联的信号模式的简单模型：可以比较接收的神经信号(这里根据时序)，以确定哪个模式是与接收的神经信号最接近的匹配)。
69.在某些实施例中，可以在单个设备中提供spu 105和eau 104，使得直接对检测到的神经响应执行解码算法。
70.在某些实施例中，dgu 106可以方便地生成呈现在显示设备107上的包括随时间变化的目标对象的图像数据。在某些实施例中，可以在单个设备中提供spu 105和dgu 106，使得关于所确定的视觉注意焦点的信息可以结合到显示器中视觉刺激的生成(和调制)中。
71.在某些实施例中，显示设备107显示覆盖对象，作为具有不同于其它显示对象和/或显示器中的背景的时间特性的变化时间特性的图形对象，然后将覆盖对象显示为至少在一个识别的目标对象上的图形层。
72.视觉刺激(即，时间变化的目标对象或覆盖对象)可以向用户提供回顾性反馈，从而验证他们的选择。可以方便地在显示屏107上向用户呈现视觉反馈，使得他们知道目标对象103被确定为当前关注焦点。例如，显示设备可以在目标对象107附近显示图标、光标或其它图形对象或效果，突出显示(例如覆盖)看起来是当前视觉注意焦点的对象。这提供了正反馈循环，其中通过长时间的注意来确认(即验证)明显的目标对象为预期的目标对象，并且由用户的神经响应模型确定的关联得到加强。
73.图4是示出根据本公开的实施例中的某些功能块的流程的流程图。如图所示，流程以初始序列(操作401-407)开始。
74.在操作401处，使用图1的bci 100的dgu 106来显示对象a、b和 c，例如：这可能是例如图1-3中的显示单元上所示的三个形状。然后用户关注对象a(操作402)。基本上同时地，采集神经信号(操作403)。可以由eau 104执行神经信号的采集。
75.spu 105可选地做出关于该信号是否是信息性的决定，例如，信号质量是否足够好以用于预测用户的注意焦点(操作404)。信号中伪影(例如干扰或噪声)的存在可能会导致其缺乏信息性，如缺少对单个对象足够稳定的注意/注视也是如此。
76.虽然未在图4中示出，但确定信号不是信息性的(操作404，否)可触发减少向用户
呈现的对象的数量(简化对神经信号进行分类的任务)和/ 或改变对象的外观(例如，增加刺激的大小以确保用户看到它)。在此类情况下，流程返回到初始序列的对象的显示(操作401)。
77.可向用户提供关于信号可用于预测用户注意焦点的准确性/置信度的反馈(操作405)。例如，对用户的反馈可以采取图形、文本、触觉或听觉消息的形式。因此，例如，如果信号不是信息性的(否)，则通知用户，例如指示用户减少眨眼或停止扫视远离对象。可选地，可以向用户通知该信号确实看起来是信息性的(是)，例如，提供正反馈以确认用户正在取得进展。
78.关于信号是否具有信息性的测试可以是与阈值(例如阈值信噪比等) 的比较。然而，同样可以设想，该测试可以通过专门用于预测信号是否具有信息性(并相应地进行标记)的一种或多种算法来实现。例如，算法可以使用自适应贝叶斯分类器或线性判别分析(lda)分类器。事实上，一些分类器(诸如lda或贝叶斯分类器)完全由来自各个类(例如“信息性”、“非信息性”)的bci数据的平均值和方差以及每个类的样本数量 (其采用新的输入数据来增量且稳健地更新，而无需知道类标签)确定。这是一种伪监督方法，其中在适应过程中使用由贝叶斯/lda分类器估计的后验(posteriori)标签。当信号干净的概率不够高时，错误估计的标签会破坏参数适应，类似于监督学习中的噪声或异常值。
79.一旦信号被认为是信息性的(操作404，是)，可以设定模型权重(操作406)。下面讨论模型权重，一个特定示例是在图6的上下文中描述的刺激重建算法的参数。信号和对象a相关联(操作407)，是指用当前信号确定用户关注焦点在对象a上。
80.通过一次将用户限制在单个刺激(对象a)，模型可以确保信号和对象之间的关联是正确的。该过程可以重复进行，要求用户依次关注对象b 和c。实际上，通过在初始序列中一次仅显示一个对象，可以给用户较少的选择。所得的多个权重形成用于解码注意焦点的解码模型。
81.同样，可以向用户呈现一个或多个对象，同时使用另一种目标的方法来确定注意焦点和信号之间的真实关联(例如，使用跟踪用户眼睛运动的短监督训练会话)。
82.在这些情况下，模型权重是使用关联的可靠知识来设定的。该实施例适用于没有先验信息可用的情况，并且可以特征化为“冷启动”或“从头开始”实施例。
83.还可以通过使用预定权重开始校准阶段，并且然后根据它们对于当前用户/电极定位等的准确性来调节这些权重。这些权重可以例如从来自该用户的先前会话获得，或通过针对先前eeg记录的数据库训练算法所获得的“平均”模型获得。尽管不期望基于预定权重的模型完全适合当前用户的神经信号，但发现这些模型提供了有效的近似值，本公开的校准方法可以建立在该近似值上。此类实施例可以特征化为“热启动”实施例。在某些实施例中，预定权重的使用可允许通过从存储中取得具有预定(即使用旧的用户的加权数据和/或权重的默认值或平均值)的模型的步骤来用校准替换初始序列(操作401-407)，从而有效地使初始序列可选。
84.然后，执行确认序列(操作408-417)，验证解码模型的准确性。
85.在操作408处，修改对象a的调制。使显示(例如由dgu 106)反映该修改(操作409)。随着用户继续关注对象a(操作410)，采集确认神经信号(操作411)。使用与在操作404和405处确定神经信号的“信息性”状态相同的可选过程，可选地确定确认神经信号的质量(操作
412)。
86.可以再次向用户提供关于信号可用于预测用户注意焦点的准确性/置信度的反馈(操作413，与操作405类似)。因此，如果确认神经信号被确定为“非信息性”(否)，则可以向用户通知确认序列将继续。继续采集确认神经信号，直到(由spu 105，比如)做出决定，即确认神经信号是信息性的(操作412，是)。该正向结果也可以提供给用户(操作415)。
87.可以调节模型权重(操作416)以反映产生正向结果的神经信号，并且现在确认信号和对象a之间的关联(操作417)，使得模型可以可靠地用于识别bci的后续操作中的注意焦点。
88.该校准方法的一个关键方面是具有实时反馈以提高注意焦点。发现接收实时反馈可以激发用户更加专注，从而提高准确性，从而显著提高用户满意度。可以间隔应用确认序列以确保校准保持可靠。
89.在图5中，示出与图4相同的流程实施例，例外之处在于在采集神经信号的操作中，神经信号现在还在初始序列(操作501)和确认序列(操作502)二者中被滤波。
90.图6示出用于构建解码模型的一种技术，其中可以设定和调节模型权重(如在操作406所做的)。解码模型被配置为解码用户(其神经响应被建模)的注意焦点。解码模型被训练以“重建”所注意的感觉刺激(例如目标对象)的一个或多个时间变化特征，此后称为“调制信号”。时间变化特征可以是亮度、对比度、颜色、频率、大小、位置或任何刺激特征(可以在所记录的神经信号上直接或间接地观察到其影响)的变化。
91.如上所述，进行初始阶段(操作602)，其中针对n个目标对象(其中i是[1，...，n]的成员)中的每一个获得一组神经信号xi，并且时间变化的刺激特征smi是已知的。
[0092]
在操作604中，神经信号xi与对应的时间变化的刺激特征smi同步。时间变化的刺激特征smi方便地提供时间戳或同步模式。
[0093]
在预处理步骤(操作606)期间，可选地对原始神经信号xi进行降噪，以优化信噪比(snr)。以eeg为例，数据可能会受到多种噪声源严重污染：外部/外源性噪声可能源于电子伪影(例如50hz或60hz线路噪声)，而生物/内源性噪声可能来自肌肉伪影、眨眼、心电图、与任务无关的大脑活动等。
[0094]
在一个或多个实施例中，神经信号x1，x2，
……
，xn可以在重建所注意的刺激的调制信号之前被降噪。例如，该降噪步骤可以包括大约40hz 的简单高通滤波器，以从信号x1，x2，
……
，xn中去除包括线路噪声的高频活动。
[0095]
还可以使用多变量方法，诸如主成分分析(pca)、独立成分分析 (ica)、规范成分分析(cca)或其任何变体，允许将“有用的”神经信号成分(即源自任务相关的大脑活动)与不太相关的成分分开。
[0096]
在随后的步骤(操作608)期间，估计重建模型参数。该估计可以通过使重建误差最小化的方式来完成。重建方法可以采用神经信号的多个参数组合的形式。这些组合参数从数学等式解析方法确定，以估计组合的最优参数，即，对于给定的刺激，对多个神经信号x
i,j
应用重建模型的值αj被记录，产生重建调制信号msr，该重建调制信号msr最优对应于关注刺激的调制信号，即，重建误差最小的值。在该上下文中，术语“权重”是指eeg通道数据的使与关注的刺激的相似性最大化的线性或非线性组合。
[0097]
在一个或几个实施例中，值αj可以是固定的(即与时间无关的)。
[0098]
在其它实施例中，可以实时调节这些值(模型权重)，以便考虑用户神经活动的可能适应，或记录会话期间snr的可能变化。
[0099]
在某些实施例中，重建模型是线性模型，其通过神经信号x
i,j
的线性组合产生调制信号msr。在该情况下，组合参数为线性组合系数αj，并且数学等式为线性等式，并且重建的调制信号msr使用如下公式由神经信号x1，x2，
……
，xn的线性组合计算：
[0100]
msr＝∑jαjxj[0101]
在替代实施例中，可以使用更复杂的模型。一类此类模型使我们使用神经网络，其中调制信号msr是通过对神经信号x1，x2，
……
，xn的级联的非线性数学运算获得的。
[0102]
在刺激被“重建”后，可以将其与呈现给用户的所有不同刺激进行比较。关注的刺激(目标)对应于其时间变化特征sm与重建msr最相似的刺激。
[0103]
例如，可以训练卷积网络以将任何输入的神经信号x与调制信号msr 匹配，使得对于在不同时间点记录的两个神经信号x1和x2，产生两个调制信号msr1和msr2，当用户的注意集中在同一目标上时，两个调制信号msr1和msr2是相似的，而当用户的注意集中在不同的目标上时，两个调制信号msr1和msr2是不同的。可以使用几种相似性的数学定义(例如，可以是简单的pearson相关系数，或欧几里得距离的倒数、互信息等)。重建的调制信号是神经网络从新获取的eeg数据中生成的多维信号r。
[0104]
上述bci可以与真实世界对象结合使用，使对象可控制或以其它方式进行交互。在某些实施例中，刺激的生成由与可控对象相关联(或甚至在其表面上)提供的一个或多个光源(诸如发光二极管led)来处理。
[0105]
在某些实施例中，刺激的生成由投影仪或扫描激光设备处理，使得视觉刺激被投射到可控对象上并且可控对象通过反射投射的刺激来输出视觉刺激。
[0106]
与使用显示屏的bci中的情况一样，用户通过该显示屏与屏幕上的对象(例如在图1中)进行交互，可以使本公开中的可控对象呈现具有特性调制的视觉刺激(例如，闪烁刺激)，使得对存在这些刺激的神经响应变得明显并可从神经信号采集设备(诸如eeg设备)采集的神经信号中解码。
[0107]
在某些实施例中，确定在可控设备的视觉显示上的注意焦点用于向该可控对象发送命令。然后，可控对象可以基于该命令执行动作：例如，可控对象可以发出声音、解锁门、开关机、改变操作状态等。动作还可以向用户提供视觉或与可控对象相关联的其它反馈：这可以与上面讨论的正反馈回路结合使用，但也可以提供对与可控对象相关联的操作的有效选择的实时指示。
[0108]
随着用户使用该反馈刺激更加专注，观察到在bci系统的操作的初始或确认阶段中构建的用户特定刺激重建模型更准确，同时被更快地构建。
[0109]
在随后的操作阶段，使用如上所述的反馈刺激导致实时bci应用的准确性和速度增加。当不执行初始或确认校准步骤时，视觉bci系统可以根据图7中所示的功能框操作。
[0110]
在框702中，可操作地耦合到神经信号采集设备和刺激发生器(诸如图1的eau和dgu)的硬件接口设备(诸如图1的spu)从神经信号采集设备接收神经信号。
[0111]
在框704中，接口设备确定神经信号的分量的强度，该神经信号具有与该视觉刺激或每个视觉刺激的相应特性调制相关联的特性。
[0112]
在框706中，接口设备基于神经信号确定至少一个视觉刺激中的哪一个与用户的
关注对象相关联，通过将至少一个视觉刺激的相应特性调制与被重建的感觉刺激的调制进行比较来推断关注对象，使用接收的神经信号来重建被重建的感觉刺激，其中关注对象是其时间变化特征与重建的感觉刺激最相似的视觉刺激。
[0113]
图9是示出示例软件架构906的框图，该软件架构可以与在此描述的各种硬件架构结合使用。图9是软件架构的非限制性示例，并且应当理解，可以实现许多其它架构以促进在此描述的功能。软件架构906可以在诸如图10的机器1000的硬件上执行，该机器包括处理器1004、存储器1006 和输入/输出(i/o)组件1018等。代表性硬件层952被示出并且可以表示例如图10的机器1000。代表性硬件层952包括具有相关联可执行指令904 的处理单元954。可执行指令904表示软件架构906的可执行指令，包括在此所述的方法、模块等的实现方式。硬件层952还包括示为存储器和/ 或存储设备956的存储器/存储模块，其也具有可执行指令904。硬件层952 还可以包括其它硬件958。例如用于与eeg电极接口和/或用于与显示设备接口的专用硬件。
[0114]
在图9的示例架构中，软件架构906可以概念化为层的堆栈，其中每个层提供特定功能。例如，软件架构906可以包括诸如操作系统902、库 920、框架或中间件918、应用916和呈现层914的层。在操作上，层内的应用916和/或其它组件可以通过软件堆栈调用应用程序接口(api)调用 908，并接收作为消息910的响应。所示的层本质上是代表性的，并且并非所有软件架构都具有所有层。例如，一些移动或专用操作系统可能不提供框架/中间件918，而其它操作系统可提供此类层。其它软件架构可以包括附加层或不同层。
[0115]
操作系统902可以管理硬件资源并提供公共服务。操作系统902可以包括例如内核922、服务924和驱动器926。内核922可以充当硬件和其它软件层之间的抽象层。例如，内核922可以负责存储器管理、处理器管理 (例如，调度)、组件管理、网络、安全设置等。服务924可以为其它软件层提供其它公共服务。驱动器926可以负责控制硬件或与底层硬件接口连接。例如，取决于硬件配置，驱动器926可以包括显示驱动器、eeg设备驱动器、相机驱动器、驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(usb)驱动器)、驱动器、音频驱动器、电源管理驱动器等等。
[0116]
库920可提供由应用916和/或其它组件和/或层可使用的公共基础结构。库920通常提供允许其它软件模块以比与底层操作系统902功能(例如，内核922、服务924和/或驱动器926)直接接口更容易的方式执行任务的功能。库920可以包括系统库944(例如，c标准库)，其可以提供诸如存储器分配功能、字符串操作功能、数学功能等的功能。另外，库920 可以包括api库946，诸如媒体库(例如，用于支持各种媒体格式的呈现和操作的库，媒体格式诸如mpeg4、h.264、mp3、aac、amr、jpg 和png)、图形库(例如，可用于在显示器上呈现2d和3d的图形内容的opengl框架)、数据库库(例如，可提供各种关系数据库功能的sqlite)、 web库(例如，可提供web浏览功能的webkit)等。库920还可以包括各种其它库948，以向应用916和其它软件组件/模块提供许多其它api。
[0117]
框架918(有时也称为中间件)提供可由应用916和/或其它软件组件/ 模块使用的更高级别的公共基础结构。例如，框架/中间件1118可以提供各种图形用户界面(gui)功能、高级资源管理、高级位置服务等。框架/ 中间件918可以提供可以由应用916和/或其它软件组件/模块使用的广泛范围的其它api，其中的一些可以特定于特定操作系统或平台。
[0118]
应用916包括内置应用938和/或第三方应用940。
[0119]
应用916可以使用内置操作系统功能(例如，内核922、服务924和/ 或驱动器926)、库920或框架/中间件918来创建用户界面以与系统的用户交互。可替代地或另外地，在一些系统中，与用户的交互可以通过呈现层(诸如呈现层914)发生。在这些系统中，应用/模块“逻辑”可以与和用户交互的应用/模块的方面分离。
[0120]
图10是示出根据一些示例实施例的机器1000的组件的框图，机器 1000能够从机器可读介质(例如，机器可读存储介质)读取指令并执行在此讨论的任何一个或多个方法。图1的spu、eau和dgu各自可以实现为具有机器1000的一些或所有组件的机器。具体地，图10示出采用计算机系统的示例形式的机器1000的图形表示，在该机器1000内可以执行用于使机器1000执行在此所讨论的任何一种或多种方法的指令1010(例如，软件、程序、应用、小应用程序、应用软件或其它可执行代码)。这样，指令1010可以用于实现在此描述的模块或组件。指令1010将通用的未编程的机器转换成被编程为以所描述的方式执行所描述和示出的功能的特定机器1000。在替代实施例中，机器1000作为独立装置操作或者可以耦接 (例如，联网)到其它机器。在联网部署中，机器1000可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力操作，或者作为对等(或分布式)网络环境中的对等机器操作。机器1000可以包括但不限于服务器计算机、客户端计算机、个人计算机(pc)、平板计算机、膝上型计算机、上网本、机顶盒(stb)、个人数字助理(pda)、娱乐媒体系统、蜂窝电话、智能手机、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能家电)、其它智能设备、web装置、网络路由器、网络交换机、网络桥接器或能够顺序地或以其它方式执行指定机器1000要采取的动作的指令1010的任何机器。此外，尽管仅示出了单个机器1000，但是术语“机器”还应被视为包括机器的集合，该机器的集合单独或联合执行指令1010以执行在此所讨论的任何一种或多种方法。
[0121]
机器1000可以包括处理器1004、存储器1006和输入/输出(i/o)组件1018，它们可以被配置为例如经由总线1002彼此通信。在示例实施例中，处理器1004(例如，中央处理单元(cpu)、精简指令集计算(risc) 处理器、复杂指令集计算(cisc)处理器、图形处理单元(gpu)、数字信号处理器(dsp)、特定应用集成电路(asic)、射频集成电路(rfic)、另一个处理器或其任何合适的组合)可以包括例如可以执行指令1010的处理器1008和处理器1012。术语“处理器”旨在包括可以同时执行指令的两个或更多个独立处理器(有时称为“核心”)的多核处理器。尽管图10 示出多个处理器，但机器1000可以包括具有单个核心的单个处理器、具有多个核心的单个处理器(例如，多核处理器)、具有单个核心的多个处理器、具有多个核心的多个处理器，或者其任何组合。
[0122]
存储器1006可以包括存储器1014(诸如主存储器、静态存储器或其它存储器存储设备)和存储单元1016，两者都可由处理器1004诸如经由总线1002访问。存储单元1016和存储器1014存储体现任何一种或多种方法的指令1010或在此描述的功能。在机器1000的其执行期间，指令1010 还可以完全或部分地驻留在存储器1014内、存储单元1016内、处理器1004 中的至少一个处理器内(例如，在处理器的高速缓存内)或其任何合适的组合。因此，存储器1014、存储单元1016和处理器1004的存储器是机器可读介质的示例。
[0123]
如在此所使用的，“机器可读介质”是指能够临时或永久存储指令和数据的设备，并且可以包括但不限于随机存取存储器(ram)、只读存储器(rom)、缓冲存储器、闪存、光学介质、磁性介质、高速缓冲存储器、其它类型的存储器(例如，可擦除可编程只读存储器
(eeprom))和/ 或它们的任何合适的组合。术语“机器可读介质”应该被认为包括能够存储指令1010的单个介质或多个介质(例如，集中式或分布式数据库，或相关的缓存和服务器)。术语“机器可读介质”应也被认为包括能够存储指令(例如，指令1010)以供机器(例如，机器1000)执行的任何介质或多种介质的组合，使得指令在由机器1000的一个或多个处理器(例如，处理器1004)执行时，使机器1000执行在此描述的任何一种或多种方法。因此，“机器可读介质”是指单个存储装置或设备，以及包括多个存储装置或设备的“基于云”的存储系统或存储网络。术语“机器可读介质”不包括信号本身。
[0124]
输入/输出(i/o)组件1018可以包括各种各样的组件以接收输入，提供输出，产生输出，发送信息，交换信息，采集测量等。在特定机器中包括的特定输入/输出(i/o)组件1018将取决于机器的类型。例如，诸如移动电话的用户接口机器和便携式机器可能包括触摸输入设备或其它此类输入机构，而无头服务器机器可能不包括此类触摸输入设备。应当理解，输入/输出(i/o)组件1018可以包括图10中未示出的许多其它组件。
[0125]
仅仅是为了简化以下讨论，根据功能对输入/输出(i/o)组件1018进行分组，并且分组决不是限制性的。在各种示例实施例中，输入/输出(i/o) 组件1018可以包括输出组件1026和输入组件1028。输出组件1026可以包括视觉组件(例如显示器，诸如等离子显示面板(pdp)、发光二极管 (led)显示器、液晶显示器(lcd)、投影仪或阴极射线管(crt))、声学组件(例如扬声器)、触觉组件(例如，振动电动机、电阻机构)、其它信号发生器等。输入组件1028可以包括字母数字输入组件(例如，键盘、配置为接收字母数字输入的触摸屏、光电键盘或其它字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指向仪器)、触觉输入组件(例如，物理按钮，提供触摸或触摸手势的位置和/或力的触摸屏，或其它触感输入组件)、音频输入组件 (例如，麦克风)等。
[0126]
在另外的示例实施例中，输入/输出(i/o)组件1018可以包括广泛的其它组件中的生物度量组件1030、运动组件1034、环境组件1036或定位组件1038。例如，生物度量组件1030可以包括检测表达(例如手部表达、面部表情、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗水或脑波，诸如来自eeg设备的输出)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别) 等的组件。运动组件1034可包括加速度传感器组件(例如，加速度计)、重力传感器组件、旋转传感器组件(例如陀螺仪)等。环境组件1036可包括例如照明传感器组件(例如，光度计)、温度传感器组件(例如，检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如，检测背景噪声的一个或多个麦克风)、接近度传感器组件(例如，检测附近物体的红外传感器)、气体传感器组件(例如，用于为了安全而检测危险气体浓度或测量大气中的污染物的气体检测传感器)或可能提供与周围物理环境相对应的指示、测量或信号的其它组件。定位组件1038可包括定位传感器组件(例如，全球定位系统 (gps)接收器组件)、海拔传感器组件(例如，高度计或检测可以从中导出高度的空气压力的气压计)、取向传感器组件(例如，磁力计)等。
[0127]
可以使用各种技术来实现通信。输入/输出(i/o)组件1018可以包括通信组件1040，其可操作以分别经由耦接器1024和耦接器1022将机器 1000耦接到网络1032或设备1020。例如，通信组件1040可以包括网络接口组件或其它合适的设备以与网络1032接口。在进一步的示例中，通信组件1040可以包括有线通信组件、无线通信组件、蜂窝通信组件、近
场通信 (nfc)组件、组件(例如，低功耗)组件和其它通信组件，以经由其它模式提供通信。设备1020可以是另一机器或各种外围设备中的任何一种(例如，经由通用串行总线(usb)耦接的外围设备)。在eeg设备或显示设备不与机器1000集成的情况下，设备1020可以是 eeg设备和/或显示设备。
[0128]
尽管已经参考特定示例实施例描述了发明主题的概述，但是可以对这些实施例进行各种修改和改变而不脱离本公开的实施例的更广泛范围。本发明主题的这些实施例可以在此单独或共同地通过术语“发明”来指代，这仅仅是为了方便，并且无意将本技术的范围自愿限制到任何单个公开或发明概念，如果事实上不止一个公开的话。
[0129]
在此示出的实施例被足够详细地描述以使本领域技术人员能够实践所公开的教导。可以使用其它实施例并从中派生出其它实施例，从而可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。因此，详细描述不应理解为限制性意义，并且各种实施例的范围仅由所附权利要求以及这些权利要求所享有的全部等效物范围来定义。
[0130]
如在此所使用的，术语“或”可以被解释为包含性或排他性的意义。此外，可以为在此描述的资源、操作或结构提供多个实例作为单个实例。此外，各种资源、操作、模块、引擎和数据存储之间的边界在某种程度上是任意的，并且在特定说明性配置的上下文中说明了特定操作。可以设想其它功能分配并且可以落入本公开的各种实施例的范围内。通常，在示例配置中呈现为单独资源的结构和功能可以实现为组合结构或资源。类似地，呈现为单个资源的结构和功能可以实现为单独的资源。这些和其它变化、修改、添加和改进落入如所附权利要求所表示的本公开的实施例的范围内。因此，说明书和附图被认为是说明性的而不是限制性的。
[0131]
示例
[0132]
为了更好地说明本文公开的方法和系统，在此提供示例的非限制性列表：
[0133]
示例1：一种用于脑机接口的自适应校准的方法，包括：
[0134]
a.在显示屏上显示一个或多个对象；
[0135]
b.调制所述一个或多个对象的显示特性，使得每个对象具有唯一的时间变化显示特性；
[0136]
c.用户查看该显示屏上的该一个或多个对象中的第一显示对象；
[0137]
d.由系统检测和记录从该用户检测到的第一组当前神经信号；
[0138]
e.将该第一组当前神经信号与该显示屏上的该第一显示对象相关联；
[0139]
f.改变该第一显示对象的该显示特性的该调制；
[0140]
g.由该系统检测并记录从该用户检测到的第二组当前神经信号；
[0141]
h.将该第二组神经信号与该第一显示对象相关联，以确认该第一显示对象正在被关注；
[0142]
i.如果确认，则将记录的与该第一显示对象相关联的神经信号建模；
[0143]
j.使用该记录的神经信号的模型来识别该用户何时关注该第一显示对象；
[0144]
k.当用户依次关注该一个或多个对象中的每一个对象时，对该一个或多个对象重复步骤a到j；
[0145]
l.重复步骤a到k，同时修改建模加权和该调制显示特性以优化关注的对象的确定的准确性。
[0146]
示例2：如示例1中所述的方法，进一步包括：
[0147]
确定该神经信号是否包含伪影；以及
[0148]
如果该神经信号包含伪影，则确定该神经信号是否是信息性的。
[0149]
示例3：如示例1中所述的方法：进一步包括：
[0150]
对神经信号滤波以减轻噪声；
[0151]
确定被滤波的神经信号是否包含伪影；以及
[0152]
如果被滤波的神经信号包含伪影，则确定该被滤波的神经信号是否是信息性的。
[0153]
示例4：如示例2中所述的方法，进一步包括：
[0154]
如果该神经信号是可用的，则向该用户反馈该神经信号可用的指示；
[0155]
如果该神经信号是不可用的，则向该用户反馈该神经信号不可用的指示；以及
[0156]
指示该用户采取一个或多个动作来校正该不可用的神经信号。
[0157]
示例5：如示例3中所述的方法，进一步包括：
[0158]
如果被滤波的神经信号是可用的，则向该用户反馈该被滤波的神经信号可用的指示；
[0159]
如果被滤波的神经信号是不可用的，则向该用户反馈该被滤波的神经信号不可用的指示；以及
[0160]
指示该用户采取该一个或多个动作来校正该不可用的被滤波的神经信号。
[0161]
示例6：一种计算机实现的方法，在至少一个处理器中，该方法包括：
[0162]
在初始阶段中，从神经信号采集设备接收用户的第一组神经信号，用户在训练序列中感知感觉信息，训练序列包括至少一个感觉刺激，每个感觉刺激至少具有一个预定的对应特性；
[0163]
从第一组神经信号和训练序列确定与一个或多个感觉刺激中的每一个感觉刺激相关联的神经响应数据，神经响应数据被组合以生成用户对感觉刺激的神经响应的模型，模型包括对神经信号的特征应用的权重；
[0164]
在校准阶段中，从神经信号采集设备接收用户的第二组神经信号，用户在确认序列中进一步感知感觉信息，确认序列包括感觉刺激中的至少一个感觉刺激；
[0165]
使用模型，估计感觉刺激中的哪一个是用户的关注对象；
[0166]
确定估计的关注对象的识别是否对应于确认序列中的感觉刺激；
[0167]
如果确定对应，则修改权重；以及
[0168]
如果确定不对应，则修改确认序列中的感觉刺激。
[0169]
示例7：示例6所述的方法，其中，修改确认序列中的感觉刺激包括修改以下中的至少一项：至少一个感觉刺激的对应特性；减少确认序列中感觉刺激的数量；以及改变确认序列中感觉刺激的外观。
[0170]
示例8：示例6或示例7所述的方法，其中，至少一个感觉刺激是视觉刺激，其中，训练序列包括显示的由用户观看的训练图像数据，以及其中，训练图像数据包括视觉刺激。
[0171]
示例9：示例8所述的方法，其中，该视觉刺激或每个视觉刺激以已知顺序显示。
[0172]
示例10：示例8或示例9所述的方法，其中，训练图像数据包括在已知显示位置处显示的该视觉刺激或每个视觉刺激。
[0173]
示例11：根据示例8至10中任一项所述的方法，其中，预定的对应特性调制是显示
位置、亮度、对比度、闪烁频率、颜色和/或比例中的至少一项的改变。
[0174]
示例12：示例5至11中任一项所述的方法，其中，至少一个感觉刺激是音频刺激，训练序列包括由用户听到的训练音频数据，以及其中，训练音频数据包括音频刺激。
[0175]
示例13：示例5至12中任一项所述的方法，其中，至少一个感觉刺激是触觉刺激，训练序列包括由用户感觉到的训练触觉数据，以及其中，训练触觉数据包括触觉刺激。
[0176]
示例14：如示例5至13中任一项所述的方法，其中，估计感觉刺激中的哪一个是用户的关注对象包括：
[0177]
将训练序列中的不同的刺激与使用第二组神经信号重建的重建感觉刺激进行比较；以及
[0178]
确定关注对象是其时变特征与重建的感觉刺激最相似的刺激。
[0179]
示例15：示例5至14中任一项所述的方法，进一步包括重复校准阶段的操作。
[0180]
示例16：示例5至15中任一项所述的方法，其中，感觉刺激对应于控制项目，该方法进一步包括执行关于与推断的注意焦点相关联的控制项目的控制任务。
[0181]
示例17：示例5至16中任一项所述的方法，进一步包括在确定用于生成模型的神经响应数据之前对接收的神经信号进行滤波以减轻噪声。
[0182]
示例18：示例5至17中任一项所述的方法，进一步包括：
[0183]
确定接收的神经信号是否包括伪影；以及
[0184]
其中，神经信号包含伪影，拒绝接收的神经信号。
[0185]
示例19：示例18所述的方法，进一步包括：
[0186]
在神经信号不包括伪影的情况下，向用户反馈神经信号可用的指示；
[0187]
在神经信号包括伪影的情况下，如果神经信号不可用，则向用户反馈神经信号不可用的指示；以及
[0188]
指示用户采取一个或多个动作来校正不可用的神经信号。
[0189]
示例20：一种脑机接口系统，包括：
[0190]
感觉信息生成单元，其被配置为输出用于由再现设备再现的信号，再现的信号由用户感知为感觉信息；
[0191]
神经信号采集设备，其被配置为采集与用户相关联的神经信号；以及
[0192]
信号处理单元，其可操作地耦合到感觉信息生成单元和神经信号采集设备，信号处理单元被配置为：
[0193]
在初始阶段中，从神经信号采集设备接收用户的第一组神经信号，用户感知训练序列中的感觉信息，训练序列包括至少一个感觉刺激，每个感觉刺激具有至少一个预定的对应特性；
[0194]
从第一组神经信号和训练序列确定与一个或多个感觉刺激中的每一个感觉刺激相关联的神经响应数据，神经响应数据被组合以生成用户对感觉刺激的神经响应的模型，模型包括对神经信号的特征应用的权重；
[0195]
在校准阶段中，从神经信号采集设备接收用户的第二组神经信号，用户在确认序列中进一步感知感觉信息，确认序列包括感觉刺激中的至少一个感觉刺激；
[0196]
使用模型，估计感觉刺激中的哪一个是用户的关注对象；
[0197]
确定所估计的关注对象的识别是否对应于确认序列中的感觉刺激；
[0198]
如果确定对应，则修改权重；以及
[0199]
如果确定不对应，则修改确认序列中的感觉刺激。
[0200]
示例21：示例20所述的脑机接口系统，
[0201]
其中，至少一个感觉刺激是视觉刺激，
[0202]
其中，训练序列中的感觉信息包括显示的由用户观看的训练图像数据，训练图像数据包括视觉刺激，
[0203]
其中，确认序列中的另一感觉信息包括显示的由用户观看的确认图像数据，确认图像数据包括视觉刺激，以及
[0204]
其中，感觉信息生成单元包括显示生成单元(dgu)，其被配置为使显示器再现训练图像数据和确认图像数据。
[0205]
示例22：一种非暂态计算机可读存储介质，该计算机可读存储介质存储指令，该指令当由计算机系统执行时使计算机系统执行包括以下操作的操作：
[0206]
在初始阶段中，从神经信号采集设备接收用户的第一组神经信号，用户在训练序列中感知感觉信息，训练序列包括至少一个感觉刺激，每个感觉刺激具有至少一个预定的对应特性；
[0207]
从第一组神经信号和训练序列确定与一个或多个感觉刺激中的每一个感觉刺激相关联的神经响应数据，神经响应数据被组合以生成用户对感觉刺激的神经响应的模型，模型包括对神经信号的特征应用的权重；
[0208]
在校准阶段中，从神经信号采集设备接收用户的第二组神经信号，用户在确认序列中进一步感知感觉信息，确认序列包括感觉刺激中的至少一个感觉刺激；
[0209]
使用模型，估计感觉刺激中的哪一个是用户的关注对象；
[0210]
确定所估计的关注对象的识别是否对应于确认序列中的感觉刺激；
[0211]
如果确定对应，则修改权重；以及
[0212]
如果确定不对应，则修改确认序列中的感觉刺激。
[0213]
示例23：一种计算机可读存储介质，该计算机可读存储介质承载指令，该指令当由计算机执行时，使计算机执行示例5至19中任一项所述的方法。
[0214]
这些图是示例性的并且不应被理解为将范围或步骤仅限于那些。在系统仅显示单个对象的情况下，同样的方法也适用。在系统显示三个以上对象的情况下，同样的方法也适用。尽管显示的对象具有不同的二维形状，但这是为了清楚起见。对象可以具有任何形状、任何颜色，并且可以位于显示屏上的任何位置。可以以任何顺序完成连续对象检查和校准的序列，而不必是相邻对象序列中的一个。
[0215]
尽管通过多个详细的示例性实施例进行了描述，但是根据本公开的用于采集脑电图信号的便携式设备包括对本领域技术人员来说显而易见的各种变体、修改和改进，应当理解，这些各种变体、修改和改进落入本公开的主题范围内，如所附权利要求所限定。