器）、相机（例如，可使用可见或不可见波长，诸如红外频率， W根据不设及触摸的姿势来识别移动）等。输出设备的实例包括显示设备（例如，监控器 或投影仪）、扬声器、打印机、网络卡、触觉响应设备等。因此，可下面进一步描述的各种 方式来配置计算设备1602 W支持用户交互。
[0159] 可W在软件、硬件元件或程序模块的一般条件下描述各种技术。通常，运种模块包 括例行程序、程序、对象、元件、部件、数据结构等，它们执行特定的任务或实施特定的抽象 数据类型。本文使用的术语"模块"、"功能"和"部件"通常表示软件、固件、硬件或它们的 组合。本文所描述的技术的特征是不依赖于平台的，意味着可W在具有各种处理器的商业 计算平台上实施技术。
[0160] 所描述模块和技术的实施方式可W存储在一些形式的计算机可读介质上或者横 跨一些形式的计算机可读介质进行传输。计算机可读介质可W包括各种可被计算设备1602 访问的介质。通过实例但不限制，计算机可读介质可W包括"计算机可读存储介质"和"计 算机可读信号介质"。
[0161] "计算机可读存储介质"可表示与仅进行信号传输、载波或信号本身相比能够进行 信号的永久和/或非暂态存储的介质和/或设备。因此，计算机可读存储介质表示非信号承 载介质。计算机可读存储介质包括硬件，诸如易失性和非易失性、可移除和不可移除介质和 /或W适合于存储信息（诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他 数据）的方法或技术实施的存储设备。计算机可读存储介质的实例可W包括但不限于RAM、 ROM、EEPR0M、闪存或其他存储技术、CD-ROM、数字通用盘值VD)或其他光学存储器、硬盘、磁 带盒、磁带、磁盘存储或其他磁性存储设备或其他存储设备、可触介质或者适合于存储期望 信息并可W被计算机访问的制造品。
[0162] "计算机可读信号介质"可W表示信号承载介质，其被配置为例如经由网络向计算 设备1602的硬件传输指令。信号介质通常可W具体化计算机可读指令、数据结构、程序模 块或调制数据信号的其他数据（诸如载波、数据信号或其他传输机制）。术语"调制数据信 号"表示具有W编码信号中的信息的运种方式设置或改变其特性中的一个或多个的信号。 通过实例但不限制，通信介质包括有线介质（诸如有线网络或直接有线连接）和无线介质 (诸如声学、RF、红外和其他无线介质）。
[0163] 如前所述，硬件元件1610和计算机可读介质1606表示W硬件形式实施的模块、可 编程设备逻辑和/或固定设备逻辑，其在一些实施例中可W用于实施本文所描述技术的至 少一些方面，诸如执行一个或多个指令。硬件可W包括集成电路或忍片上系统、专用集成电 路（ASIC)、现场可编程口阵列（FPGA)、复杂可编程逻辑设备（CPLD)的部件W及娃或其他硬 件的其他实施方式。在运种情况下，硬件可W操作为处理设备，其处理由硬件具体化的指令 和/或逻辑所限定的程序w及用于存储指令用于执行的硬件（例如，先前描述的计算机可 读存储介质）。
[0164] 前述的组合还可W用于实施本文描述的各种技术。因此，软件、硬件或可执行模块 可W实施为在一些形式的计算机可读存储介质上和/或通过一个或多个硬件元件1610具 体化的一个或多个指令和/或逻辑。计算设备1602可W被配置为实施与软件和/或硬件模 块相对应的特定指令和/或功能。因此，被计算设备1602可执行为软件的模块的实施方式 可W至少部分地W硬件来实现，例如通过使用计算机可读存储介质和/或处理系统1604的 硬件元件1610。指令和/或功能可被一个或多个制造品（例如，一个或多个计算设备1602 和/或处理系统1604)执行/操作W实施本文描述的技术、模块和实例。
[0165] 本文所述的技术可W被计算设备1602的各种结构来支持并且不限于本文所述技 术的具体实例。该功能还可W全部或部分通过使用分布式系统来实施，诸如下面描述的经 由平台1618在"云"1614上。
[0166] 云1614包括和/或表示用于砖1616的平台1618。平台1618抽象云1614的硬 件（例如，服务器）和软件的潜在功能。资源1616可W包括应用和/或数据，其可W在远 离计算设备1602的服务器上执行计算机处理的同时被利用。资源1616还可W包括在因特 网上提供和/或通过用户网络（诸如蜂窝或Wi-Fi网络）提供的服务。
[0167] 平台1618抽象资源和功能W连接计算设备1602与其他计算设备。平台1618还 可W用于抽象资源的缩放W提供针对经由平台1618实施的资源1616的遭遇请求的对应等 级。因此，在互连设备实施例中，本文所描述的功能的实施方式可W在系统1600中分布。例 如，可W部分地在计算设备1602上W及经由抽象云1614的功能的平台1618来实施功能。 [016引 结论
[0169] 尽管W特定的结构特征和/或方法逻辑动作描述了本发明，但应该理解，所附权 利要求中限定的发明不是必须限于所描述的特定特征或动作。此外，具体特征和动作被公 开为实施所要求发明的示例性形式。
【主权项】
1. 一种用于在用于识别和部署潜在的数字广告活动的数字介质环境中优化活动选择 的方法，其中活动可以根据需求被改变、移除或替换，所述方法包括： 在一个或多个计算设备处接收策略，所述策略被配置为通过内容提供器进行部署来选 择广告；以及 与所述内容提供器的部署策略相反，至少部分地基于在对接收策略的部署中可能涉 及的风险的量化，通过所述一个或多个计算设备控制所述内容提供器对所述接收策略的部 署，所述控制包括： 通过所述内容提供器对描述部署策略的部署的部署数据应用强化学习和集中不等式 以估计所接收策略的性能测量的值并且通过计算估计值的一个或多个统计保证来量化风 险；以及 响应于确定所述一个或多个统计保证表示至少所述性能测量的估计值至少对应于至 少部分地基于所述内容提供器的部署策略的性能测量的阈值的置信等级，使得所接收的策 略进行部署。2. 根据权利要求1所述的方法，其中所述阈值至少部分地基于所述部署策略的测量性 能和设置裕度。3. 根据权利要求2所述的方法，其中设置所述阈值，使得所述接收策略的所述估计值 显示出相对于所述部署策略的性能测量的改进。4. 根据权利要求1所述的方法，其中所述置信等级和所述阈值是经由与所述一个或多 个计算设备的用户接口的交互而用户可限定的。5. 根据权利要求1所述的方法，其中所述集中不等式被配置为将限定阈值上方的估计 值移动到所述限定阈值处。6. 根据权利要求1所述的方法，其中所述集中不等式被配置为与所述估计值的随机变 量的范围无关。7. 根据权利要求1所述的方法，其中所述集中不等式被配置为塌陷所述估计值的随机 变量分布的尾部，标准化所述随机变量分布，并且然后生成下限，从所述下限中提取所述估 计值的原始随机变量的均匀平均值的下限。8. 根据权利要求1所述的方法，其中所述策略被配置为被所述内容提供器用于至少部 分地基于与访问内容的请求相关联的特性来选择用于与内容包括在一起的广告。9. 根据权利要求8所述的方法，其中与所述请求相关联的所述特性包括发起所述请求 的用户或设备的特性或者所述请求自身的特性。10. 根据权利要求8所述的方法，其中使用特征矢量来表示所述特性。11. 根据权利要求1所述的方法，其中所接收的部署数据不描述通过一个或多个实体 对所述接收策略的部署。12. 根据权利要求1所述的方法，其中所接收的部署数据还描述对所述接收策略的部 署。13. -种系统，包括： 一个或多个计算设备，被配置为执行操作，所述操作包括与所述部署策略相反，至少部 分地基于在对接收策略的部署中可能涉及的风险的量化来控制对所述接收策略的部署，所 述控制包括： 对描述对所述部署策略的部署的部署数据使用强化学习和集中不等式，以估计所述接 收策略的性能测量值并通过计算关于估计值的一个或多个统计保证来量化所述风险；以及 响应于确定所述一个或多个统计保证表示至少所述性能测量的估计值至少对应于至 少部分地基于所述部署策略的性能测量的阈值的置信等级，使得用所接收的策略替换对所 述部署策略的部署。14. 根据权利要求13所述的系统，其中所述阈值至少部分地基于所述部署策略的测量 性能和设置裕度。15. 根据权利要求14所述的系统，其中设置所述阈值，使得所述接收策略的所述估计 值显示出相对于所述部署策略的性能测量的改进。16. 根据权利要求13所述的系统，其中所述置信等级和所述阈值是经由与所述一个或 多个计算设备的用户接口的交互而用户可限定的。17. -种内容提供器，包括被配置为执行操作的一个或多个计算设备，所述操作包括： 基于与针对内容的请求相关联的一个或多个特性来部署策略以选择将与内容一起被 包括的广告；以及 用另一策略替换所述部署策略，所述另一策略通过使用强化学习和集中不等式以处理 部署数据并确定所述一个或多个统计保证表示至少所接收策略的性能测量的估计值至少 对应于至少部分地基于所述部署策略的性能测量的阈值的置信等级来选择。18. 根据权利要求17所述的内容提供器，其中所述阈值至少部分地基于所述部署策略 的性能测量和设置裕度。19. 根据权利要求17所述的内容提供器，其中设置所述阈值，使得所述接收策略的所 述估计值显示出相对于所述部署策略的性能测量的改进。20. 根据权利要求17所述的内容提供器，其中所述置信等级和所述阈值是经由与所述 一个或多个计算设备的用户接口的交互而用户可限定的。
【专利摘要】本发明的各实施方式总体上涉及用于策略部署的风险量化。具体地，描述了风险量化、策略搜索和自动安全策略部署。在一个或多个实施方式中，技术用于确定策略的安全性，诸如表示新策略将相对于当前部署的策略显示出增加的性能测量(例如，交互或转换)的置信等级。为了进行这种确定，利用强化学习和集中不等式，其生成和约束关于策略的性能测量的置信值并由此提供该性能的统计保证。这些技术可用于量化策略部署中的风险、基于估计性能和该估计中的置信等级选择策略用于部署(例如，其可以包括使用策略空间来减少数据处理量)、用于通过交互创建新策略(其中策略的参数被迭代调整并且评估这些调整的效果)等。
【IPC分类】G06Q30/02
【公开号】CN105631698
【申请号】CN201510484987
【发明人】P·S·托马斯, G·西奥查奥斯, M·加瓦姆扎德
【申请人】奥多比公司
【公开日】2016年6月1日
【申请日】2015年8月7日
【公告号】DE102015009799A1, US20160148251