AI Sentinel: Frontier

AI Daily Review

2026-11-14 · 中文 · full text with sources

在 App 里订阅关键词提醒

你关心的话题一有动静就推送 · 30 天归档 · 每日语音
因审核政策原因,暂未在中国区上架;海外 Apple ID 可下载

并非前沿模型:AI 的关键制约在于评估、数据、安全与部署

2026-11-14 02:00 UTC

要点

核心论点是:AI 技术栈的成熟正围绕前沿模型发布之下的种种约束展开,包括评测协议、数据覆盖、智能体安全与部署基础设施。 从编辑视角解读,各章节依次从测量、安全、人类使用、科学数据、自我改进推进到机器人服务,层层构建这一论证。 评测审计表明,基准分数取决于验证器的选择、错误注入与聚合方式; 智能体安全工作转向论证通道与供应链完整性; 人机研究对有关商议与专家信号默认设置的论断作出限定; 科学机器学习指向数据覆盖与标注策略; 自我改进智能体的工作分为测量与方法两条路线; 机器人工作则聚焦于接口与服务基础设施。 “简讯”(Briefly Noted)条目的定位与当天整体基调一致——重心落在部署基础设施、治理冲击与政策摩擦上,而非前沿模型发布。 综合编辑解读来看,真正的约束性因素是协议、数据、安全与部署,而非模型发布。

评估审计聚焦于协议层面的产物

当天对评估问题最有力的一种表述,出现在一项针对文生图模型结构计数的审计中:该研究论证自动基准分数是生成器、提示词分布、验证器、验证器使用协议与评分规则共同决定的属性,并将其形式化为 S(G, P, V, π, σ) 1。 同一篇 arXiv 预印本(会议备注标注为已被 NeurIPS 2026 评估与数据集赛道接收)指出,验证器与协议的选择可能压缩甚至逆转生成器排名,因此排行榜结论或许只是评估流程的产物,而非模型本身的属性 1。 这并非孤立的担忧。 另一篇被 WACV 2027 接收的 arXiv 预印本在一个涵盖 22 个数据集的测试平台上发现,逐视频路由与特征融合相对于简单的校准分数平均所带来的收益,在很大程度上属于评估产物; 留一数据集(leave-one-dataset-out)与留一篡改手段(leave-one-manipulation-out)协议似乎会系统性地高估表达能力更强的组合器 2。 这两项发现在机制层面相互印证:协议选择既能制造表面上的收益 2,也能重排模型名次 1。 这篇深度伪造检测论文建议,采用家族级留出集与尾部指标,或可将研究精力从组合器的复杂度转向专家多样性与校准 2。

错误注入提供了第三个层面。 一篇被 NeurIPS 2026 接收的 arXiv 预印本提出了一个基准:向真实 arXiv 论文的 LaTeX 源码中,按三个严重程度注入四类客观且可定位的错误——一般性问题、数学、数值与引用——随后测量每位审稿者按类型和严重程度划分的检出率,以及其在干净副本上的误报率 3。 作者声称,这是首次在真实的非机器学习科学语料上对 AI 同行评审者开展的受控比较 3。 该基准报告的指标是按错误类型和严重程度划分的检出率,以及在干净副本上的误报率,因此其测量结果与产生这些结果的注入协议紧密绑定 3。

聚合是第四层。 一篇被 NeurIPS 2026 Med-Reasoner 研讨会接收的 arXiv 预印本,在一组与患病率匹配、按性别、年龄、征象和标签均衡的 6,048 道 ChestX-ray14 问题上,对五个开源医疗 VLM 进行了审计 4。 结果显示,HuatuoGPT-Vision 和 Qwen2.5-VL 在 432 张气胸阳性 X 光片上一张也未能检出,平衡准确率仅相当于随机水平 4。 论文的结论是:总体准确率无法证明模型能够识别某一给定征象; 而对于气胸这种可能在数小时内致命的疾病,模型给出的自信而流畅的阴性结论,临床医生在诊疗现场很难察觉其错误 4。 在这里,汇总得分与特定诊断上的失败并存 4。

综合来看,这几项工作都把关键约束指向了协议层面:验证器与评分规则 1、留出集族与尾部指标 2、错误类型与严重程度以及干净副本带来的假阳性 3,还有特定诊断亚组的表现 4。 由此得出的推论是:总体准确率方面的主张,除非连同产生它的评估流程一起呈现,否则并不能作为可迁移的能力证据 1, 2, 4。 同行评审基准还补充了一点:即便是对 AI 审稿人的评估,也是一种依赖协议的测量 3。 这些证据支持这样一种做法:把基准分数视为特定评估设计的输出,而不是模型的内在属性 1, 2, 3, 4。

智能体安全从行为安全转向决策论证与供应链完整性

智能体安全研究的焦点正日益从行为本身是否有害,转向那些决定智能体究竟是否采取行动的渠道。 《When Safety Becomes an Attack Surface》一文将“警告诱发的过度弃权”认定为一种新的智能体安全攻击面:在间接提示注入威胁模型下,这是一种可用性攻击——攻击者在低信任内容中植入伪造的风险警告,使调用工具的智能体拒绝执行合法任务 5。 论文阐述的含义是,智能体安全应当通过“克制”的理由正当性来评估,并与所采取行为的安全性并重,从而把弃权评估从“是否存在停止的理由”延伸到“支撑该决策的证据是否可靠”; 论文还将这项工作置于过度拒绝(over-refusal)文献(XSTest、OR-Bench)与间接提示注入研究的脉络之中 5。 这表明,安全问题附着于警告本身,而非它所阻止的那次工具调用。

"CapLite" 则在防御层面处理一个相关的正当性问题。 论文指出,它所考察的执行类防御(CaMeL、Progent、IPIGuard、DRIFT)都依赖一份由智能体自身模型撰写的安全工件(security artifact),并在 15 个开放权重模型上对这一点进行了测量 6。 其提出的替代方案在 13,935 个遭受攻击的 AgentDojo 回合中实现零次攻击成功,受攻击时的效用与 CaMeL 相当(29.0% 对 27.2%)6。 与 5 对照阅读,这两篇预印本可以看作把完整性问题放到了决策的两端:许可克制的警告与许可执行的工件都出自模型之手,而 6 的测量表明,对于小型本地部署的智能体,这类由模型撰写的工件在所评估的设置中失效了 6。

另一组论文将焦点从文本转向了参数与训练信号。 “Lazare, veni foras” 提出了 Lazarus——一种权重层面的后门:它将模型最后一个 SwiGLU 前馈块中不到十个休眠神经元重新编程为木马神经元,这些神经元在良性输入下保持沉默,而一旦出现触发字符串,便会推动模型生成攻击者选定的载荷 token 7。 论文主张应当像审计代码一样审计权重,并面向模型中心、供应商、企业和用户提出建议,包括与所声明的基座模型进行差异比对、展示模型来源、设置权限限制以及审查操作行为 7。 “Bait” 则关注训练阶段的供应链漏洞:它揭示了智能体式 RL-as-a-service 中的一项缺陷——用户只需 20 美元,就能提供一个有毒环境,其有害的奖励函数会瓦解 LLM 的安全对齐; 该攻击在商业平台 Tinker 上得到演示,GPT-OSS-20B 的有害分数从 5.34/0.17/0.25 升至 53.00/67.69/79 8。 论文指出的含义是,RL-as-a-service 提供商可能需要在 API 层面对奖励进行筛查; 文中还提到,所演示攻击的成本约为 20 美元,攻击者有可能利用安全退化的模型协助实施有害活动,例如利用软件漏洞,文中以面向返回的编程(return-oriented programming)为例 8。

综合来看,这四项内容提示了一种重心的转移:智能体安全审查的对象,是行动的依据——警告与防御产物——以及产生这些依据的机制的来源,即权重与奖励通道。 这一论断尚属初步:四篇均为 arXiv 预印本,同行评审状态不明 7, 8, 6, 5; 而且此处报告的最强定量结果,分别来自单一防御方案自身的评估 6 和单一商业平台的演示 8。

人机决策证据削弱深思与专家信号默认策略

关于额外审议或专家信号能改善人类决策的说法,并未得到当天受控证据的支持; 这些研究反而指出了可能降低准确率或使校准未见改善的具体默认设置 9, 10, 11。 9 是一篇同行评审情况不明的 arXiv 预印本,报告了多智能体审议(MAD)——即多个 LLM 在结构化讨论中协作——对人类决策准确率影响的首次受控测试,实验依托两项用户研究展开:LLM 回答核查(ReaLMistake,N=401)与政治事实核查(Fact-check,N=417)9。 其报告的结果是方向性的:“魔鬼代言人”角色会降低准确率与用户体验 9。 这一发现削弱了一种常见的设计默认假设——结构化的 LLM 分歧是帮助人类核查者提升准确率的手段——因为至少有一种审议角色会同时损害决策结果与交互体验 9。

10 将审计从角色本身扩展到了附着在分歧之上的地位信号。 该论文提出一种受控的两轮审计:保持问题、证据和模型初始答案不变,仅改变修订情境——中性反思、匿名分歧,或归因于领域专家的分歧 10。 论文明确指出的启示在于评估层面:仅凭反转次数和最终准确率,无法区分有益的纠正与因权威声望而放弃正确答案的行为,这可能改变多智能体修订流程的评估方式 10。 与 9 结合来看,这两项研究把问题从“审议是否发生”转向了“伴随审议的是哪些社会信号”——一项研究中是魔鬼代言人角色,另一项中是专家归因——而两者都没有提供一种可以默认会改善人类决策的设置 9, 10。 10 的审计是一篇 arXiv 预印本,附有注明 "Accepted at NeurIPS 2026" 的发表信息; 其警示针对的是汇总性修订指标能揭示什么、又无法揭示什么 10。

11 提供了用户侧的机制,使质量下降的建议信号产生实际后果。 这项预印本通过四项预注册实验,考察人们在反复交互中是否会校准对 LLM 顾问的依赖,实验操纵了顾问的有用程度(准确率分别为 100%、50% 或 0%)以及真实反馈(ground-truth feedback)的可得性 11。 结果表明,除非能及时获得真实反馈,否则人们可能持续被一贯错误的 LLM 建议所左右,而许多现实领域恰恰无法提供这种反馈 11。 这是一个关于校准而非深思的结果,但它直接关系到本节的论点:在这些实验中,当真实反馈缺失时,反复交互并不足以确保校准 11。 该预印本的同行评审状态未知 11。

综合来看,这些证据支持的结论比“深思失效”更窄:所测试的默认方案——魔鬼代言人式角色、标注为来自专家的分歧意见,以及缺乏真实反馈的反复交互——并不能可靠地改善人类决策,还可能降低准确性或校准水平 9, 10, 11。 这些研究控制严谨、指向具体,其共同启示是:围绕人机决策所测试的协议与界面选择,需要直接验证,而非依赖假设 9, 10, 11。

科学机器学习的关键约束转向数据覆盖与标注策略

数据而非架构正在制约科学机器学习,最清晰的信号来自地球系统预测领域——在这一领域,被明确指出的问题正是覆盖不足。 一篇预印本介绍了一种图注意力网络(GATv2),用于从稀疏观测中重建全球近地表气温场,并称这是图神经网络在全球历史温度重建中的首次应用 12。 其架构上的新颖性是明确的,但研究动机却源于数据本身的特性:众所周知,网格化温度产品中的覆盖偏差会改变对近期变暖趋势的估计; 而北极自 1979 年以来变暖速度接近全球平均的四倍,又是观测最稀少的地区之一——在这样的场景下,更好的重建结果有望让气候结论更加精确 12。 在这里,架构是针对覆盖缺陷的一种工具,而不是被解除的那个约束。

一项来自第一方的数据基础设施动作也指向同一方向。 DeepMind 宣布在 Google Cloud Storage 上开放 PARDIG 和 SatWeave 数据集,其中 PARDIG 也已上架 Earth Engine; 据其称,这将通过提供开放、高分辨率、近实时的全球观测数据,切实降低天气、水文和气候应用的门槛,在缺乏密集地面雷达覆盖的地区尤其有价值 13。 结合 12 来看,这些迹象表明地球系统的瓶颈正在供给侧——观测数据及其开放程度——得到解决,而非通过模型设计; 两者在缺口所在之处看法一致,不过 13 是公司描述自身发布内容的公告,而 12 则是一篇同行评审情况尚不明确的预印本。

在分子与材料性质预测中,同样的约束以分配而非覆盖的形式浮现。 一篇预印本系统比较了面向机器学习分子与材料性质预测的训练数据获取策略——随机采样、基于 query-by-committee 的不确定性采样,以及基于 TypiClust 的多样性采样——其声明的目标是:在固定标注预算下,通过指导策略选择,帮助计算化学与材料领域的研究者削减昂贵的 DFT 标注成本 14。 稀缺的资源是带标注的数据,决策变量是如何支配一笔标注预算; 其贡献在于对策略的比较,而非一个新的预测器。

MutAtlas 补上了资源这一端。 一篇预印本——备注注明已被第 43 届国际机器学习会议(ICML 2026)接收——提出了一个覆盖整个 PDB 的突变增强数据集,在实验解析的蛋白质结构上穷举单位点替换:涵盖 86,479 条链上的 15,900,903 个残基位点,附带超过 3 亿次 FoldX 突变评估,链的数量比最大的 15 约多出两个数量级。 其声明的用途,是在实验 DMS 数据稀疏之处充当可扩展的补充信号,有望改进治疗性设计与酶设计中突变优先级的零样本排序 15——这又是一次覆盖面论证,围绕实验测量的稀疏性展开。

把四条内容放在一起读,架构被置于从属位置:12 的图网络是新的,但其立论依据是覆盖偏差; 13 发布观测数据; 14 比较标注预算该怎么花; 15 则制造了一个数据集来填补测量空白。 共同的前提是:起约束作用的瓶颈在于存在哪些数据、谁能获取这些数据,以及标注精力如何分配。 这是对四条内容的一种解读,而非已获证实的因果论断——没有任何来源声称架构不再重要,12 尤其还提出了一种新架构。 这些证据真正能确立的是:每个来源都用数据的语言来界定自己的问题。

自改进智能体分为测量与方法两条路线

自我改进智能体这一议程正沿着一条分界线分化:分歧在于测量与修改的对象,而非基础模型本身的能力。 一边是考察智能体能否亲自完成 AI 开发的基准测试; 另一边则是通过演化技能或经验、而非重新训练骨干模型来改进智能体行为的方法。

Singularity-Bench 是测量路线的锚点。 它被描述为一个面向自主 AI 开发的开放式基准,由六项端到端任务组成,覆盖预训练、中期训练、后训练、推理、智能体框架(agent harness)与集群编排 16。 它的范围是整个开发栈而非某一项单一能力,该描述还将其定位为潜在的标准标尺,用以追踪智能体目前已经能够自动化多少 AI 开发工作 16。 同一描述指出,某个前沿智能体在整个开发栈上达到乃至超越人工工程系统的这一发现,可能会加剧关于距离递归自我改进还有多远的争论 16。 该条目是一篇 arXiv 预印本,同行评审状态未知 16,因此这一结果只是被报告的发现,而非已有定论。

RSI-PDEbench 则把测量路线延伸到科学计算领域,被描述为 LLM 智能体在科学计算与方程发现方面的潜在标准试验台,这一方向与 PDEAgent-Bench 和 CodePDE 相邻 17。 Singularity-Bench 横跨各个开发阶段,RSI-PDEbench 则对循环加以约束:智能体在沙盒化、有预算限制的循环中编写 solve(problem) 程序(例如每次开发子运行限 400 次模型请求和 2 小时,配备 1 个 CPU + 1 块 H100),并以相对于固定参考解的 L2 误差作为评分标准 17。 所报告的收益为:通过率比单次运行基线高出 106.5–181.9%,比原生框架高出 3.0–19.6% 17。 它同样是一篇同行评审状态未知的 arXiv 预印本 17。 把两者放在一起看,测量路线似乎正在按领域和预算分化,而不是收敛到单一协议——这只是一种解读,两篇论文本身都没有陈述这种关系。

方法赛道的界定标准,是它拒绝再训练什么。 HyperSkill 是一个免训练的全模态 GRPO 框架:它保持 LLM 主干冻结,用对超图索引技能库的可审计编辑取代梯度更新——在这个技能库里,技能是承载优势值的节点,联合组合则是超边 18。 论文报告称,实验只需在一台 CPU 主机上调用 API、无需 GPU 训练即可完成; 该方法避免了灾难性遗忘,让改进可审计、可编辑,并胜过了最强的免训练基线(XSkill,29.0)18。 其来源条目记录了该工作已被 NeurIPS 2026 主会接收 18。

Experience-Handoff RL 处在同一条赛道上,但它不是取消优化目标,而是将其重新安置:这是一种训练设定,其中 LLM 不仅为其在当前 rollout 中的动作而被优化,也为其写下的经验产物——反思、行动手册(playbook)编辑——而被优化,这些产物将由未来的 rollout 继承 19。 论文将这一做法定位为有望在仅看结果的 RL 与推理时自我改进框架之间架起桥梁,认为智能体训练应当优化模型写下的经验,而不只是当前动作; 并指出,若这一配方在更大规模上依然成立,或将改进编码与工具使用类智能体的训练方式,让它们学会写出有用的笔记和行动手册 19。 这是一篇 arXiv 预印本,同行评审情况未知 19。

18 与 19 的对照,是这一分歧最鲜明的标志:一个冻结主干、编辑外部技能库,另一个则围绕模型遗留给后续 rollout 的经验来优化模型。 两者都是对基准所提问题的方法赛道式回答——改进如何产生、又存放在哪里——而两者都不是前沿模型发布。

机器人学进展集中于接口与服务基础设施

当天的机器人条目集中在流水线的两端,也就是策略本体两侧的位置:一端是把与本体匹配的演示数据送进来,另一端是在机队规模下把 VLA 推理送出去。 这两端都不是新基础模型所在之处。

RUMI 20 作用于输入端。 它是一款手持式数据采集接口,其非线性运动学、手指安装座和腕部相机位姿都与商用 Robotiq 2F-85 夹爪相匹配,因此演示数据可以直接迁移到现有机器人平台 20。 其明确的动机是稀缺性——大规模力感知操作数据集依然稀缺——该接口的定位是让工业场景下采集与本体匹配、富含接触信息的演示变得更快、更不易出错 20。 它的设计目标是兼容已在现场使用的硬件,而非提供新的操作能力。

Reins 21 从相反方向追求同一目标。 它是一个驱动框架,让现成的前沿多模态模型(GPT-6.1 Sol、GPT-6 Astra、Claude Opus 5.5)仅凭自然语言提示,就能零样本地驱动真实双臂机器人完成长时程、富含接触的任务,不需要技能库或任务专用代码 21,每回合的 API 成本在 1.40 至 15.51 美元之间 21。 RUMI 是把演示通道改造得适配商用夹爪,Reins 则通过工程设计消除了集成层,让通用模型可以直接对接机器人。 在两者之中,模型都是既定前提,工程功夫都花在接口上; 合起来看,这暗示能力是在被引入而非被训练出来,尽管两篇论文都没有明说这层关系。

XINFER 22 处理输出端。 X Square Robot 将其呈现为一套已在生产环境部署的 VLA 服务系统,用于为机队降低推理基础设施成本——这些机队中已有数百台 VLA 驱动的机器人在真实的包裹处理环境中运行 22; 其设计目标是让多台机器人共享一块 GPU,同时不违反时间关键的反馈时限 22。 论文中的延迟注入实验显示,额外增加 200 毫秒延迟会使完成的包裹产出减少 29.6% 22,这量化的是服务侧而非策略侧的约束——与 RUMI 和 Reins 聚焦周边配套机制的视角如出一辙。

XBot-Omni 23 是当天最接近“能力主张”的一项工作:AGIBOT X-Lab 借助 Thinker–Talker–Actor 架构 23,将 Omni 模型范式拓展到机器人模态——肢体动作与面部表情,其宣称的目标是让具身智能体不再局限于纯对话式交互,而是迈向完整的具身沟通:机器人能指向自己看到的物体,并让手势、表情与语音彼此协调 23。 它的定位在于交互的广度,而非操作性能; 与其他三项工作的分野在于,它关注的是机器人“表达什么”,而不是“教会它、让它上线服务要付出多少成本”。

这四项工作均为 arXiv 预印本,同行评审情况尚不可知 20, 21, 22, 23; 至于 XINFER 面向生产环境部署的定位,也仅以其作者的表述为据 22。

简讯

在研究方面,一篇被 NeurIPS 2026(主赛道,口头报告)接收的预印本提出了 DIAGNO——一种球形神经算子,摒弃了 SFNO、GSNO 等先前 SNO 所采用的旋转等变性假设; 论文指出,这一假设将状态转变简化为孤立的谱模态演化,并把地球过度理想化为均质系统 24。 发表于 npj Artificial Intelligence 的一篇研究论文介绍了 LLAM,这是一个多模态框架,将原子级晶体结构表示与基于语言的推理相结合,旨在让材料研究者能在单一模型内完成从原始结构到具有物理意义的解读、再到面向应用的决策 25。 另一篇预印本(标注为即将发表于 AI4Mat@NeurIPS 2026)以实验方式检验了通用机器学习原子间势的神经缩放定律在不同数据采样策略与评估分布下是否依然成立,在固定配置下用规模从 1 万到 64 万结构的子集训练了 M3GNet、MACE 和 PET 26; 该预印本认为,训练数据的化学与构型构成,以及其与目标应用场景的契合程度,其重要性不亚于结构数量。 另一项预印本 HybridCT(同行评审状态未知)描述了一种机器学习与层析成像相结合的混合框架,可直接从被动多角度观测中重建三维云消光,其宣称的目标是消除计算瓶颈——正是这一瓶颈使多角度云层析一直难以扩展到大规模观测数据集 27。 Together AI Research 的 TKCC 同样是一篇同行评审状态未知的 arXiv 预印本,被称为首个真正持续运行的智能体驱动闭环,用于 AI 推理优化,针对的是限制现有智能体编译系统的吞吐量—保真度权衡 28。

两则基础设施发布关注的是集成与启动成本,而非模型能力。 Hugging Face 的 ggml-org 团队同时发布了 llama.cpp(libllama)与 ggml(libggml)的 v1.0.0 版本,这是该项目 3.5 年历史上首个主版本里程碑; 公告将其定位为向下游应用提供稳定、可预期的集成契约 29。 据 AWS 介绍,Amazon Bedrock AgentCore 运行时现已提供 platformVersion "V2",以快照/恢复模式取代按会话初始化容器的做法:容器只启动一次,在 /ping 健康检查通过后即被冻结,其内存与磁盘状态由每个新会话恢复; AWS 称这可将冷启动延迟降至每个新会话约 2 秒,并记录了过期套接字、文件缓存清理等潜在陷阱 30。

面向智能体的商业与安全产品为当天收尾。 OpenAI 宣布推出 ChatGPT Wallet,让 ChatGPT 智能体能够代表用户付款,智能体与商家均看不到实际卡号信息,且每笔购买都需通过 Face ID 或指纹等安全验证; 公告称这一设计复用了现有的银行卡通道、积分权益与争议处理保障,而非绕开它们 31。 据 The Decoder 报道,OpenAI 凭借两款 Daybreak 产品进入网络安全市场,二者均运行在其所称的 GPT-6 Cyber 模型上:一款用于核实来自漏洞赏金计划或代码扫描器的缺陷报告并测试补丁,另一款 Daybreak Defense Factory 则让 AI 智能体扫描代码库,生成包含修复与测试、可直接部署的 pull request 32。 同一媒体还报道称,Anthropic 发布了 Claude for Manufacturing——一个通过四个通用接口将 Claude 接入 Autodesk Fusion、Oracle NetSuite、Microsoft 365 和 Infor 的插件,其他系统可经由向 Microsoft 365 导出文件的方式接入,用于在人工检查点把关下自动化报价、采购与质量报告等任务 33。 综合来看,这些动态虽在本综述的主线论证之外,却与之相关:当天值得关注的动作集中在评估实践、数据构成、智能体支付与安全控制,以及会话级部署机制上,而非前沿模型发布。

综合与展望

综合来看,这些论断共同支持一个判断:真正的约束瓶颈位于技术栈之中,而非前沿模型的发布。 从编辑视角解读,评估协议与数据覆盖两方面的论断相互印证:如果基准测试得分取决于验证器的选择、错误注入与聚合方式,而科学机器学习又受制于数据覆盖和标注策略,那么能力证据的可迁移性就完全取决于其背后的协议与数据分配。 智能体安全与部署基础设施方面的论断同样聚焦于通道和服务条件,而非模型的新颖性; 人机决策方面的证据则削弱了“审议”与“专家信号”这类默认做法,从而进一步凸显了界面与协议设计的重要性。 另一处张力(同样属于编辑解读)存在于智能体安全工作与人机交互发现之间:前者把警告和防御产物视为决策通道,后者却发现专家归因分歧这类附加信号并不能可靠地改善决策; 论证性产物究竟是为人类监督提供了有效信息,还是仅仅造成干扰,目前仍无定论。 自我改进智能体研究在测量与方法两条线索上的拆分也契合这一模式——评估与方法演化被当作各自独立的研究对象。 整个证据基础的置信度并不均衡:凡是依赖受控用户研究、或依赖“构建或改进智能体的智能体”基准的论断,支撑最为薄弱。 悬而未决的问题是:协议层面的评估、数据覆盖审计以及论证通道安全,能否被标准化到足以跨智能体、跨科学领域进行比较的程度,同时又不重新制造它们所诊断出的可迁移性问题。

本综述共纳入 33 项进展:27 个 A 级研究来源、4 个 B 级第一方来源,以及 2 个 C/D 级二手或社区来源。 最可靠的论断建立在 A 级研究之上,第一方与社区来源则宜作为方向性参考; 要获得更强的置信度,还需对自我报告的结果进行独立复现并经一手来源确认。

原文链接与引用索引