Twitter AI - 2026-06-12¶
1. 人们在讨论什么¶
1.1 基准测试设计正更贴近真实智能体工作（🡕）¶
技术信号最强的一组讨论，围绕评测本身展开。四篇不同的帖子都在指出，公开排行榜已经不够用了：人们希望基准测试使用真实代码库、更长的任务轨迹、明确的记忆迁移，以及面向智能体的基础设施约束。
@nvidia 报道称（99 个赞、12 条回复、7,497 次浏览、16 次收藏）指出，AgentPerf 评测的是智能体式推理，而不是单次调用的聊天负载；NVIDIA 链接的文章称，该基准会重放真实的编程智能体轨迹，并衡量平台在满足响应性目标的同时，能够维持多少个并发的智能体任务（NVIDIA 博客）。文章重点强调的首个结果是一项能效主张：在这类负载上，GB300 NVL72 每兆瓦最多可运行的智能体数量可达 H200 的 20 倍。
@eglyman 认为（106 个赞、10 条回复、15,037 次浏览、20 次收藏）指出，公开编程基准已经饱和，“几乎什么都说明不了”，并引用 Ramp 发布的一套私有、扎根生产环境的 SWE-Bench，其任务来自 Ramp 的真实工程问题（Ramp SWE-Bench）。回复里最有价值的细节是：有人指出，仍有尚未饱和的公开基准；也有人认为，私有基准一旦流行起来同样会饱和，因此人们需要的是更常更新的评测流水线，而不是某个终极排行榜。
@Meituan_LongCat 介绍了（38 个赞、2 条回复、1,179 次浏览、4 次收藏）介绍了 MineExplorer，并称研究人员在不断变化的 Minecraft 环境中测试了 18 个前沿 MLLM 智能体，最佳成绩也只有 41/100。论文称，该基准会过滤掉过于依赖 Minecraft 特性的原子任务，采用多智能体合成工作流来构建更可靠的任务实例，并发现当隐藏前置条件需要在长轨迹中协调时，即便是强模型也会显著退化（论文、仓库）。
@rohanpaul_ai 总结了（13 个赞、4 条回复、1,506 次浏览、14 次收藏）介绍 AgentCL，把它作为检验智能体是否真能在连续任务流中从经验学习、而不是把无用杂物一路带下去的基准。公开论文称，AgentCL 有意构建组合式任务流，让早期的子解法或工作流可以在后续复用，再与朴素任务流对照，以更严格地衡量迁移收益（论文）。
讨论洞察： 回复并不是在否定基准测试本身，而是在质疑什么样的基准测试才算可信：供应商影响、任务污染，以及基准能否区分记忆复用和噪声。
与前一天相比： 6 月 11 日已经强调了研究自动化和评测闭环。到了 6 月 12 日，讨论又往下深入了一层，进入基准构建本身：私有编程数据集、智能体式推理功耗测试、明确的记忆迁移任务流，以及开放世界多跳任务。
1.2 创作者仍对生成式 AI 抱有敌意，并在捍卫真实性（🡕）¶
第二个主题来自创作者，而非构建者。两篇互动量很高的帖子表明，反生成式 AI 情绪并不只是抽象的政策问题；它也关乎疲惫、误指控，以及证明人类作品依然是人类创作所付出的劳动。
@crimzonruze 写道（558 个赞、27 条回复、4,272 次浏览、16 次收藏）称，他们“已经厌倦了生成式 AI 正在毁掉我最喜欢的艺术形式”，甚至可能要退回去玩复古游戏。回复里补充的是具体的社区行为，而不只是附和：有人提到一份公开表格，追踪哪些游戏使用了或移除了生成式 AI；也有人说，AI 的使用已经变得无处不在，而且有时很难辨认，这让人身心俱疲。
@antodemico 表示（167 个赞、10 条回复、2,896 次浏览）称，他们不会在缩略图、脚本、剪辑或带插画的视频作品中使用生成式 AI。其后续回复提出了更尖锐的一点：他们每支视频都会画多张缩略图，已经厌倦了被指责使用那些在他们看来“偷窃”艺术家作品的系统。
讨论洞察： 最有价值的信号，并不是人们对监管或新工具的热情，而是反复出现的对模糊地带本身的疲惫：人们既厌烦 AI 生成内容进入文化空间，也厌烦艺术家默认被当成有罪。
与前一天相比： 6 月早些时候的报告一直延续着反 AI 艺术这一主题，但 6 月 12 日让它变得更加个人化。证据从对生成媒体的笼统抱怨，转向了对倦怠的直接表达，以及对真实性的主动捍卫。
1.3 通用前沿模型正通过扩展、检索和基础设施控制继续扩大覆盖范围（🡒）¶
第三组讨论把前沿 AI 看作一个不断扩张的操作系统，而不是单一产品。四篇帖子从不同角度指向同一趋势：通用模型覆盖更多领域，回答中加入更多实时网页检索，底层算力控制更深入，以及人们仍持续关注模型层之上的扩展路径。
@EricTopol 报道称（31 个赞、4 条回复、2,737 次浏览、18 次收藏）称，在一项由 12 名美国临床医生参与的随机、盲法评估中，Google、OpenAI 和 Anthropic 的通用前沿模型表现优于专业化的 EvidenceOpen 和 UpToDate 系统。链接中的《Nature Medicine》结果也直接反映在附图里：Gemini 3.1 Pro、GPT-5.2 和 Claude Opus 4.6 在图示的各项医学基准上都击败了这些专业工具（《Nature Medicine》文章）。
@alexgroberman 认为（37 个赞、2 条回复、4,358 次浏览、7 次收藏）称，一份泄露的 ChatGPT 5.5 提示词，让外界异常具体地看到模型何时搜索实时网页、应信任哪些来源，以及为什么某些企业会出现在推荐中、另一些则保持不可见。他的截图展示了一个公开的提示词归档仓库，以及一个类似排名回答的示例；他在帖子串中表示，商业上重要的推荐类查询尤其容易触发实时检索和引用行为。
@kimmonismus 总结了（100 个赞、11 条回复、4,341 次浏览、45 次收藏）介绍了 DeepMind 的《From AGI to ASI》论文，并将其概括为四条路线图：持续扩展、范式转变、递归式自我改进，以及多智能体集体。公开论文摘要支持这四条路径，同时也列出了数据、算力、能源、研究难度、抽象极限和主动放缓等方面的阻碍因素（论文）。
@rohanpaul_ai 写道（12 个赞、2,328 次浏览、5 次收藏）称，《The Information》报道 Anthropic 正从租用云容量转向自行租赁和管理数据中心，计划在美国部署超过 1GW 的容量，Google 还可能为其租赁付款提供支持。该帖的表述很直接：这家公司希望更好地控制电力、网络、冷却和硬件调度，而不是把算力视为完全外包的投入项。
讨论洞察： 质疑主要针对具体主张，而不是整体方向。回复质疑了那项医学研究的实际意义，以及 ASI 协调路线是否界定得不够具体，但并没有否定更强检索、更强基础设施控制和更广泛前沿模型覆盖面这一大方向。
与前一天相比： 6 月 11 日关于前沿模型的讨论，主要围绕限制、坍塌和越狱；到了 6 月 12 日，焦点转向了覆盖范围：通用模型击败垂直工具，实时网页搜索开始塑造推荐结果，而实验室也在尝试掌控更多物理算力栈。
2. 什么让人感到沮丧¶
公开 AI 基准单靠自己，已经不再足够可信¶
严重程度：高。@eglyman 表示（106 个赞、10 条回复、15,037 次浏览、20 次收藏）指出，公开编程基准已经饱和，而 Ramp 引用的发布则把私有、扎根生产环境的任务定位为补救方案（Ramp SWE-Bench）。但回复立刻暴露出下一个问题：即便是私有数据集，一旦广为人知也会饱和。@nvidia 报道称（99 个赞、12 条回复、7,497 次浏览、16 次收藏）展示了 AgentPerf 的强劲结果，但回复质疑：由获胜硬件供应商大力推广的基准，是否会受到供应商影响。@Meituan_LongCat 展示了（38 个赞、2 条回复、1,179 次浏览）指出，即便是强大的前沿 MLLM 智能体，在 MineExplorer 的开放世界任务上也只拿到 41/100。当前的应对模式，是不断向私有、任务特定或长时程评测靠拢。这值得投入，因为同样的痛点正在软件、基础设施和智能体记忆评估中反复出现。
艺术家既厌倦 AI 生成媒体，也厌倦被误指使用 AI¶
严重程度：高。@crimzonruze 描述了（558 个赞、27 条回复、4,272 次浏览）把生成式 AI 描述为“正在毁掉我最喜欢的艺术形式”的东西，回复则提到由社区维护的、追踪使用生成式 AI 游戏的清单。@antodemico 表示（167 个赞、10 条回复、2,896 次浏览）称，他们在视频工作流的任何环节都不使用生成式 AI，随后又补充说，在没有证据的情况下，不该指责艺术家使用那些“偷窃他们作品”的系统。今天的应对模式是手动举证和社区警惕，而不是平台支持。这值得投入，因为这种挫败感既情绪化又持久，而且已经造成真实的声誉损害。
编程和 ML 智能体仍卡在实验、漂移处理和记忆迁移上¶
严重程度：高。@kmeanskaran 认为（71 个赞、5 条回复、4,669 次浏览、82 次收藏）指出，Codex 能写代码，但无法读取 6.5 亿行数据、观察生产环境行为、运行 MLOps 流水线、修复数据漂移或执行 A/B 测试。@rohanpaul_ai 总结了（13 个赞、4 条回复、1,506 次浏览、14 次收藏）提到 AgentCL 的发现：当复用关系明显时，记忆方法确实有帮助；但当下一个任务发生变化时，它们仍然会吃力。再结合 MineExplorer 的 41/100 天花板，传达出的信息是：当前智能体一旦从代码生成迈入长时程适应、实验或环境变化，就依然很脆弱。这值得投入，因为这类抱怨具体而且直接面向运营，而不是停留在口号层面。
3. 人们希望哪些东西存在¶
面向每个严肃智能体团队的私有、扎根生产环境的评测闭环¶
人们要的不是一个更好的公开排行榜，而是能反映自身工作负载的评测系统。@eglyman 将其定义为（106 个赞、10 条回复、15,037 次浏览、20 次收藏）介绍 Ramp SWE-Bench，称其代码来自模型从未见过的任务；而回复随即开始讨论，任何基准究竟能保持多久的新鲜度。@nvidia 展示了（99 个赞、12 条回复、7,497 次浏览）指出，基础设施采购方同样需要面向智能体的评测，而不是通用推理数字。这是一个会直接影响预算和模型选型的实际需求。机会：直接。
帮助艺术家证明作品来源和真实性、而无需无休止自我辩解的工具¶
创作者最强烈的需求不是更多图像生成，而是更好的证明和语境。@crimzonruze 捕捉到（558 个赞、27 条回复、4,272 次浏览）体现了人们眼看生成式 AI 渗入自己喜爱媒介时的疲惫；@antodemico 展示了（167 个赞、10 条回复、2,896 次浏览）则体现了公开否认使用 AI 的连带负担。这一需求既实际又在情绪上非常紧迫，但平台级方案会竞争激烈，因为它同时涉及创作者工具、内容审核和分发。机会：竞争性。
能复用过去工作、又不会把噪声一路拖下去的智能体记忆系统¶
@rohanpaul_ai 重点介绍了（13 个赞、4 条回复、1,506 次浏览、14 次收藏）指出了一个具体的基准缺口：多数系统无法清楚证明，智能体究竟是从过往任务中学到了东西，还是只是存了一堆杂物。AgentCL 论文描述了受控的组合式任务流，其中早期子解法被有意设计为可在后续复用（论文）。这对研究型和编程型智能体都是现实需求，目前仍然供给不足。机会：直接。
围绕实时检索和引用构建的 AI 搜索可见性工具¶
@alexgroberman 认为（37 个赞、2 条回复、4,358 次浏览、7 次收藏）指出，捕获到的 ChatGPT 排名指令意味着，推荐类查询常常会触发实时网页搜索、引用和来源选择规则。这带来一个现实需求：网页必须保持更新、内容具体，并且便于被引用；但这也是一个竞争性需求，因为许多 SEO 和内容供应商都会试图把同样的解读产品化。机会：竞争性。
4. 正在使用的工具和方法¶
| 工具 | 类别 | 情绪倾向 | 优势 | 局限 |
|---|---|---|---|---|
| AgentPerf | 基础设施基准 | (+/-) | 在真实编程智能体轨迹上衡量面向智能体的并发能力和功耗效率 | 当获胜供应商同时也是最积极的推广者时，结果很容易被质疑 |
| Ramp SWE-Bench | 编程基准 | (+) | 使用真实的 Ramp 工程问题和模型未见过的、扎根生产环境的任务 | 一旦数据集被广泛复制或过拟合，新鲜度就会衰减 |
| MineExplorer | 智能体基准 | (+) | 通过基于里程碑的评估，测试长时程、动态、多跳的开放世界探索 | 报告中的最高分仍只有 41/100，说明当前智能体在目标负载上依然较弱 |
| AgentCL | 记忆基准 | (+) | 将组合式任务复用与朴素任务流区分开来，并衡量迁移收益 | 它评估的是记忆质量，而不是直接解决记忆问题本身 |
| Gemini 3.1 Pro / GPT-5.2 / Claude Opus 4.6 | 前沿 LLM | (+/-) | 在一项临床医生盲法评估中击败专业医学 AI 工具 | 基准胜出并不能解决安全性、部署或临床信任问题 |
| ChatGPT 实时网页检索指令 | 检索方法 | (+/-) | 能为推荐类查询提供最新信息和带引用支持的回答 | 捕获到的提示词并不是官方永久排名指南，具体行为也可能因版本而异 |
| Codex 风格编程智能体 | 编程助手 | (+/-) | 擅长代码生成和功能建议 | 在数据观测、在线评估、漂移处理和生产实验方面仍然较弱 |
总体来看，当某个工具或方法让智能体行为变得更可衡量时，人们的满意度最高。AgentPerf、Ramp SWE-Bench、MineExplorer 和 AgentCL 之所以受到关注，是因为它们收紧了系统真正被要求证明的东西。最令人意外的积极结果，是通用前沿模型在一项盲法评估中击败了专业医学系统；但回复很快就收窄了这种庆祝，转而质疑这一结果如何映射到实际应用。
主导性的迁移趋势，是从通用公开记分板转向更窄、更新鲜或更贴近现实的评测层。第二个迁移趋势，则是从静态模型知识转向实时检索：如今推荐回答依赖的是当前网页上的存在感，而不只是训练阶段的记忆。因此，竞争态势正同时朝两个方向转移：公司内部的私有评测栈，以及公司外部的利于引用的可见性层。
5. 人们正在构建什么¶
| 项目 | 构建者 | 功能 | 解决的问题 | 技术栈 | 阶段 | 链接 |
|---|---|---|---|---|---|---|
| Ramp SWE-Bench | Ramp，由 @eglyman 分享 | 基于 Ramp 真实工程工作的私有编程基准 | 公开编程基准已经饱和，对真实工程表现的预测性下降 | 源自真实 PR 的任务、可供审查的智能体工作流、生产代码库提示词 | Beta | 推文, 网站 |
| AgentPerf | Artificial Analysis 和 NVIDIA，由 @nvidia 分享 | 面向并发编程智能体负载的智能体式推理基准 | 标准推理基准无法体现链式工具调用、长上下文和面向智能体的时延约束 | 真实编程智能体轨迹、模拟工具延迟、并发和功耗指标 | Beta | 推文, 博客 |
| MineExplorer | Meituan 和 Shanghai Jiao Tong University，由 @Meituan_LongCat 分享 | 面向 MLLM 智能体的开放世界 Minecraft 基准 | 短时程或特定游戏任务会掩盖动态多跳探索中的失败 | Minecraft 环境、多智能体合成工作流、基于规则的里程碑评估器、ReAct 风格任务表述 | Alpha | 推文, 论文, 仓库 |
| AgentCL | Ohio State、Johns Hopkins 和 Intuit AI Research，由 @rohanpaul_ai 分享 | 用于检验智能体是否真的复用过往经验的持续学习基准 | 长上下文记忆基准可能把检索与真正的迁移混为一谈 | 受控组合式任务流、迁移指标、MemProbe 分析 | Alpha | 推文, 论文 |
| PAYGO x402 payment infrastructure | @PayGo402，由 @XDCNetwork 宣布 | 面向 API、AI 智能体和机器对机器商业的请求级结算通道 | 智能体需要在请求层级为数字服务付款，而不只是依赖人工运营的计费系统 | x402、HTTP 原生结算、稳定币、XDC Network | Alpha | 推文 |
| 面向 NHS 的症状陪伴工具 | @spiRiituaL | 每日记录症状，并将患者笔记转化为面向临床医生的结构化摘要 | 症状病史较长的患者，在就诊时往往没有足够时间完整说明情况 | 症状日志、结构化健康洞察、临床交接工作流 | Alpha | 推文 |
最清晰的构建趋势是，基准测试本身正在成为产品。Ramp、Artificial Analysis、Meituan 和 AgentCL 的作者，都在打包评估方法，而不只是再推出一个模型封装层。这反映出一个市场现实：当前最难回答的问题往往不是“智能体能不能做点什么？”，而是“它到底能在我的工作负载上做什么，我又怎么知道？”
两个应用层项目更窄，也更具试探性。PAYGO 代表的是智能体支付基础设施，而不是另一个聊天界面；症状陪伴工具代表的是面向临床交接问题的结构化采集，而不是通用健康机器人。它们和这些基准项目遵循的是同一种模式：选定一个边界清晰的工作流，把约束写清楚，避免声称具备通用自主性。
6. 新动态与值得关注¶
通用前沿模型在盲法测试中击败专业医学 AI¶
@EricTopol 报道称（31 个赞、4 条回复、2,737 次浏览、18 次收藏）称，在一项随机、盲法的临床医生评估中，Google、OpenAI 和 Anthropic 的通用前沿模型击败了专业化的 EvidenceOpen 和 UpToDate 系统。这一点之所以重要，是因为该结果违背了人们原本的预期：按理说，垂直医疗产品在医学问答和临床医生评分任务上本应仍占优势。（《Nature Medicine》文章）
一份被捕获的 ChatGPT 提示词，让 AI 搜索优化成了具体工作流话题¶
@alexgroberman 展示了（37 个赞、2 条回复、4,358 次浏览、7 次收藏）展示了一个公开提示词归档的截图，并称商业上重要的推荐类查询，可能会在 ChatGPT 内触发实时网页搜索、来源过滤和引用要求。无论这份捕获内容在不同版本之间是否稳定，现实影响都已很明确：网页新鲜度和便于引用的内容，正被当作影响 AI 可见性的直接输入。
Anthropic 的算力战略正更接近物理基础设施所有权¶
@rohanpaul_ai 写道（12 个赞、2,328 次浏览、5 次收藏）称，《The Information》报道 Anthropic 正从租用云算力转向自行租赁和管理数据中心，并计划在美国部署超过 1GW 的容量。这一点值得关注，因为它把模型竞争重新框定为一个电力、冷却和调度问题，而不只是模型质量问题。
7. 机会在哪里¶
[+++] 私有智能体评估与可观测性栈 — 第 1 节和第 2 节都显示出同一个缺口：团队不信任公开基准，但仍然需要可度量的方法来比较模型、记忆系统和基础设施。Ramp SWE-Bench、AgentPerf、MineExplorer 和 AgentCL 都表明，市场需要更常更新、面向具体工作负载的评测层。
[+++] 创作者来源证明与防误伤工具 — 今天的艺术反弹不只是反 AI 情绪，而是一种具体抱怨：艺术家要么得手动排查 AI 污染，要么在遭到指控后公开为自己的人类作品辩护。这为面向受众可见的来源证明、披露和真实性工作流留下了空间。
[++] 智能体的记忆与长时程控制层 — AgentCL 和 MineExplorer 都表明，当任务需要复用、迁移，或随时间推移进行隐蔽的多步协调时，智能体仍然会失效。所需的不只是更好的记忆存储，还包括更好的筛选、检索，以及对哪些记忆真正有帮助的评估。
[+] AI 搜索可见性与引用就绪工具 — 如果推荐回答越来越多地触发实时网页搜索和引用规则，那么企业就需要工具，审查模型可能检索到的页面在时效性、事实密度和第三方支持方面的表现。这一信号是真实的，但竞争格局也已经开始形成。
8. 要点总结¶
- 基准测试的讨论已从分数转向基准设计。 最强的帖子关注的是私有任务、面向智能体的吞吐量、开放世界多跳评估和持续学习迁移，而不是又一个通用排行榜。（来源）
- 创作者对生成式 AI 的反弹依旧强烈而个人化。 数据显示，人们不只是反感 AI 生成艺术，也厌倦了必须去辨认它，并在怀疑面前为人类创作辩护。（来源）
- 通用前沿模型继续扩张到原本被认为应由专业产品把持的领域。 最明显的例子，就是那项医学评估中，前沿系统在临床医生盲法研究里击败了专业工具。（来源）
- 实时检索正成为 AI 产品和企业竞争界面的一部分。 泄露的 ChatGPT 排名帖子之所以重要，是因为它把当前网页存在感和便于引用的内容，框定为影响推荐可见性的输入。（来源）
- 算力战略正成为产品决策，而不只是采购细节。 Anthropic 数据中心的报道，以及 AgentPerf 对功耗效率的强调，都指向同一个世界：基础设施控制正越来越多地塑造 AI 的能力与成本。（来源）