Twitter AI - 2026-06-12¶
1. 人们在讨论什么¶
1.1 基准测试设计更贴近真实智能体工作（🡕）¶
技术信号最强的一组讨论，聚焦在评估本身。4 条不同的帖子都认为，公开排行榜已经不够了：人们想要能使用真实代码库、更长轨迹、显式记忆迁移，以及体现智能体专属基础设施约束的基准测试。
@nvidia 表示（99 次点赞、12 条回复、7,497 次浏览、16 次收藏）称，AgentPerf 评测的不是单次调用的聊天负载，而是智能体式推理；NVIDIA 的配套文章则指出，这个基准测试会重放真实编程智能体的轨迹，并衡量一个平台在满足响应性目标的前提下，能承载多少并发的智能体任务（NVIDIA 博客）。它重点强调的首个公开结果，是一项能效声明：在这一工作负载下，GB300 NVL72 每兆瓦可运行的智能体数量最高可达 H200 的 20 倍。
@eglyman 认为（106 次点赞、10 条回复、15,037 次浏览、20 次收藏）认为，公开编程基准测试已经饱和，“几乎说明不了任何问题”，并引用了 Ramp 推出私有、以生产环境为基础的 SWE-Bench——它由真实的 Ramp 工程问题构成（Ramp SWE-Bench）。最有价值的细节来自回复：有人指出，仍有尚未饱和的公开基准测试；也有人说，私有基准一旦流行起来也会饱和，因此大家真正需要的是更新鲜的评估流程，而不是某个最终版排行榜。
@Meituan_LongCat 介绍了（38 次点赞、2 条回复、1,179 次浏览、4 次收藏）介绍了 MineExplorer，并称他们在不断变化的 Minecraft 环境中测试了 18 个前沿 MLLM 智能体，而最好的成绩也只有 41/100。其链接论文称，这个基准测试过滤掉了过于依赖 Minecraft 特性的原子任务，使用多智能体合成工作流来构造更可靠的样本，并发现当隐藏前置条件需要在长轨迹中协调时，强模型的表现会明显下降（论文, 仓库）。
@rohanpaul_ai 总结了（13 次点赞、4 条回复、1,506 次浏览、14 次收藏）把 AgentCL 概括为一个基准测试，用来判断智能体是否真的能在任务流之间从经验中学习，而不是把无用噪声一路带下去。公开论文称，AgentCL 会有意构造可组合的任务流，让更早的子解法或工作流能够在后续任务中复用，再把它们与朴素任务流对比，从而更严格地衡量迁移收益（论文）。
讨论要点： 回复并没有否定基准测试本身。他们质疑的是，什么样的基准测试才算可信：厂商影响、任务污染，以及一个基准是否真能区分记忆复用与噪声。
与前日对比： 6 月 11 日已经强调了研究自动化和评估闭环；6 月 12 日则又往下挖了一层，直接讨论基准测试的构造本身：私有编程数据集、智能体式推理功耗测试、显式记忆迁移任务流，以及开放世界多跳任务。
1.2 创作者讨论仍敌视生成式 AI，并强烈捍卫真实性（🡕）¶
第二个主题来自创作者，而不是构建者。两条互动很高的帖子表明，对生成式 AI 的反感不只是抽象的政策问题，也涉及疲惫感、错误指控，以及为了证明人类作品仍然出自人类之手而付出的劳动。
@crimzonruze 写道（558 次点赞、27 条回复、4,272 次浏览、16 次收藏）说，他们“已经厌倦了生成式 AI 正在毁掉我最喜欢的艺术形式”，甚至可能只能退回复古游戏。回复补充的不是抽象赞同，而是具体的社区行为：有人贴出了一份公开表格，用来追踪哪些游戏使用过或移除了生成式 AI；也有人说，AI 的使用已经无处不在，而且有时很难识别，这件事令人筋疲力尽。
@antodemico 表示（167 次点赞、10 条回复、2,896 次浏览）他们不会在缩略图、脚本、剪辑或带插图的视频制作中使用生成式 AI。他们后续的回复把重点说得更尖锐：他们每个视频都会画多个缩略图，也已经厌倦别人指控他们用了那些在他们看来“偷窃”艺术家的系统。
讨论要点： 最有价值的信号，不是人们对监管或新工具有多热情，而是人们一再表达对这种模糊状态本身的疲惫：大家既厌倦 AI 生成内容不断进入文化空间，也厌倦艺术家被默认有罪。
与前日对比： 6 月早些时候的报告一直延续着“反 AI 艺术”这一主题，但 6 月 12 日让它变得更私人化。证据从对生成媒体的宽泛抱怨，转向了对倦怠感和真实性自我辩护的直接表述。
1.3 通用前沿模型正通过扩展规模、检索和基础设施控制扩大边界（🡒）¶
第三组讨论把前沿 AI 看成一个不断扩张的操作系统，而不是单一产品。4 条帖子从不同角度指向同一模式：通用模型覆盖的领域更广、答案中的实时网络检索更多、底层算力控制更多，而且模型层之上依旧有人关注继续扩展规模的路径。
@EricTopol 表示（31 次点赞、4 条回复、2,737 次浏览、18 次收藏）称，来自 Google、OpenAI 和 Anthropic 的通用前沿模型，在由 12 名美国临床医生参与的随机、盲法评估中，表现优于专业系统 EvidenceOpen 和 UpToDate。链接的《Nature Medicine》结果也直接体现在附图里：Gemini 3.1 Pro、GPT-5.2 和 Claude Opus 4.6 都在图中展示的医疗基准测试上超过了这些专业工具（《Nature Medicine》文章）。
@alexgroberman 认为（37 次点赞、2 条回复、4,358 次浏览、7 次收藏）认为，一份泄露的 ChatGPT 5.5 提示词让人得以异常具体地看到：模型会在什么情况下搜索实时网络、应该信任哪些来源，以及为什么某些企业会出现在推荐里，而另一些则保持不可见。他的截图展示了一个公开的提示词归档仓库，以及一个类似排名结果的回复示例；其讨论串称，具有商业重要性的推荐类查询尤其可能触发实时检索和引用行为。
@kimmonismus 总结了（100 次点赞、11 条回复、4,341 次浏览、45 次收藏）时，把 DeepMind 的《From AGI to ASI》论文概括为一份四路径路线图：继续扩展规模、范式转变、递归式自我改进，以及多智能体集体。公开论文摘要支持这四条路径，同时也列出了数据、算力、能源、研究难度、抽象极限以及有意放缓等方面的阻碍（论文）。
@rohanpaul_ai 写道（12 次点赞、2,328 次浏览、5 次收藏）称，《The Information》报道 Anthropic 正从租用云容量转向自行租赁并管理数据中心，美国规划容量超过 1GW，且 Google 可能为租赁付款提供支持。这条帖子的表述很直接：这家公司希望对电力、网络、制冷和硬件调度拥有更多控制权，而不是把算力完全当成一种外包投入。
讨论要点： 反驳的范围比原始论断更窄。回复质疑的是这项医疗研究在实践中的意义，以及 ASI 协调问题的描述是否过于含糊，但并没有挑战更宏观的方向——更多检索、更多基础设施控制，以及更广泛的前沿模型覆盖范围。
与前日对比： 6 月 11 日关于前沿模型的讨论，主要围绕限制、崩坏和越狱；6 月 12 日则转向了覆盖范围：通用模型击败垂直工具、实时网络搜索塑造推荐结果，以及实验室试图控制更多物理算力栈。
2. 令人困扰的问题¶
公开 AI 基准测试单靠自己已不再足够可信¶
严重程度：高。@eglyman 表示（106 次点赞、10 条回复、15,037 次浏览、20 次收藏）说，公开编程基准测试已经饱和，而 Ramp 引用中的产品发布则把私有、以生产环境为基础的任务当作解决方案（Ramp SWE-Bench）。但回复立刻暴露出下一个问题：就连私有数据集，一旦广为人知，也会饱和。@nvidia 表示（99 次点赞、12 条回复、7,497 次浏览、16 次收藏）发布了亮眼的 AgentPerf 结果，但回复质疑的是：当获胜的硬件厂商同时也是最卖力的宣传者时，这样的基准测试很难不被怀疑。@Meituan_LongCat 展示了（38 次点赞、2 条回复、1,179 次浏览）则表明，即便是强势的前沿 MLLM 智能体，在 MineExplorer 的开放世界任务上也只拿到 41/100。现在的应对方式，是不断转向更私有、更任务化或更长时程的评估。这值得投入构建，因为这种痛点在软件、基础设施和智能体记忆评估中反复出现。
艺术家既被 AI 生成媒体拖得精疲力尽，也被错误的 AI 指控折磨¶
严重程度：高。@crimzonruze 描述（558 次点赞、27 条回复、4,272 次浏览）把生成式 AI 形容成“正在毁掉我最喜欢的艺术形式”的东西，而回复则指向了由社区维护的、记录哪些游戏使用生成式 AI 的列表。@antodemico 表示（167 次点赞、10 条回复、2,896 次浏览）说，他们在视频工作流的任何环节都不用生成式 AI，随后又补充说，在没有证据的情况下，不该指控艺术家使用那些“从他们身上偷东西”的系统。今天的应对方式是手动自证和社区警惕，而不是平台支持。这值得投入构建，因为这种挫败感既情绪化、又持久，还伴随着真实的声誉伤害。
编程和 ML 智能体依然卡在实验、漂移与记忆迁移上¶
严重程度：高。@kmeanskaran 认为（71 次点赞、5 条回复、4,669 次浏览、82 次收藏）认为，Codex 能写代码，但不能读取 6.5 亿行数据、观察生产行为、运行 MLOps 流水线、修复数据漂移，或执行 A/B 测试。@rohanpaul_ai 总结了（13 次点赞、4 条回复、1,506 次浏览、14 次收藏）则概括了 AgentCL 的发现：当复用链路很明显时，记忆方法确实有帮助；但只要下一个任务有所不同，它们仍然会吃力。再加上 MineExplorer 的 41/100 天花板，传递出的信息是：当前智能体一旦从代码生成走向长时程适应、实验或环境变化，依然很脆弱。这值得投入构建，因为这里的抱怨是具体的、运营层面的，而不是修辞性的。
3. 人们期望的功能¶
每个认真做智能体的团队都需要私有、以生产环境为基础的评估闭环¶
人们要的不是一个更好的公开排行榜，而是能反映自身工作负载的评估系统。@eglyman 将其定义为（106 次点赞、10 条回复、15,037 次浏览、20 次收藏）把 Ramp SWE-Bench 定义为模型从未见过的代码，而回复立刻开始争论：任何基准测试究竟能保持“新鲜”多久。@nvidia 展示了（99 次点赞、12 条回复、7,497 次浏览）则表明，基础设施采购方也想要面向智能体的专用评估，而不是泛化的推理数字。这是一个会直接影响预算和模型选择的现实需求。机会：直接。
能帮助艺术家证明作品来源、而不必无休止自我辩护的溯源与真实性工具¶
创作者最强烈的需求，不是更多图像生成，而是更好的证明与上下文。@crimzonruze 呈现出（558 次点赞、27 条回复、4,272 次浏览）呈现了他们眼看生成式 AI 渗入自己喜爱媒介时的疲惫感，而 @antodemico 展示了（167 次点赞、10 条回复、2,896 次浏览）则展示了另一种相邻负担：必须公开否认自己用了 AI。这件事既现实，也带着情绪上的紧迫性；但平台级解决方案会竞争激烈，因为它同时牵涉创作者工具、内容审核和分发。机会：竞争激烈。
能复用过往工作、又不会把噪声一并拖进来的智能体记忆系统¶
@rohanpaul_ai 强调了（13 次点赞、4 条回复、1,506 次浏览、14 次收藏）点出了一个具体的基准测试缺口：大多数系统都无法清楚证明，智能体究竟是从先前任务中学到了东西，还是只是堆积了杂物。AgentCL 论文描述了受控的任务流设计，让较早阶段的子解法能被有意地在后续任务中复用（论文）。这对研究智能体和编程智能体来说都是现实需求，而且目前仍未被充分满足。机会：直接。
围绕实时检索与引用构建的 AI 搜索可见性工具¶
@alexgroberman 认为（37 次点赞、2 条回复、4,358 次浏览、7 次收藏）认为，被捕获的 ChatGPT 排名指令意味着，推荐类查询经常会触发实时网络搜索、引用以及来源选择规则。这带来了一个现实需求：页面必须足够新、足够具体，也足够利于被引用；但这同样是一个竞争性需求，因为许多 SEO 和内容供应商都会试图把这套解读产品化。机会：竞争激烈。
4. 使用中的工具与方法¶
| 工具 | 类别 | 评价 | 优势 | 局限 |
|---|---|---|---|---|
| AgentPerf | 基础设施基准测试 | (+/-) | 衡量真实编程智能体轨迹上的智能体专属并发与能效 | 当获胜厂商同时也是最卖力的宣传者时，结果很容易被质疑 |
| Ramp SWE-Bench | 编程基准测试 | (+) | 使用真实的 Ramp 工程问题，以及模型未见过、以生产环境为基础的任务 | 如果这套数据集被广泛复制或过拟合，它的新鲜度会衰减 |
| MineExplorer | 智能体基准测试 | (+) | 用基于里程碑的评估来测试长时程、动态、多跳的开放世界探索 | 已公布的最高分仍只有 41/100，说明当前智能体在目标工作负载上依然偏弱 |
| AgentCL | 记忆基准测试 | (+) | 将可组合任务复用与朴素任务流分开，并衡量迁移收益 | 它评估的是记忆质量，而不是直接解决记忆问题本身 |
| Gemini 3.1 Pro / GPT-5.2 / Claude Opus 4.6 | 前沿 LLM | (+/-) | 在一项盲法临床医生评估中击败了专业医疗 AI 工具 | 基准测试胜利并不能回答安全、部署或临床信任等问题 |
| ChatGPT 实时网络检索指令 | 检索方法 | (+/-) | 能为推荐类查询提供当前信息和带引用支撑的答案 | 这份捕获到的提示词并不是官方、永久有效的排序指南，其具体行为也可能因版本而异 |
| Codex 风格编程智能体 | 编程助手 | (+/-) | 擅长代码生成和功能建议 | 在数据观测、在线评估、漂移处理和生产实验方面依然较弱 |
当某个工具或方法能让智能体行为更可测量时，整体满意度最高。AgentPerf、Ramp SWE-Bench、MineExplorer 和 AgentCL 之所以都受到关注，是因为它们限制了系统真正需要证明的东西。最令人意外的积极信号，是通用前沿模型在一项盲法评估中击败了专业医疗系统；但回复很快就收窄了这种庆祝，转而追问这究竟如何映射到真实实践。
主导性的迁移模式，是从泛化的公开分数榜转向更窄、更常更新、或更贴近现实的评估层。第二种迁移模式，则是从静态模型知识转向实时检索：推荐类答案如今取决于当前的网络存在，而不只是训练时的记忆。因此，竞争格局正在同时朝两个方向移动：公司内部的私有评估栈，以及公司外部对引用友好的可见性层。
5. 人们在构建什么¶
| 项目 | 构建者 | 功能 | 解决的问题 | 技术栈 | 阶段 | 链接 |
|---|---|---|---|---|---|---|
| Ramp SWE-Bench | Ramp，由 @eglyman 分享 | 基于真实 Ramp 工程工作的私有编程基准测试 | 公开编程基准测试已经饱和，对真实工程表现的预测力越来越弱 | 真实 PR 派生任务、可进入审查的智能体工作流、面向生产代码库的提示词 | Beta | 推文, 网站 |
| AgentPerf | Artificial Analysis 和 NVIDIA，由 @nvidia 分享 | 面向并发编程智能体工作负载的智能体式推理基准测试 | 标准推理基准测试遗漏了链式工具使用、长上下文和智能体专属延迟约束 | 真实编程智能体轨迹、模拟工具延迟、并发与功耗指标 | Beta | 推文, 博客 |
| MineExplorer | 美团和上海交通大学，由 @Meituan_LongCat 分享 | 面向 MLLM 智能体的开放世界 Minecraft 基准测试 | 短时程或特定于游戏的任务会掩盖动态多跳探索中的失败 | Minecraft 环境、多智能体合成工作流、基于规则的里程碑评估器、ReAct 风格任务表述 | Alpha | 推文, 论文, 仓库 |
| AgentCL | Ohio State、Johns Hopkins 和 Intuit AI Research，由 @rohanpaul_ai 分享 | 用于判断智能体是否真正复用既有经验的持续学习基准测试 | 长上下文记忆基准测试可能会把检索和真实迁移混为一谈 | 受控的可组合任务流、迁移指标、MemProbe 分析 | Alpha | 推文, 论文 |
| PAYGO x402 payment infrastructure | @PayGo402，由 @XDCNetwork 发布 | 面向 API、AI 智能体和机器对机器商业的请求级结算基础设施 | 智能体需要一种在请求级为数字服务付费的方式，而不是只能依赖人工运营的计费系统 | x402、原生 HTTP 结算、stablecoins、XDC Network | Alpha | 推文 |
| 面向 NHS 的症状陪伴工具 | @spiRiituaL | 每日症状记录工具，可把患者笔记转成面向临床医生的结构化摘要 | 症状病史很长的患者在问诊时没有足够时间解释清楚 | 症状日志、结构化健康洞察、临床交接工作流 | Alpha | 推文 |
最清晰的构建模式是，基准测试如今已经成了独立产品。Ramp、Artificial Analysis、美团以及 AgentCL 的作者们，打包出售的都不是另一个模型封装层，而是评估方法论。这反映出一个市场现实：最关键、却仍未被回答的问题，往往已经不是“智能体能不能做点什么？”，而是“它到底能在我的工作负载上做什么，我又该怎么知道？”
另外两个应用层项目则更窄，也更具试探性。PAYGO 代表的是智能体支付基础设施，而不是另一个聊天界面；症状陪伴工具代表的，则是围绕临床交接问题的结构化采集，而不是一个通用健康机器人。它们都遵循着与这些基准测试项目相同的模式：选定一个受约束的工作流，把边界说清楚，并避免宣称通用自主性。
6. 新动态与亮点¶
通用前沿模型在盲测中击败了专业医疗 AI¶
@EricTopol 表示（31 次点赞、4 条回复、2,737 次浏览、18 次收藏）称，来自 Google、OpenAI 和 Anthropic 的通用前沿模型，在一项随机、盲法的临床医生评估中击败了专业系统 EvidenceOpen 和 UpToDate。这之所以重要，是因为这个结果违背了人们此前的预期：专注医疗领域的产品，本该在医疗问答和由临床医生打分的任务上继续保持优势。（《Nature Medicine》文章）
一份被捕获的 ChatGPT 提示词，让 AI 搜索优化变成了具体的工作流话题¶
@alexgroberman 展示了（37 次点赞、2 条回复、4,358 次浏览、7 次收藏）展示了一个公开提示词归档的截图，并认为，具有商业重要性的推荐类查询会在 ChatGPT 内部触发实时网络搜索、来源过滤以及引用要求。无论这份捕获内容在不同版本之间是否稳定，它带来的现实影响是：网页是否足够新、内容是否利于被引用，如今已经被讨论成影响 AI 可见性的直接输入。
Anthropic 的算力策略正越来越接近对物理基础设施的掌控¶
@rohanpaul_ai 写道（12 次点赞、2,328 次浏览、5 次收藏）称，《The Information》报道 Anthropic 正从租用云算力转向自行租赁并管理数据中心，美国规划容量超过 1GW。这很值得关注，因为它把模型竞争重新界定为一个与模型质量同样重要的电力、制冷和调度问题。
7. 机会在哪里¶
[+++] 私有智能体评估与可观测性栈 —— 第 1 节和第 2 节都展示了同一个缺口：团队不信任公开基准测试，但他们仍然需要可量化的方法来比较模型、记忆系统和基础设施。Ramp SWE-Bench、AgentPerf、MineExplorer 和 AgentCL 都指向了市场对更常更新、更贴近具体工作负载的评估层的需求。
[+++] 创作者溯源与反误报工具 —— 今天的艺术反弹，不只是反 AI 情绪。更具体的抱怨是，艺术家要么得手动排查 AI 污染，要么得在遭到质疑后公开为自己的人类作品辩护。这为面向受众可见的溯源、披露和真实性工作流留下了空间。
[++] 面向智能体的记忆与长时程控制层 —— AgentCL 和 MineExplorer 都表明，只要任务需要随时间复用、迁移，或协调隐藏的多步骤前提，智能体就仍然会失灵。需要的不是更大的记忆存储，而是更好的过滤、检索，以及对哪些记忆真正有帮助的评估。
[+] AI 搜索可见性与引用就绪工具 —— 如果推荐类答案越来越多地触发实时网络搜索和引用规则，那么企业就需要能审计页面新鲜度、事实密度，以及第三方支撑情况的工具，以覆盖模型最可能检索到的页面。这个信号是真实的，但竞争格局已经开始成形。
8. 要点总结¶
- 基准测试的讨论，已经从分数转向基准设计。 最强的帖子讨论的不是又一个通用排行榜，而是私有任务、智能体专属吞吐量、开放世界多跳评估，以及持续学习迁移。（来源）
- 创作者对生成式 AI 的反弹依旧强烈，而且非常私人化。 数据显示的不只是对 AI 生成艺术的反感，还有对不得不识别它、以及不得不为人类创作免于怀疑而辩护的疲惫。（来源）
- 通用前沿模型继续进入人们原本认为应由专业产品占据的领域。 最清晰的例子，是那项医疗评估：前沿系统在一项盲法临床医生研究中击败了专业工具。（来源）
- 实时检索正在成为 AI 产品和企业竞争表面的组成部分。 那条关于 ChatGPT 排名的泄露讨论串之所以重要，是因为它把当前的网络存在和可直接引用的内容，描述成影响推荐可见性的输入。（来源）
- 算力策略正变成产品决策，而不只是采购细节。 关于 Anthropic 数据中心的报道，以及 AgentPerf 对能效的 framing，都指向同一个世界：基础设施控制正越来越多地决定 AI 能力与成本。（来源）