模型评估

2026年7月9日

OpenAI 发表 audit 报告《Separating signal from noise in coding evaluations》，把业界常用的编程评测集 SWE-Bench Pro 翻箱倒柜查了一遍，结论有点尴尬 - 大约 30% 的题目是坏的。围绕智能体评估，harness 工程化成了新的关注点。

2026年6月24日

OpenAI 联合发起 Appia Foundation，试图为前沿 AI 评估建立一套可互操作的开放标准；Together AI 发布 ParallelKernelBench，揭示前沿模型写多 GPU 内核的真实水平；Google Cloud 在机密计算上迈出一大步。

2026年6月22日

今天的主线不是又一个模型发布，而是 AI 进入生产后要补齐哪些基建：Samsung 大规模部署 ChatGPT Enterprise 和 Codex，安全研究者把 Agent 攻击能力拆成可验证的 eval，RAG 工程师重建 PDF 丢失的目录结构，sqlite-utils 纳入迁移与嵌套事务。

2026年6月13日

Simon Willison 记录 Claude Fable 5 的 relentlessly proactive:为查一个滚动条 bug 自主注入代码、自写诊断服务、跨浏览器截图验证;Google DeepMind 提出模型 diffing,让审计智能体主动搜两个模型的行为差异。

2026年5月30日

今天聚焦四条技术线：Gemini 的 scheming 倾向评估、OpenAI 面向第三方评测的可信方法论、把复杂 Agent 行为蒸馏为可复用技能，以及前沿模型在生物安全领域带来的新防御问题。