返回博客2026年7月3日1 分钟阅读

【AI早读 0703】AI 代理的自改进循环与工程实践

摘要

过去 24 小时的信号都指向同一个方向:agent 系统如何通过反馈循环持续自我改进。Introspection 的 autoresearch 框架、Simon Willison 用 DSPy 评估 agent prompt、Paul Bakaus 的技能工程理念,加上 GitHub 和 AWS 的安全治理实践。

AI 早读 0703 封面

过去 24 小时,AI 工程领域最密集的信号来自同一个方向:agent 系统如何通过反馈循环持续自我改进。从 Introspection 推出的 autoresearch 框架、Simon Willison 用 DSPy 评估 agent prompt、到 Paul Bakaus 提出的技能工程理念,几条线索汇聚成一股明确的趋势 - “一次写好”正在被“循环迭代”取代。与此同时,GitHub 和 AWS 也在各自的工程实践中展示了 agent 时代的安全治理思路。

Autoresearch 与自改进循环

Introspection 的 Roland Gavrilescu 在 AI Engineer World's Fair 上提出了 autoresearch 的概念 - 一个让 agent 系统通过反馈信号自我维护和改进的“外循环”。他之前在 xAI 负责 agent 基础设施,后来与联合创始人 Julian Bright 一起创立了 Introspection,专门构建这种自改进系统的部署基础设施。

Gavrilescu 把系统分为内循环和外循环两层。内循环是主系统与用户的交互;外循环则是另一个系统,负责研究并维护主系统。核心挑战在于如何设计反馈机制,让 agent 能持续改进、做出架构决策,而不会被人类瓶颈限制。

链接:Autoresearch: The feedback loop behind self-improving agents

评估驱动:DSPy 用于 Agent Prompt 改进

Simon Willison 展示了另一个角度的自改进实践 - 用 DSPy 框架来评估和优化 Datasette Agent 的 SQL 系统提示词。他的方法是让 DSPy agent 调用 Datasette Agent 的真实工具实现和提示词,在进程内 Datasette 实例上运行,然后用自动生成的金标准数据集做严格评估。

Fable 5 选择了 GPT 4.1 mini 和 nano 进行测试,发现了几个有潜力的优化方向。其中一个观察特别敏锐:schema 列表只给出了表名,而“不要重复调用 describe_table”的建议导致了列名猜测(比如 page_count、o.order_id、first_name)和错误重试循环。要么在 prompt 中包含列名,要么弱化那条规则。

链接:Using DSPy to evaluate and improve Datasette Agent's SQL system prompts

技能工程:拒绝一次性设计

同一场 AIEWF 上,Paul Bakaus 展示了 Impeccable - 一个开源的设计技能系统,为 coding agent 提供设计领域的专业词汇。与一次性生成完整网站的做法不同,Impeccable 允许用户告诉 agent 把某个区域变得更“大胆”、更“安静”、更“密集”或更精致。

Bakaus 认为“技能工程”正在成为一门独立的学科。一个未经辅助的模型被要求把页面变得更“大胆”时,可能会加上渐变、霓虹或玻璃效果;Impeccable 则用层次、比例和果断排版来定义大胆 - 改变会引起注意但不会破坏现有设计系统。他也强调了不同 agent 框架(Codex、Claude、Cursor、GitHub Copilot)之间的差异:一个需要跨框架运行的技能不能假设它们都提供相同的能力。

链接:Skill engineering and the case against one-shot AI design

安全治理:GitHub 的秘密扫描清零之路

GitHub 安全团队分享了一个实操案例:如何在 9 个月内把 20,000+ 个秘密扫描告警清零。关键发现是其中 5 个仓库就占了 18,000 个告警,而且全部是无效秘密 - 测试夹具、已停用的凭证和伪造但看似有效的测试密钥。

剩余 2,000+ 个告警的处理更棘手。秘密不仅存在于代码仓库,还出现在支持工单、漏洞赏金报告、事件处理笔记和 wiki 页面中。GitHub 的应对策略分三步:全面启用推送保护阻止新增积累、按仓库/秘密类型/时效分类处理、验证哪些凭证仍在生产环境中活跃。对于历史中已撤销的秘密,不一定要重写 git 历史 - 保留审计线索的收益往往大于重写历史的成本。

链接:How GitHub used secret scanning to reach inbox zero

AI 对 AI:Bedrock 反钓鱼

Amazon Bedrock 发布了新一代 AI 钓鱼邮件检测方案。攻击者改用生成式 AI 和 OSINT 制作语法正确、语境精准、个性化的钓鱼邮件 - 旧的检测规则(拼写错误、通用称呼、域名不匹配)已经完全失效。Bedrock 的做法是用基础模型做多阶段分析管道:认证、行为分析、风险评分,在行为模式层面判断异常,而不是语法质量。

链接:How Amazon Bedrock catches AI-generated phishing

网站的未来:为每位访客实时组装

Adobe 首席科学家 Carlos Sanchez 在 AIEWF 上演示了“代理网站”(agentic site)的概念 - 网站根据访问者的意图实时组合内容。访客的浏览行为和搜索查询被归类为探索、调研或准备购买等意图类别,LLM 据此从现有内容语料中检索并组合出个性化页面。每次生成的推理成本约一到两美分,并且还在持续下降。

链接:The website of the future may assemble itself for every visitor


来源:VerySmallWoods Research Feed - 2026-07-02 UTC

相关文章

2026年6月3日

【AI早读 0603】Agent 生态全面爆发

微软 Build 2026 上 GitHub 推出 agent-native 桌面应用 Copilot app,COO Kyle Daigle 在 Latent Space 披露 AI agent 推动 commit 量年增 1400%、Actions 用量翻 4 倍;H Company 发布 Holo3.1,首次加入 FP8 / Q4 / NVFP4 量化权重,NVFP4 吞吐量是 BF16 的 1.74 倍,AndroidWorld 得分从 67% 跃至 79.3%;AWS 给出 AgentCore Gateway + OAuth 保护 MCP 服务器的完整教程;Together AI 用 MiniMax Sparse Attention 让 MiniMax-M3 在 1M 上下文上 prefill 提速 9 倍、decode 提速 15 倍;a16z 提出视觉 AI 下一站是生成代码,而非像素。

2026年5月31日

【AI早读 0531】Anthropic 把 Claude「关在笼子里」的安全设计

Anthropic 公开了三条产品线的 Agent 隔离方案 - claude.ai 用 gVisor、Claude Code 用 Seatbelt/Bubblewrap、Cowork 用全 VM;Claude Code 早期 93% 的批准率反而成为安全风险,被 auto mode + 架构改造替代;AI Engineer 大会上「砍掉 95% Agent 技能反而更好」成为新共识;SoftBank €750 亿建法国数据中心,OpenRouter 完成 $1.13 亿 B 轮。

2026年5月26日

【AI早读 0526】Addy Osmani 提出「你才是编排税」,Hugging Face 重新区分 Model / Scaffolding / Harness / Agent

Addy Osmani 用 Python GIL 比喻揭穿多 agent 并发的真正瓶颈 - 是开发者本人;Hugging Face 发出官方词汇表,把 Model / Scaffolding / Harness / Agent 这四个被混用的概念锚定下来;Google DeepMind 的 Nicholas Kang 与 Michael Aaron 分享大规模 agent 评估的工程化做法;Bounded Autonomy 把「自由意志 vs 确定性」落到 harness 工程里;Simon Willison 发布 datasette 1.0a30 的可扩展 Jump 菜单 + datasette-agent 联动。

最近一封 · Sample

【AI早读 0709】智能体评估困局与工程化新思路

OpenAI 发表 audit 报告《Separating signal from noise in coding evaluations》,把业界常用的编程评测集 SWE-Bench Pro 翻箱倒柜查了一遍,结论有点尴尬 - 大约 30% 的题目是坏的。围绕智能体评估,harness 工程化成了新的关注点。

—— william

Letters

来信

里面装的是

  • 新文章 — 写完一篇就寄一封,不攒货
  • 这周读到的、看到的、好用的工具
  • 正在折腾的实验,附带翻车记录

约莫 1–2 周一封 · 随时退订

合作伙伴

CompeteMap — 英国及爱尔兰学生竞赛一站式搜索

数学、编程、科学、写作等各类竞赛信息汇总,支持按年龄和科目筛选,再也不错过报名截止日。

准备开始了吗?

先简单说明目标,我会给出最合适的沟通方式。