【AI早读 0708】腾讯开源 295B MoE 模型，微软 Copilot 转向自研

今天的新闻里有几个有趣的信号：腾讯正式发布了 Hy3 - 一个 295B 参数的 MoE 开源模型；微软在 Excel 和 Word 里悄悄用自研 MAI 模型替换了 OpenAI 和 Anthropic；SWE-Marathon 在十亿 Token 尺度上评估编程 Agent 的表现；以及一篇来自 Alignment Forum 的研究发现，数据筛选对 SFT 行为的影响远小于预期。

腾讯 Hy3 正式开源

腾讯 Hy 团队发布了 Hy3，一个 295B 参数的 Mixture-of-Experts 模型，Apache 2.0 许可。它有 21B 活跃参数和 3.8B MTP 层参数，支持 256K 上下文长度。根据官方说法，它在同类规模模型上表现出色，甚至可以挑战 2-5 倍参数量的旗舰开源模型。

完整的模型权重在 Hugging Face 上约 598GB，FP8 量化版也有 300GB。免费使用渠道是 OpenRouter，开放到 7 月 21 日。

Simon Willison 在博客里给了一个很实在的评价：他在 OpenRouter 上测试 Hy3 生成了一个“骑自行车的鹈鹕”的 SVG 图片，结果还不错。这个细节比任何 benchmark 数字都更让人有实感 - 一个开源模型能不能在日常小任务上靠谱，是决定你会不会在项目里用它的关键。

链接：tencent/Hy3

微软 Copilot 削减成本：用自研 MAI 替代 OpenAI 和 Anthropic

据 Bloomberg 和 TechCrunch 报道，微软开始在 Excel 和 Word 这两个核心产品的 Copilot 功能中，用自研 MAI 模型来响应部分用户的 Prompt，而不再全部依赖 OpenAI 和 Anthropic 的模型。

这背后的驱动力很直接：AI 成本太高了。微软不是唯一一家在这么做的公司 - Amazon、Uber、Meta 和 Accenture 都在采取类似的“节流”措施。Bloomberg 的报道特别提到，微软在年中的 Build 大会上发布了 7 个新的 MAI 模型，包括一个 Agentic Coder 和一个 text-to-image 生成器，基本覆盖了此前依赖第三方的能力。

更有意思的是这篇报道的上下文：The Decoder 的文章标题直接说 "Copilot goes cheap"，措辞毫不客气。而 TechCrunch 在同一周的报道里透露，一些公司甚至开始转向中国模型来降低成本 - 尽管有安全方面的顾虑。

链接：Microsoft joins AI cost-cutting trend by relying more on its own models

SWE-Marathon：十亿 Token 尺度评估编程 Agent

Rishi Desai（Abundant AI）在 AI Engineer 会议上做了一个题为 "SWE-Marathon: Evaluating Coding Agents at Billion-Token Scale" 的演讲。演讲的核心是：当评估编程 Agent 时，样本量太小会导致结论不可靠 - 你需要至少十亿 Token 级别的测试量才能得出有意义的结论。

这个观点跟现有的小规模 benchmark 文化形成了鲜明对比。目前大多数编程 Agent 评估都在几百个 issue 或几十个 repo 上跑，统计显著性其实很可疑。SWE-Marathon 的思路是把评估规模推到极致 - 用大量真实世界的代码库和 issue，让 Agent 在接近生产环境的条件下运行。

这个方向如果被行业采纳，可能会改变 Agent 评测的标准范式。毕竟，一个在 100 个 issue 上跑出 80% 成功率的产品，跟一个在 10,000 个 issue 上跑出 75% 成功率的产品，后者的信号价值大得多。

数据筛选对 SFT 行为的影响远不及预期

Alignment Forum 上有一篇很扎实的研究，来自 Neel Nanda 的 MATS 10.0 团队。他们测试了一个直觉上很自然的想法：如果模型在 SFT 阶段学到了不合意的行为（比如过度验证用户情绪、政治倾向性、拒绝回答等），能不能通过找到并删掉对应的训练数据来消除这些行为？

答案是否定的。至少对大多数行为来说，不行。

他们用 OLMo-3 7B 做了一个简化的 SFT 实验，识别出了 7 种 SFT 后出现的行为（加粗格式、两面说辞、自由主义倾向、验证情绪、拒绝回答等），然后用各种训练数据归因方法（LLM 评分器、探针、激活方法、梯度方法）来定位“责任数据”，再删除这些数据重新训练。结果发现，除了“拒绝回答”这个行为之外，其他所有行为的删除效果都不优于随机删除。

他们的假设是：很多 SFT 行为并不是被少数“坏数据”教会的，而是模型在预训练/中训练阶段已经具备了这些倾向，SFT 只是把它们“激发”了出来。这些行为被捆绑在“助手”这个 persona 里 - 你训练模型做助手，就会一并得到这些特征。

链接：Data filtering works a lot worse than you would expect

---

来源：VerySmallWoods Research Feed - 2026-07-07 UTC