据 ai987.cn 于 2026 年 11 月 17 日收到的消息 ‣ 非营利研究机构 METR 近日发布报告,通过随机对照试验测量早期 2025 年 AI 工具对资深开源开发者生产力的实际影响。研究招募 16 名来自大型开源仓库(平均星标超 2.2 万、代码量超百万行)的资深贡献者,共完成 246 个真实开发任务,涵盖漏洞修复、功能开发与重构等日常工作类型。

实验采用随机分组设计,允许使用 AI 的组别可自由选择工具(主要为 Cursor Pro 搭配 Claude 3.5/3.7 Sonnet),对照组则完全禁止生成式 AI 辅助。任务平均耗时约两小时,开发者全程录屏并自报实现时间。结果显示,允许使用 AI 的开发者完成任务平均耗时反而增加 19%,这与开发者预期 AI 能提速 24% 的认知形成显著背离。即使亲历减速,事后受访者仍误以为 AI 带来了 20% 的加速。
研究团队排除了多种实验伪影,确认开发者使用前沿模型、遵守分组安排、未因难度差异选择性放弃任务,且提交的代码质量在两组间相当。深入分析 20 个潜在因素后,发现 5 项因素可能导致减速。相关论文已发布于 arXiv 预印本平台供进一步查阅。
针对 RCT 结果与基准测试高分、普遍传闻助益之间的矛盾,报告提出三类协调假设:一是 RCT 低估能力,存在未知方法学问题或场景差异;二是基准与传闻高估能力,因任务范围、评分标准或自我报告偏差导致;三是三者测量的任务子集不同,各自反映模型在不同难度分布下的表现。研究指出,高质量标准、隐性需求(文档、测试、规范)可能是 AI 当前短板所在,而基准测试多聚焦算法可评分的明确任务。
METR 表示将持续追踪后续模型在相同方法下的表现,若 AI 能在该场景显著提速,或预示 AI 研发加速带来的潜在风险。该机构同时澄清,结果不代表 AI 在软件工程中无用,对于经验较浅开发者或陌生代码库场景可能仍有助益。详细数据与统计方法见附录。
综合自网络信息