Benchmarking coding agents on Databricks' multi-million line codebase

摘要

这是一篇关于在 Databricks 上使用 AI 编码工具进行效率基准测试的论文摘要。核心结论是：当前的性能曲线由少量工具（包括 OpenAI、Anthropic、开源模型）主导，Open 模型可应对绝大多数日常编码任务；高昂的 token 成本掩盖了实际任务成本的差异；原生助手如 Pi 在某些场景下表现优于 Open 模型。这并非新发现，而是通过内部基准测试（针对 Databricks 代码库百万级代码）验证的。建议按原文内容详细阅读，以深入理解实际应用中的策略决策。