我们的研究

研究生多项选择题评估涵盖 285 个子领域，采用样本加权和分类平衡视角。

根据一份需求文档生成完整的 Python 库，其正确性由原始的隐藏测试套件决定。

专业桌面工作在最终工件或 GUI 状态之后，经过 30 到 110 个依赖操作后进行评分。

OpenCoder 是一篇关于代码语言模型和可复现性的论文，而不是一个基准测试。

OProver 是一个基于 Lean 4 的智能定理证明系统，其检索、编译器反馈和证明修复在训练和推理过程中均有体现；它并不是一个新的基准。

Ouro 是一系列具有 14 亿和 26 亿参数的基础模型，采用循环解码器架构构建，而不是评估基准。

YuE 是一个开放的基础模型家族，用于生成长篇歌词，而不是一个基准。

MAmmoTH2 主要是一项围绕 WEBINSTRUCT 构建的数据和指令调整研究，WEBINSTRUCT 是一个包含 1000 万个指令-响应对（约 50 亿个标记）的语料库，这些指令-响应对是从网络预训练数据中挖掘出来的。

编码代理能否接管队友的工作？能否获取分布式需求、与同事协调，并通过验证交付方式完成变更？

编码代理能否胜任软件测试工程师的工作？将产品需求转化为测试用例，发现并存缺陷，并在不提供问题或位置提示的情况下报告其根本原因。