我们评估的专业职位。
每个角色都将论文和基准围绕编程、数学、机器学习和音频/视频制作中的具体任务进行分组。
程序员
仓库级实现、代码编辑、审查、测试和调试。
程序员的工作重心始终在代码库和工具链中:需求通过 issue 和 issue 传达,上下文信息通过 Slack 讨论串和设计文档传递,代码在 GitHub 上流动——分支、拉取请求、代码审查——只有持续集成 (CI) 测试通过,代码才能发布。这份工作要求程序员能够理解需求并将其转化为可运行的代码,在不破坏现有代码库的前提下进行导航和编辑,编写测试来验证更改,并进行调试直到所有测试都通过。
需求理解 · 编码与代码审查 · 测试与调试
基准论文 · 存储库生成
NL2Repo-Bench
根据一份需求文档生成完整的 Python 库,其正确性由原始的隐藏测试套件决定。
基准论文·知识
CodeSimpleQA
双语编程知识题,与可执行代码生成题分开评分。
基准论文 · 代码编辑
CodeEditorBench
执行检查编辑,涵盖调试、翻译、优化和需求变更。
样题 · 开放代码LLM
OpenCoder
OpenCoder 是一篇关于代码语言模型和可复现性的论文,而不是一个基准测试。
系统论文·代码执行
OpenCode解释器
OpenCodeInterpreter 是一系列开放代码生成系统,经过训练,可以根据编译器输出和用户反馈修改程序,而不是采用新的基准测试。
数学家
数学推理、严谨的证明构造以及复杂解决方案的验证。
数学家将开放式问题转化为精确的陈述,选择合适的定义和工具,并构建经得起仔细推敲的论证。这项工作包括探索实例、识别模式、检验猜想以及检查证明中的每一个假设。在人工智能评估中,这种视角有助于区分看似合理的答案和有效的解决方案,追踪多步骤推理中的错误,并将非正式的解释与形式化可验证的结果联系起来。
问题界定 · 证明与形式验证 · 推理评估
机器学习工程师
机器学习生命周期中的数据准备、模型实验和可复现评估。
机器学习工程师负责将研究思路与可靠的实验流程相结合。这项工作包括检查数据质量、选择基线、配置训练运行、比较检查点,以及探究为何有前景的结果能够或不能泛化。该职位需要从实际角度看待模型行为:实验应具有可复现性,指标应反映任务需求,改进应在数据变化、计算资源受限以及实际工作流程约束的情况下依然有效。
数据与训练流程 · 实验设计 · 模型与工作流程评估
范文 · 循环语言模型
奥罗
Ouro 是一系列具有 14 亿和 26 亿参数的基础模型,采用循环解码器架构构建,而不是评估基准。
样题 · 开放代码LLM
OpenCoder
OpenCoder 是一篇关于代码语言模型和可复现性的论文,而不是一个基准测试。
研究论文 · 教学数据
猛犸象2
MAmmoTH2 主要是一项围绕 WEBINSTRUCT 构建的数据和指令调整研究,WEBINSTRUCT 是一个包含 1000 万个指令-响应对(约 50 亿个标记)的语料库,这些指令-响应对是从网络预训练数据中挖掘出来的。
基准报告 · 专业工作流程
工作流程-健身房
专业桌面工作在最终工件或 GUI 状态之后,经过 30 到 110 个依赖操作后进行评分。
音频和视频编辑器
音频制作、基于时间线的编辑以及创意媒体工作流程的质量评估。
音频和视频剪辑师将创意简报转化为连贯的成品。这项工作包括选择素材、构建时间线、同步音画、平衡音量,以及优化转场、节奏和播放设置。评估人工智能在这种环境下的表现,意味着要超越单一的精美输出:剪辑必须遵循创意简报,保持连贯性,并且能够在实际制作流程中可用。最终成品和基于工具的决策顺序都至关重要。
时间线编辑 · 音视频质量 · 创意工作流程评估