收录长程软件工程、终端操控、多模态图表理解与企业商业决策的行业权威基准。严格遵循自属性铁律，还原真实可复现的评测机制与模型天梯榜。
DeepMind Software Engineering Benchmark v1.1
基于 SWE-bench 演进的长程软件工程评测基准。测试自主代码智能体在复杂大型工程项目中的全流程端到端解决能力，包括定位 bug、跨多文件上下文理解、自主编写补丁以及通过隐藏集成测试。
严格通过率 (Pass Rate)。补丁必须能在沙箱环境中完整合并并通过仓库原生所有回归与单元测试，无任何人为干预。
SWE-bench Verified Software Engineering Benchmark
全球软件工程事实金标。从头部顶级开源 Python 仓库精选 500 个真实 GitHub Issue，由人类资深工程师严格二次复核与验证，消除歧义题目。
解决率 (Resolved Rate)。补丁通过沙箱单元测试与回归校验方可得分。
LiveCodeBench: Holistic and Contamination-Free Code Benchmark
全维度防污染代码评测基准。按时间窗口持续收录各大算法竞赛（LeetCode、AtCoder、Codeforces）真题，彻底解决大模型训练集过拟合与数据泄漏问题。
涵盖代码生成、自主修复与执行输出预测等维度的严格 pass@1 正确率。
Terminal Benchmark for Agentic Coding v2.1
终端命令行编程与运维智能体基准。让智能体直接在真实 Linux Bash 环境中交互，测试其排查编译报错、处理依赖冲突、配置系统环境与编写自动化脚本的实操能力。
任务成功执行率。测试脚本在沙箱终端运行后，必须返回退出码 0 并通过所有后置状态断言验证。
Terminal Benchmark for General Autonomous Agents v4.0
高阶系统级全自主智能体评测。测试大模型在长程指令链下的多步骤系统运维、网络拓扑配置、分布式系统故障排查与未知环境探索能力。
长链路终端任务端到端完成率。要求智能体自主规划多步 Shell 命令流并达成既定系统最终状态。
OSWorld: Multimodal Agent Computer-Use Benchmark v2.0
计算机实操与桌面系统级智能体基准 v2.0。在真实操作系统沙箱中，评测智能体通过鼠标点击、键盘输入、Bash 脚本及 GUI 原生软件协同（VS Code、办公套件、图像工具与浏览器）完成复杂任务的能力。
分步骤加权得分率与全通率。通过比对任务结束时系统文件状态、输出产物与应用数据库进行自动化断言打分。
Gross Domestic Product Value Agent Arena v2
衡量智能体执行具有真实商业价值与经济回报的专业知识工作（如战略咨询、商业分析、运营决策、政策研判）能力的综合竞技场评测。
基于双盲专家打分与成对对战比较计算得出的 Elo 天梯分，反映模型在复杂商业决策输出上的相对优劣。
Vals AI Financial Analyst Agent Benchmark v2
由第三方独立评测机构 Vals AI 构建的企业级金融分析师智能体基准。涵盖华尔街真实工作流：财报与 SEC 10-K/10-Q 解析、DCF 现金流估值建模、多表交叉勾稽核对与投资备忘录生成。
全流程任务准确率。智能体生成的财务模型数值、计算公式和审计逻辑必须与资深金融分析师复核的标准基准完全一致。
Harvey AI Complex Legal Workflow Benchmark
联合法律大模型先锋 Harvey AI 打造的高难度法律实务基准。评测智能体在跨司法管辖区合同起草、法条合规审计、判例检索综合与诉讼证据梳理等高专业度法律流程中的表现。
严苛全项通过率 (All-pass rate)。由持证执业律师严格审核，在多维法律风险要件中哪怕一处条款疏漏或法律误读即判定未通过。
CharXiv: Chart Understanding and Reasoning Benchmark
汇集 arXiv 真实前沿论文中 2323 张高分辨率复杂科学图表的权威多模态基准。专门评测模型在不借助外部 Python 执行器的情况下，直接从密集坐标轴、误差棒、散点图中提取数据并进行高阶科学推理的能力。
零样本无工具推理准确率。包含描述性信息提取与深层次分析推理两大题库，要求数值与趋势推断完全正确。
LVBench: Extreme Long Video Understanding Benchmark
针对 30 分钟至数小时超长视频理解设立的权威极限评测基准。全面检验模型在超长视听流中的长时序因果推理、剧集事件记忆、时空定位与关键帧事件检索能力。
问答正确率。分为智能体自主时序检索模式 (Agentic) 与全量上下文静态摄入模式 (Static)。
Humanity’s Last Exam (Verified Subset)
由 CAIS 与 Scale AI 联合全球千名学者发起并刊登于 Nature 的人类终极考试。覆盖 100+ 学术学科，包含数学、物理、生物、哲学等前沿未被互联网轻易检索的高难试题，旨在打破 MMLU 评测天花板。
经过人工二次校验的 Verified 子集严格准确率。题目均通过对抗性筛选（此前大模型均答错），答案无歧义且无法通过简单检索得出。
HumanEval: Hand-crafted Python Coding Problems
由 OpenAI 发布的经典代码生成评测，包含 164 道人工编写的 Python 算法题，评估函数级代码补全与基本逻辑推理。
首选通过率 (pass@1)。模型单次生成的代码函数完全通过全部单元测试用例。
Aider Multi-Language Code Editing Benchmark
智能体代码编辑事实标准。评测模型在已有多文件代码库中生成精准 git diff 补丁并一次性通过回归测试的实战能力。
补丁一次性或经单次报错反馈后完全通过全部测试用例的通过率。