本地时间4月2日，OpenAI方面颁布发表推出并开源一个全新的、名为PaperBench的AI智能体（AI Agent）评测基准。据领会，PaperBench是一个用以评估AI智能体复现前沿AI研究能力的评测基准，开辟代码库并成功施行尝试。

　　为确保PaperBench可以或许客不雅进行评估，OpenAI方面取相关论文的原做者配合制定了细致的评分尺度，并将每个复现使命分层分化为具有明白评分尺度的较小子使命。总的来说，PaperBench共包含8316个可零丁评分的使命，并且为了实现可扩展的评估，OpenAI还开辟了一个基于大模子、可以或许按照评分尺度从动对AI智能体复现测验考试进行评分的裁判员，并通过为裁判员建立零丁的基准来评估裁判员的表示。

　　值得一提的是，不久前OpenAI CEO Sam Altman曾颁布发表，打算正在将来几个月内发布自GPT-2以来的首个“开源”言语模子。对此他暗示，“接下来几个月里OpenAI将发布一个强大的、具有推理能力的新开源模子。我们曾经考虑这个问题好久了，但之前一曲有更主要的工作要做，现正在，我感觉做这件事很是主要”。

　　此外近期有动静源透露，目前OpenAI旗成式AI聊器人ChatGPT的付费用户数已跨越2000万，比拟2024年岁尾的1550万大幅增加。

　　据领会，这并非OpenAI方面推出的首个AI智能体评测基准，此前正在2024年，OpenAI便曾推出用以测试AI智能体机械进修代码工程能力的评测基准MLE-Bnch。