- 博客(2)
- 收藏
- 关注
RSS订阅原创 主流深度思考大模型使用哪些评测基准？一文告诉你答案
本文介绍了如何对齐主流深度思考大模型的评测方法，提出从三个核心维度出发：评测基准、推理参数设置和评估方法。在评测基准方面，推荐数学（AIME）、通用（SimpleQA、MMLU-Pro）、代码（LiveCodeBench）、科学（GPQA-Diamond）和指令遵循（IFEval）的组合；在参数设置上，建议temperature 0.6、top_p 0.95、top-k 20、max_tokens 32k~64k；在评估方法上，强调应多次采样生成多个候选答案，数学任务建议16~64次采样，通用和代码任务8~
2025-06-12 10:50:35
996
原创 EvalScope 安装与评测全流程问题汇总与解决方案
安装EvalScope时，典型报错解决方案：1️⃣ AutoProcessor导入失败→升级modelscope；2️⃣ 缺少tiktoken→手动安装该模块；3️⃣ omegaconf缺失→补装配置解析库；4️⃣ datasets版本过高→降级至2.21.0。
2025-06-10 11:30:00
871
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人