使用 lm-eval 评估模型时报错：TypeError: ‘NoneType’ object is not callable 的解决方案

乌龟车队长

已于 2025-04-13 22:53:04 修改

阅读量732

点赞数 7

CC 4.0 BY-SA版权

文章标签： llama

于 2025-04-13 22:51:26 首次发布

本文链接：https://blog.csdn.net/weixin_42823298/article/details/147198734

问题描述

在使用 lm-evaluation-harness 进行多 GPU 模型评估时，使用如下命令：

accelerate launch --multi-gpu --num_processes 2 \
    -m lm_eval --model hf \
    --model_args pretrained=${local_model_path} \
    --tasks mmlu \
    --batch_size 8 \
    --log_samples \
    --output_path ${output_path} \
    --trust_remote_code

却报错如下：

TypeError: 'NoneType' object is not callable

错误栈显示问题出现在 datasets.load_dataset() 时，builder_cls 为 NoneType：

builder_instance: DatasetBuilder = builder_cls(
TypeError: 'NoneType' object is not callable

问题分析

报错的关键在于：

datasets.load_dataset()

的过程中，某个数据集无法被正确加载；

此错误通常是由于 datasets 包版本过新或过旧与 lm-eval 中的任务配置不兼容导致的；
在 lm-eval0.4.5 搭配 datasets3.1.0 时出现该错误；
很可能是 mmlu 任务依赖的数据集在新版 datasets 中的加载逻辑发生了改变或 metadata 不兼容。

解决方法

将 datasets 包从 3.1.0 降级至 2.16.0：

pip install datasets==2.16.0

再次运行命令，即可成功评估：

accelerate launch --multi-gpu --num_processes 2 \
    -m lm_eval --model hf \
    --model_args pretrained=${local_model_path} \
    --tasks mmlu \
    --batch_size 8 \
    --log_samples \
    --output_path ${output_path} \
    --trust_remote_code