MMLU基准测试

Massive Multitask Language Understanding

概述

MMLU是目前最广泛使用的大语言模型评估基准之一，由UC Berkeley等机构于2021年提出。 测试覆盖57个学科，从基础数学到专业法律，全面评估模型的知识广度和深度。

学科覆盖

测试格式

所有题目都是四选一的多选题，模型需要选择最正确的答案。

评估方式

Zero-shot评估

不提供示例，直接让模型回答问题：

• 更接近真实使用场景
• 评估模型的泛化能力
• 避免示例偏见

Few-shot评估

提供5个示例，引导模型理解任务格式：

• 标准化评估协议
• 减少格式理解误差
• 更公平的对比

模型表现

使用方法

# 使用lm-eval工具评估
pip install lm-eval

# 评估模型
lm_eval --model hf \
    --model_args pretrained=meta-llama/Llama-2-7b-hf \
    --tasks mmlu \
    --batch_size 8

# 或使用Hugging Face datasets
from datasets import load_dataset

dataset = load_dataset("cais/mmlu", "all")
for example in dataset["test"]:
    question = example["question"]
    choices = example["choices"]
    answer = example["answer"]
    # 评估模型...

局限性

• 数据污染：部分题目可能出现在训练数据中
• 多选题限制：不能评估生成能力
• 英语中心：主要测试英语知识
• 静态数据：无法反映最新知识
• 表面知识：可能只测试记忆而非理解

变体与扩展

• MMLU-Pro：更困难版本，增加推理要求
• MMLU-redux：清洗错误标注的数据集
• CMMLU：中文版本的MMLU
• MMLU-STEM：专注STEM学科