偏好标注
偏好标注是将人类判断转化为训练数据的过程，需要精心设计标注流程和质量控制。
标注指南设计
评估维度
偏好标注需要考虑多个评估维度：
- 有用性：输出是否解决了用户的问题
- 准确性：信息是否正确可靠
- 安全性：是否包含有害内容
- 流畅性：语言是否自然流畅
标注标准
制定清晰的标注标准，确保不同标注员的一致性：
- 定义什么是"更好"的输出
- 提供典型示例和反例
- 处理边缘情况的标准
质量评估
质量控制指标
- 标注员间一致性（Inter-annotator Agreement）
- 与专家判断的一致性
- 标注时间分布（异常快或慢需检查）
- 金标准任务准确率
一致性检验
通过以下方法确保标注一致性：
- 多个标注员独立标注同一任务
- 定期培训和对齐会议
- 实时监控标注质量
- 设置争议处理流程