数据标注
数据标注是将原始数据转化为训练数据的关键环节，直接影响模型的性能和可靠性。
01标注平台
标注平台是数据标注的基础设施，提供标注工具、任务管理和质量控制功能。
开源平台
Label Studio
功能最全面的开源标注平台，支持多种数据类型（文本、图像、音频、视频），可自部署，界面友好。
Doccano
轻量级文本标注工具，支持文本分类、序列标注、序列到序列标注，适合NLP任务。
CVAT
专业的计算机视觉标注工具，支持图像和视频标注，功能强大但学习曲线较陡。
商业平台
主流商业平台
Scale AI：企业级数据标注服务
Labelbox：面向AI团队的数据标注平台
Appen：全球众包数据标注服务
Amazon SageMaker Ground Truth：AWS数据标注服务
自建平台
自建考虑因素
- 数据安全：敏感数据需要内部处理
- 定制需求：特殊任务需要定制工具
- 成本控制：长期大规模标注可能更经济
开发框架
可以基于开源项目二次开发，或使用React/Vue等框架从头构建。
02标注质量控制
高质量的标注数据需要建立完善的质量控制体系，确保标注的一致性和准确性。
标注指南设计
指南内容
完整的标注指南应包含：
- 任务说明：标注任务的目标和要求
- 标注规范：详细的标注标准和规则
- 示例说明：正确和错误的标注示例
- FAQ：常见问题的解答
持续迭代
标注指南需要在实践中不断完善，根据标注员的反馈和数据分析结果进行更新。
标注一致性
多人标注
同一数据由多人独立标注，检查一致性。
一致性指标
Kappa系数、Fleiss' Kappa等量化一致性。
争议处理
建立争议解决机制，如专家仲裁。
质量评估指标
常用指标
- 准确率：标注结果与金标准的一致程度
- 召回率：正确标注的覆盖程度
- 一致性：不同标注员之间的一致程度
- 效率：标注速度和成本效益
03自动标注
自动标注利用AI技术辅助或完成标注工作，大幅提升标注效率。
LLM辅助标注
预标注
使用大语言模型进行预标注，人工只需审核和修改，可提升5-10倍效率。
标注建议
AI提供标注建议，标注员参考建议做出最终决定。
质量检查
使用AI检查标注结果的一致性和合理性，标记可能的问题供人工复核。
主动学习
原理
主动学习策略选择最有价值的数据进行标注：
- 不确定性采样：选择模型最不确定的样本
- 多样性采样：选择代表不同分布的样本
- 错误驱动：选择模型可能出错的样本
效率提升
主动学习可以在标注更少数据的情况下达到相同或更好的模型效果。
半自动标注
半自动标注流程
1. 规则或模型预标注 → 2. 人工审核和修正 → 3. 反馈优化模型 → 4. 循环迭代
04众包标注
众包标注利用互联网众包力量完成大规模标注任务，是一种高效的标注模式。
众包平台
主流平台
- Amazon Mechanical Turk：最大的众包平台
- Appen：专业AI数据众包服务
- 国内平台：百度众测、阿里众包等
平台选择因素
选择众包平台需要考虑：
- 标注员质量和背景
- 任务类型支持
- 定价和成本
- 数据安全保障
任务设计
任务分解
将复杂任务分解为简单、独立的子任务。
指令简化
编写简洁明了的任务指令，降低理解门槛。
质量控制
嵌入金标准任务，实时监控标注质量。
质量控制
众包质量控制策略
- 资质筛选：设置准入门槛，筛选合格标注员
- 多人标注：同一任务多人标注，取共识或投票
- 金标准检测：嵌入已知答案的任务
- 声誉系统：建立标注员信誉评价体系