众包标注
众包标注利用互联网众包力量完成大规模标注任务，是一种高效的标注模式。
众包平台
主流平台
- Amazon Mechanical Turk：最大的众包平台
- Appen：专业AI数据众包服务
- 国内平台：百度众测、阿里众包等
平台选择因素
选择众包平台需要考虑：
- 标注员质量和背景
- 任务类型支持
- 定价和成本
- 数据安全保障
任务设计
任务分解
将复杂任务分解为简单、独立的子任务。
指令简化
编写简洁明了的任务指令，降低理解门槛。
质量控制
嵌入金标准任务，实时监控标注质量。
质量控制
众包质量控制策略
- 资质筛选：设置准入门槛，筛选合格标注员
- 多人标注：同一任务多人标注，取共识或投票
- 金标准检测：嵌入已知答案的任务
- 声誉系统：建立标注员信誉评价体系