数据合成
数据合成使用AI模型生成全新的训练数据，是补充真实数据的有效方式。
LLM生成
合成方法
使用大语言模型生成训练数据：
- 指令生成：生成指令-响应对
- 对话生成：生成多轮对话数据
- 问答生成：基于文档生成问答对
- 文本生成：生成特定主题的文本
质量控制
LLM生成的数据需要严格的质量控制：
- 事实准确性检查
- 语言质量评估
- 多样性分析
- 与真实数据的分布对比
模板填充
模板设计
设计包含槽位的文本模板，如"请写一篇关于{主题}的文章"。
槽位填充
使用实体库或生成模型填充槽位，生成大量样本。
混合合成
结合多种方法进行数据合成：
- 真实数据 + 变换增强
- LLM生成 + 人工审核
- 模板填充 + 随机变化
合成数据评估
评估维度
- 质量：内容准确性、语言流畅性
- 多样性：覆盖不同类型和风格
- 一致性：格式规范、标注正确
- 有效性：对模型训练的实际贡献
注意事项
合成数据的使用需要注意以下问题：
- 模型崩溃：合成数据比例过高可能导致模型退化
- 偏见放大：合成可能放大现有偏见
- 真实性：合成数据可能包含错误信息