代码数据
代码数据使模型具备编程能力，包括源代码、代码注释、技术文档、编程问答等。
数据来源
GitHub
GitHub是最大的代码数据来源，包含数十亿代码文件。可以使用GitHub Archive获取公开代码的快照数据。
Stack Overflow
编程问答社区，包含问题和答案，以及代码示例和讨论。
其他来源
- GitLab：另一个代码托管平台
- 编程教程网站：教程、博客、文档
- 开源项目：高质量的开源代码库
代码数据处理
语言识别
识别代码的编程语言，便于按语言分类训练。
质量筛选
根据代码质量指标（如星标、fork数、测试覆盖）筛选高质量代码。
许可证检查
检查代码许可证，遵守开源协议要求。
代码数据的特殊价值
代码数据的独特优势
- 结构化程度高，语法明确
- 可以通过执行验证正确性
- 包含丰富的逻辑和算法知识
- 跨语言学习促进能力迁移