• 数据质量度量及缺陷检测
• • • 通用数据缺陷分析与修复技术
    • 数据质量评估与优化方法
    • 细粒度的数据画像技术
    • 联系我们
    • 参与单位

数据质量度量及缺陷检测

训练数据的“质”与“量”决定了大模型能力的上限，而训练数据中存在种类繁多的数据缺陷，目前尚缺乏有效的数据质量评估手段与标准。因此，目前在该技术研究方向上可能还存在从以下挑战问题供研究者们探索研究：

• ❓细粒度数据画像
• ❓通用数据缺陷分析与修复
• ❓大模型训练数据质量评估指标
• ❓基于人机交互的数据质量优化

针对这些挑战问题，本项目在数据缺陷检测、数据质量评估以及优化方法、数据画像等方面对已经开展的相关工作进行开源，为研究者们在数据质量评估与缺陷检测研究工作方面提供研究参考。具体的，开源内容包括以下内容：

• ⭐通用数据缺陷分析与修复技术
• ⭐数据质量评估与优化方法
• ⭐细粒度的数据画像技术

通用数据缺陷分析与修复技术

• 开源简介：
• 目录说明：目录"DFauLo"中为本技术相关的开源内容。
• 项目链接：开源链接

数据质量评估与优化方法

• 开源简介：本次开源的方法工具集成了包含清洗、敏感词过滤、广告词过滤、语料质量自动评估、质量优化等功能在内的多个数据处理工具与算法，为中国AI大模型提供安全可信的主流数据。
• 目录说明：目录"DataCollector2"中为本技术相关的开源内容。
• 项目链接：开源链接

细粒度的数据画像技术

• 开源简介：细粒度数据画像技术目的是对海量文本数据的领域分布特征、Token分布特征、聚类特征进行综合分析，达到对数据概要进行全面综合掌握的程度，为训练数据抽样提供分析依据。目前针对大语言模型的训练数据画像和训练数据抽样场景，我们定义了Data Profiling和Data Sampling两个核心问题，并针对两个问题给出了已有的工具或示例方案，希望通过开源吸引更多感兴趣者参与这两个问题的研究，形成更好的解决方案。
• 目录说明：目录"DataProfiling"中为本技术相关的开源内容。
• 项目链接：开源链接

联系我们

如果你对本项目的使用和代码有任何问题，可以提交issue。同时你也可以通过邮箱 xuchx@pcl.ac.cn 直接联系我们

参与单位

鹏城实验室，南京大学。