You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 
 
 
houysh 7747402533 update Dockerfile_NPU content 16 minutes ago
jointai-agent add readme content 3 hours ago
jointai-client update Dockerfile_NPU content 16 minutes ago
text_classification_paddle change Dockerfile 2 days ago
README.md add readme content 2 hours ago

README.md

云际学习NLP算法

运行平台

  • paddlepadle=2.1.2
  • paddlenlp
  • 云际学习平台
    • 管理平台:管理平台算力、数据集、算法、任务等,并负责启停训练任务
    • agent节点:进行参数融合
    • client节点:进行模型训练

样例任务

情感分析

代码说明

client端

云际学习模型训练端代码

server端

云际学习参数服务器端代码

paddle 情感分析例子

情感分析算法例子

实验

ChnSentiCorp 数据集

构建方式:把原始ChnSentiCorp数据集的训练数据随机拆分成part_a、part_b和test三部分

数据集 样本数 格式 位置
训练集big 6000 标签\t文本内容 ChnSentiCorp_a/train.tsv
训练集small 2524 标签\t文本内容 ChnSentiCorp_b/train.tsv
验证集 1200 样本id\t标签\t文本内容 dev.tsv
测试集 1076 标签\t文本内容 dev.tsv

实验设置

模型训练 数据集 数据规模
单机训练 全量训练集 8524
单节点训练 全量训练集 8524
client_A 训练集big 6000
client_B 训练集small 2524
A_B融合 对A和B进行模型融合 8524

模型对比

模型 epoc1 epoc2 epoc3 epoc4 epoc5 epoc6 epoc7 epoc8 epoc9 epoc10
单机
单节点
client_A
client_B
A_B融合

简介

跨平台云际学习NLP算法库

Text Python Go other

贡献者 (1)