Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
You can not select more than 25 topics
Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
xiongying
f84ddb5cd8
|
2 years ago | |
|---|---|---|
| .. | ||
| bin | 2 years ago | |
| src | 2 years ago | |
| util | 2 years ago | |
| README.md | 2 years ago | |
README.md
## 数据处理流程
- 数据集中一定要包含.txt 和.ann文件
- 测试集中要写入空的.ann文件
- 处理阅读理解类型数据集和tagger形式数据集
- RC_norm_feature.sh 处理成包含实体标准化信息的数据
- RC_feature.sh 处理成不包含实体标准化信息的数据
- INPUT_process.sh 处理成tagger的数据
- 1.write_code.py 把code数据写进3的输出数据
-
- /disk2/xy_disk2/2020_IberLEF/MODEL_NORM/process_code/joint_data_processing.py 实体标准化联合学习数据处理 (把实体标准化的范围写进去)
- merge_joint_norm.py 第4步处理好的数据写入原始阅读理解类型数据中
- merge_rc_files.py dir outfile index 合并处理好的第5步的输出
- 写入code信息 merge_ner_norm_code.py
- get_entities_rc.py 写入评价的标准的实体信息和标准化的实体信息
- get_code_map.py 写入层次编码字典
- 处理4.1数据，分层分类， get_hierarchy_norm.py
结果处理
- trans2answer.py 把阅读理解数据还原成index形式数据
- trans2answer_code.py 把code预测数据去重，转成提交的文件名+code形式
- trans2answer_norm.py 把Normalization数据写入文件中
