• n2c2/OHNLP Track on Family History Extraction
• • 1.train
  • 2.eval
  • 3.目录结构
  • • • • parser.py: 模型的核心，调用modules文件夹的各部分
  • 4.结果
  • 5. paper

n2c2/OHNLP Track on Family History Extraction

1.train

• 3实体

  python run.py train -d 1 						-- GPU编号
  				    -c ./configs/config.ini 	-- 配置文件
                      --entity3 True           	-- 识别的实体类型
                      --model ./save/3entity.bin 	-- 保存模型
  

• 5实体

  python run.py train -d 1 						-- GPU编号
  				    -c ./configs/config.ini 	-- 配置文件
                      --entity5 True           	-- 识别的实体类型
                      --model ./save/5entity.bin 	-- 保存模型
  

2.eval

• 3实体

  python run.py eval -d 1 							-- GPU编号
  				   -c ./configs/config.ini 	 		-- 配置文件
                     --entity3 True           		-- 识别的实体类型
          		   --save_entity entity3.out 		-- NER预测文件
          		   --save_relation relation3.out	-- RE预测文件
                     --model ./save/3entity.bin 		-- 保存模型
  

• 5实体

  python run.py eval -d 1 							-- GPU编号
  				   -c ./configs/config.ini 	 		-- 配置文件
                     --entity5 True           		-- 识别的实体类型
          		   --save_entity entity5.out 		-- NER预测文件
          		   --save_relation relation5.out	-- RE预测文件
                     --model ./save/5entity.bin 		-- 保存模型
  

3.目录结构

• corpus：原始的数据

  • test_raw_2018: 2018年测试集文件，官方给了标注
  • test_raw_2019: 2019年测试集文件，官方不给标注
  • test_raw_2018: 2018年训练集文件，官方给了标注

• script：保存评测用到的预处理及后处理脚本

  • FH2019：祖传代码，后处理时使用，在上面改动了一些

  • src：祖传代码

  • parse_xml.py: 从xml文件中提取数据，预处理时使用

  • dnnfeature_extract.sh: 提取特征，

    • 输入：目录，目录包含如下所示的分句后的文件，分句的脚本在祖传代码里，记不得是哪个了

    • 输出：目录，输出的内容如下图所示

  • dealoutput_3entity_test.sh: 3实体后处理脚本，在python里调用

  • dealoutput_5entity_test.sh: 5实体后处理脚本，在python里调用

• source：模型对应的代码

  • data: 数据部分

    • 3entity：3实体数据
    • 5entity：5实体数据

  • code: 模型代码部分

    • utils: 数据预处理

      • corpus_n2c2.py: n2c2数据集的预处理
      • decode.py: 标签还原规则
      • data.py: 将模型输入输出导入dataloader
      • vocab.py: 数据的映射

    • modules: 模型各部分

      • bilstm.py: 包括bilstm和char_bilstm，其中bilstm用于提取上下文特征，char_bilstm用于提取token的字符级表示，拼接双向LSTM的首尾输出得到
      • cnn.py: 包括Char_CNN和SAC，SAC对应EMNLP 2019论文《 Similarity Based Auxiliary Classifier for Named Entity Recognition》，在上下文特征中增加位置信息；Char_CNN用于提取token的字符级表示，拼接多次卷积的结构后映射
      • crf.py: CRF条件随机场的实现
      • mlp_biaffine.py: 双仿射注意力机制的实现
      • wordrep.py: 封装模型的表示层

    • cmds: train或者eval

      • train.py: 训练时使用
      • eval.py: 评估时使用
      • cross_valid.py：交叉验证时使用

    • metric.py: 用于模型评估，使用F1值作为评价指标

    • model.py: 包括model.train()和model.eval()以及model.predict()三个函数

    • parser.py: 模型的核心，调用modules文件夹的各部分

  • configs: 模型的配置部分

    • config.ini: n2c2数据集的配置文件

  • save: 模型的保存部分

    • vocab.bin: n2c2数据集的词汇信息

  • config.py: 解析配置文件

  • run.py: 运行脚本

4.结果

• NER: 0.8823
• RE: 0.7048

5. paper

Zhan K, Peng W, Xiong Y, Fu H, Chen Q, Wang X, Tang B
Novel Graph-Based Model With Biaffine Attention for Family History Extraction From Clinical Text: Modeling Study
JMIR Med Inform 2021;9(4):e23587
URL: https://medinform.jmir.org/2021/4/e23587
DOI: 10.2196/23587