icdm_graph_competition/pyg_example

• PyG example
• • • Include
    • How to run
  • how to 跑通 on openI

PyG example

Include

• pyg_demo.sh: Shell Script (include converting raw data into PyG graph, training model and generating final result)
• rgcn_mb_icdm.py: PyG rgcn model
• format_pyg.py: PyG data generator
• best_model/: Directory to store model trained

How to run

• Run shell script

mkdir -p /dataset/pyg_data/
cd /code/icdm_graph_competition/pyg_example/
sh pyg_demo.sh

• Output

  1. PyG Graph is stored in /dataset/pyg_data/

     • icdm2022_session1.pt PyG Heterograph of session1 data

     • icdm2022_session2.pt PyG Heterograph of session2 data

     • *.nodes.pyg Temporary cache file (Removable)

  2. Trained Model is saved in /code/icdm_graph_competition/best_model/

     • (Default) 1.pth Model file
     • (Optional) change model_id to customize name of model file

  3. Final result of Inference is generated in /code/icdm_graph_competition/pyg_example/

     • pyg_session1.json Result of session1
     • pyg_session2.json Result of session2

how to 跑通 on openI

利用启智OpenI平台跑通pyg_example的个人实践，毕竟挺好的平台，不用太可惜（羊毛薅起来！）。但是中间还是比较波折，故把个人实践分享给大家。

1. 生成训练数据 - pt文件

   • 方式一（成功）：下载比赛中的节点、边、embedding数据到本地，利用本地机器跑一下，运存大45G吧差不多。生成大概15g的pt文件，压缩后5g。我的命名是cdm2022_session1.zip。然后将其上传到云脑旁边有个数据集选项里面。

   • 方式二（失败，运行成功，但是输出没pt文件）：利用平台-云脑-训练任务-新建训练任务，将节点、边、embedding数据集挂载一下，修改输出文件路径。

     • 训练任务配置：
       • 机器选择：智算网络集群(Beta) 、 CPU/GPU 、 A100 64G
       • 镜像：qz1012/icdm:0708
       • 训练数据集：icdm2022_session1_train.zip
       • 启动文件：pyg_example/format_pyg.py
       • 运行参数，我是一个一个加入的，如果有好的办法请告诉我下：graph = /tmp/dataset/icdm2022_session1_edges.csv; node = /tmp/dataset/icdm2022_session1_nodes.csv; label = /tmp/dataset/icdm2022_session1_train_labels.csv; storefile = /tmp/output

   这个过程是将节点、边啥的转化成图，然后存下来pt，作为训练集合，我在这块卡的时间挺长的。。。

2. 训练模型 - pth文件

   首先，修改一下openi项目中的

   • rgcn_sage_icdm.py，将输出模型的路径，即 .pth文件的输出路径改成 /tmp/output，两个地方需要改哈

   然后，新建一个训练任务

   • 训练任务配置：
     • 机器选择：智算网络集群(Beta) 、 CPU/GPU 、 A100 64G
     • 镜像：qz1012/icdm:0708
     • 挂载数据集：cdm2022_session1.zip（步骤1中上传的）
     • 启动文件：pyg_example/rgcn_sage_icdm.py
     • 运行参数：dataset = /tmp/dataset/icdm2022_session1.pt; h-dim = 256; n-bases = 8; n-layers = 3; fanout = 150; n-epoch = 100; early_stopping = 6; validation = True; lr = 0.001; batch-size = 200; model-id = 1; device-id = 0

   最后，下载模型，点进训练任务的结果下载中，下载 .pth 模型文件，大概4M 。

3. 预测结果

   首先将模型 .pth 和测试数据 icdm2022_session1_test_ids.txt 上传到项目代码的master分支中icdm_graph_competition/pyg_example下

   然后修改gcn_sage_icdm.py中模型加载路径，

   • 改成/code/pyg_example

   最后新建一个调试任务

   • 调试任务配置：
     • 挂载训练数据集pt，但其实没有用上：icdm2022_session1.zip
     • 镜像：qz1012/icdm:0708
     • pyg_demo文件修改：

        icdm_sesison1_dir="/dataset/"
        # icdm_sesison2_dir="/tmp/dataset/"
        ouput_result_dir=""
        pyg_data_session1="/dataset/icdm2022_session1"
        # pyg_data_session2="/dataset/pyg_data/icdm2022_session2"
        test_ids_session1="/code/pyg_example/icdm2022_session1_test_ids.txt"
     
        python rgcn_sage_icdm.py --dataset $pyg_data_session1".pt" \
        --test-file $test_ids_session1 \
        --json-file $ouput_result_dir"pyg_pred_session1.json" \
        --batch-size $batch_size \
        --n-layers $num_layers \
        --fanout $fanout \
        --inference True \
        --model-id $model_id \
        --device-id 0
     

     • 在shell里输入 sh pyg_demo.sh
   • 最后会生成一个 pyg_pred_session1.json 文件在pyg_example/文件夹下，下载下来，上传到天池就好。