#2705 智算网络的结果提前回传

Closed

created 1 year ago by tanglj · 4 comments

智算网络的结果（模型、用户输出日志）回传，不要等到正常结束后再回传。

tanglj added the

enhancement

label 1 year ago

tanglj added this to the V20220830 milestone 1 year ago

lewis was assigned by tanglj 1 year ago

1、定时回传文件
优点：用户无感知
缺点：出问题的概率大，如文件太多或者太大，一次定时任务还没回传完，第二个定时任务又来了；是否需要判断已回传；如何判断

2、提供回传工具，由用户自己调用工具回传
相当于modelarts提供moxing工具

1、定时回传文件
优点：用户无感知
缺点：出问题的概率大，如文件太多或者太大，一次定时任务还没回传完，第二个定时任务又来了；是否需要判断已回传；如何判断

2、提供回传工具，由用户自己调用工具回传
相当于modelarts提供moxing工具

选用方案2

lewis referenced this issue 1 year ago

为智算网络用户提供上传工具 #2726

用户只需执行一条命令即可上传文件或者文件夹：
1、npu
os.system("cd /cache/script_for_grampus/ &&./uploader_for_npu " + "文件或文件夹绝对路径")
2、gpu
os.system("cd /tmp/script_for_grampus/ &&./uploader_for_gpu " + "文件或文件夹绝对路径")