关于GCU、沐曦GPGPU、MLU、0卡V100资源4月7日恢复上架的公告>>> 关于共建具身智能开源数据集的倡议>>> 关于云脑任务中统一路径访问方式的公告>>> 关于将启智集群GPU资源迁移至智算集群的公告>>>
zeizei
/
OpenI_Learning
Not watched
58
203
Fork 205
Code
Releases 0 Wiki Activity
Issues 292 Pull Requests 0 Datasets Model Cloudbrain
Issues
/
Detail
Labels Milestones
New Issue

#1092 智算 NPU 训练过程中出现无名报错

Closed
created 9 months ago by lld2002 · 14 comments
lld2002 commented 9 months ago

问题描述

智算 NPU 训练过程中出现无名报错，结果文件也一直加载不了

level=error msg="the value -1 of the variable training-return-code is invalid, error: the range of Linux return code is between 0~255" file="cli.go:60"

相关环境（GPU/NPU）

NPU

相关集群（启智/智算）

智算

任务类型（调试/训练/推理）

训练

任务名

lld20202307141521157

日志说明或问题截图

image

image

期望的解决方案或建议

<!-- 为了更有效地识别与解决您的问题，请尽可能的补充如下信息 --> ### 问题描述 智算 NPU 训练过程中出现无名报错，结果文件也一直加载不了 level=error msg="the value -1 of the variable training-return-code is invalid, error: the range of Linux return code is between 0~255" file="cli.go:60" ### 相关环境（GPU/NPU） NPU ### 相关集群（启智/智算） 智算 ### 任务类型（调试/训练/推理） 训练 ### 任务名 lld20202307141521157 ### 日志说明或问题截图 ![image](/attachments/25e1ca4a-31aa-477f-9cef-96610602d8d2) ![image](/attachments/b0fb33d1-98f3-4419-8c8a-ac4dc4097205) ### 期望的解决方案或建议
image.png
1.1 MiB
image.png
506 KiB
pwkQiZhi commented 9 months ago

请问问题解决了吗

请问问题解决了吗
lld2002 commented 9 months ago
Poster

请问问题解决了吗

还没有，初步怀疑是日志文件过大导致，我已经降低日志频率，等到今天下午5点就应该知道结果

已经训练两次，都是在8个多小时的时间上报同一的错误

> 请问问题解决了吗 还没有，初步怀疑是日志文件过大导致，我已经降低日志频率，等到今天下午5点就应该知道结果 已经训练两次，都是在8个多小时的时间上报同一的错误
liuzx added the
bug
label 9 months ago
liuzx commented 9 months ago
Collaborator

该任务已被删除，请问是已经解决问题了吗？若已被解决，麻烦在这个isuue回复下是如何解决的，对之后使用的人提供经验，谢谢。

该任务已被删除，请问是已经解决问题了吗？若已被解决，麻烦在这个isuue回复下是如何解决的，对之后使用的人提供经验，谢谢。
liuzx removed the
bug
label 9 months ago
lld2002 commented 9 months ago
Poster

该任务已被删除，请问是已经解决问题了吗？若已被解决，麻烦在这个isuue回复下是如何解决的，对之后使用的人提供经验，谢谢。

未解决，训练3次，都是在8个多小时的时候，无名错误退出
我不小心删除了任务，但错误是可以重现的

> 该任务已被删除，请问是已经解决问题了吗？若已被解决，麻烦在这个isuue回复下是如何解决的，对之后使用的人提供经验，谢谢。 未解决，训练3次，都是在8个多小时的时候，无名错误退出 我不小心删除了任务，但错误是可以重现的
lld2002 commented 9 months ago
Poster

我重跑训练后，如果再出现错误，我会把任务号，再贴出来

我重跑训练后，如果再出现错误，我会把任务号，再贴出来
pwkQiZhi commented 9 months ago

请问问题有出现过吗

请问问题有出现过吗
lld2002 commented 9 months ago
Poster

每次都出现，lld20202307191449657这个任务是昨天失败的
发现是内存泄露问题，我这两天抽时间在调试环境分析一下内存，看一下我们的代码是否存在内存泄露的问题

每次都出现，lld20202307191449657这个任务是昨天失败的 发现是内存泄露问题，我这两天抽时间在调试环境分析一下内存，看一下我们的代码是否存在内存泄露的问题
lld2002 commented 9 months ago
Poster

image

![image](/attachments/e37c3ccf-34c0-439e-906e-31da16f7bfd6)
image.png
663 KiB
lld2002 commented 9 months ago
Poster

训练环境训练时，内存线性上升，我把代码同步到调试环境，调试环境的内存没有变化。可帮忙再训练环境检查一下这个内存泄露的问题吗？
任务号：lld20202307191449657

image
image
image
image

训练环境训练时，内存线性上升，我把代码同步到调试环境，调试环境的内存没有变化。可帮忙再训练环境检查一下这个内存泄露的问题吗？ 任务号：lld20202307191449657 ![image]() ![image]() ![image]() ![image]()
image.png
10 MiB
image.png
945 KiB
image.png
2.5 MiB
image.png
2.3 MiB
lld2002 commented 9 months ago
Poster

请问问题有出现过吗

可以帮忙看看这个内存泄露的问题吗？

> 请问问题有出现过吗 可以帮忙看看这个内存泄露的问题吗？
pwkQiZhi commented 9 months ago

抱歉啊，我目前还没有出现过类似问题，我以为已经解决了，准备过来看看解决办法是什么

请问问题有出现过吗

可以帮忙看看这个内存泄露的问题吗？

抱歉啊，我目前还没有出现过类似问题，我以为已经解决了，准备过来看看解决办法是什么 > > 请问问题有出现过吗 > > 可以帮忙看看这个内存泄露的问题吗？
lld2002 commented 8 months ago
Poster

抱歉啊，我目前还没有出现过类似问题，我以为已经解决了，准备过来看看解决办法是什么

请问问题有出现过吗

可以帮忙看看这个内存泄露的问题吗？

内存泄露问题解决了，但确切原因未明，但应该和mindnlp._legacy.amp.auto_mixed_precision函数有关
应该属于 mindnlp 的 bug

image
image

> 抱歉啊，我目前还没有出现过类似问题，我以为已经解决了，准备过来看看解决办法是什么 > > > > 请问问题有出现过吗 > > > > 可以帮忙看看这个内存泄露的问题吗？ > > 内存泄露问题解决了，但确切原因未明，但应该和mindnlp._legacy.amp.auto_mixed_precision函数有关 应该属于 mindnlp 的 bug ![image]() ![image]()
image.png
297 KiB
lld2002 commented 8 months ago
Poster

image

![image](/attachments/54322be0-cae2-4d19-a71f-d875093c90fa)
image.png
849 KiB
lld2002 commented 8 months ago
Poster
https://openi.pcl.ac.cn/attachments/2b628ffe-aadd-4576-8aeb-319ff2862f20?type=0![image](/attachments/066dadea-adb4-4f0d-a9c0-69c146eb6b01)
image.png
297 KiB
lld2002 closed this issue 8 months ago
Sign in to join this conversation.
No Branch/Tag Specified
Clear branch or tag
Branches Tags
Labels
Apply labels
Clear labels
bug
Something is not working dataset
数据集已通过 duplicate
This issue or pull request already exists enhancement
New feature help wanted
Need some help invalid
Something is wrong need review question
More information is needed test wontfix
This won't be fixed 大神经验分享
被平台采纳的用户分享经验贴 开发中
正在开发进行中 待完善
项目待完善后可加分 待确认 评审中 趣开源
精选项目标签 面向社区开发者
No Label
bug
dataset
duplicate
enhancement
help wanted
invalid
need review
question
test
wontfix
大神经验分享
开发中
待完善
待确认
评审中
趣开源
面向社区开发者
Milestone
Set milestone
Clear milestone
No items
No Milestone
Assignees
Assign users
Clear assignees
No Assignees
3 Participants
Notifications
Due Date

No due date set.

Dependencies

This issue currently doesn't have any dependencies.

Write Preview
Loading…
Cancel
Save
There is no content yet.
Delete Branch '%!s(MISSING)'

Deleting a branch is permanent. It CANNOT be undone. Continue?

No
Yes
Please read the following content carefully:

Dear OpenI User

Thank you for your continuous support to the Openl Qizhi Community AI Collaboration Platform. In order to protect your usage rights and ensure network security, we updated the Openl Qizhi Community AI Collaboration Platform Usage Agreement in January 2024. The updated agreement specifies that users are prohibited from using intranet penetration tools. After you click "Agree and continue", you can continue to use our services. Thank you for your cooperation and understanding.

For more agreement content, please refer to the《Openl Qizhi Community AI Collaboration Platform Usage Agreement》

Agree and continue
Disagree, exit