MSAdapterModelZoo/tools

• quick start
• • pth2ckpt
  • convert_tensor

quick start

pth2ckpt

pth2ckpt.py文件中的pth2ckpt接口可以将Torch的权重文件转换为MindSpore的权重文件。使用方法如下：

from pth2ckpt import pth2ckpt

path = './xx.pth'
pth2ckpt(path)
# "convert ckpt finish."

convert_tensor

convert_tensor.py文件中的convert_to_ms_tensor方法是过渡阶段的Tensor转换接口。该接口用于将torch.utils.data.DataLoader迭代输出的数据转换成为MindSpore框架张量数据。

在过渡阶段数据预处理和数据集相关接口和过程均使用torch原生接口，导入的包使用torch以及torchvision。为了避免导入包之间冲突请务必保证文件结构如下：

   folder/
    └── dataset_and_dataloader.py
    └── model_and_train.py

其中dataset_and_dataloader.py文件中编写数据预处理操作以及数据集处理，此时可以导入torch包进行处理。

from torch.utils.data.dataset import Dataset
from torch.utils.data.dataloader import DataLoader


dataset = make_dataset ...
train_dataloader = DataLoader(dataset)...

model_and_train.py文件中编写模型文件和训练过程，此时可以导入MSAdapter包进行处理。

该接口对迭代数据进行转换：

from ms_adapter.pytorch.utils.data import convert_to_ms_tensor
from dataset_and_dataloader import train_dataloader, test_dataloader

for x, y in train_dataloader:
    x = convert_to_ms_tensor(x)
    y = convert_to_ms_tensor(y)
    model_train... or model_inference...