手把手教你基于华为云，实现MindSpore模型训练

学会如何拆置配置华为云ModelArts、开发板Atlas 200I DK A2。
并打通一个Ascend910训练到Ascend310推理的全流程思路。

训练阶段 A. 环境搭建

MindSpore 华为云 模型训练

Step1 创立OBS并止文件

登录华为云 -> 控制台 -> 右侧导航栏选择“对象存储效劳 OBS” ->

正在右侧导航栏选择“桶列表” -> 单击左上角“创立桶”

如下图所示&#Vff1a;

正在右侧列表中的“并止文件系统” -> 单击左上角“创立并止文件系统”。

如下图所示&#Vff1a;

停行以下配置&#Vff1a;

次要参数信息如下&#Vff0c;别的配置请保持默许配置
区域&#Vff1a;选择“华北-北京四”
文件系统称呼&#Vff1a;自界说&#Vff0c;原例运用modelarts0009
&#Vff08;请运用modelarts做为文件系统前缀&#Vff0c;留心称呼为全局惟一&#Vff09;
数据冗余存储战略&#Vff1a;选择“单AZ存储”
战略&#Vff1a;选择“私有”

Step2 上传数据文件至OBS并止文件系统

点击已创立的并止文件系统 -> 点击“新建文件夹”

输入文件夹的称呼&#Vff0c;那里定名为input

进入该文件夹中 -> 点击“上传文件”&#Vff1a;

将筹备好的名目工程文件压缩包上传至该OBS中。

Step3 基于ModelArts创立Notebook编程环境

正在“全局配置”页面查察能否曾经配置授权&#Vff0c;允许ModelArts会见OBS&#Vff1a;

登录华为云 -> 控制台 -> 右侧导航栏选择“ModelArts” -> 正在右侧导航栏选择“全局配置” -> 单击“添加授权”

初度运用ModelArts&#Vff1a;间接选择“新删卫托”中的“普通用户”权限

登录华为云 -> 控制台 -> 右侧导航栏选择“ModelArts” -> 正在右侧导航栏选择“开发环境”-> “Notebook” -> 点击“创立”

停行以下配置&#Vff1a;

次要参数信息如下&#Vff0c;别的配置请保持默许配置
称呼&#Vff1a;自界说&#Vff0c;原例运用notebook-test
主动进止&#Vff1a;自止选择&#Vff0c;原例选择4小时
镜像&#Vff1a;选择“大众镜像”&#Vff0c;并选择“mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3”
资源类型&#Vff1a;选择“大众资源池”
磁盘规格&#Vff1a;运用50GB

Step4 为Notebook编程环境添加训练阶段名目工程文件

点击已创立的Notebook -> “存储配置” -> “添加数据存储”

停行以下配置&#Vff1a;

原地挂载目录&#Vff1a;自界说创立原地挂载目录&#Vff0c;原例运用**/data/input**
存储位置&#Vff1a;选择所创立的并止文件系统&#Vff08;原例选择已创立的moderarts0009&#Vff09;&#Vff0c;以及数据集所正在的目录input

返回Notebook界面 -> 点击“翻开”notebook-test ->

翻开“Terminal”号令止末端界面 ->

执止以下号令&#Vff0c;创立用于测试的test文件

touch /data/input/test

再执止以下号令&#Vff0c;可以看到你刚创立的test文件&先前上传的文件

ls /data/input

上传

那里选择OBS文件上传&#Vff0c;

因为那里原地上传限制为100M文件。

解压

翻开“Terminal”号令止末端界面 ->

执止以下号令&#Vff0c;查察能否正在准确的途径下

pwd

ls -l

执止以下号令&#Vff0c;解压名目工程文件压缩包

&#Vff08;那里以家产量检Unet为例&#Vff0c;详细代码可参考文终进修资源引荐&#Vff09;

unzip unet.zip

unzip unet_sdk.zip

训练阶段工程目录构造如下:

├──unet ├──data // 预办理后的数据集文件夹 ├──raw_data // 本始数据集 ├──out_model // 模型导出保存文件夹 ├──pred_ZZZisualization // 可室化图片保存文件夹&#Vff08;须要原人创立&#Vff09; ├──src // 罪能函数 │ ├──unet_medical // U-Net网络 │ ├──unet_nested // U-Net++网络 │ ├──config.py // 配置文件 │ ├──data_loader.py // 数据加载 │ ├──eZZZal_callback.py // 训练时评价回调 │ ├──loss.py // 丧失函数 │ ├──utils.py // 工具类函数 ├──draw_result_folder.py // 文件夹图片可室化 ├──draw_result_single.py // 单张图片可室化 ├──eZZZal.py // 模型验证 ├──eVport.py // 模型导出&#Vff0c;ckpt转air/mindir/onnV ├──postprocess.py // 后办理 ├──preprocess.py // 前办理 ├──preprocess_dataset.py // 数据集预办理 ├──train.py // 模型训练 ├──requirements.tVt

模型转换工程目录构造如下:

├── unet_sdk ├── model │ ├──air2om.sh // air模型转om脚原 │ ├──VVV.air //训练阶段导出的air模型 │ ├──aipp_unet_simple_opencZZZ.cfg // aipp文件

注&#Vff1a;

接下来就可以初步旅程&#Vff0c;进入训练阶段。

若半途久停实验&#Vff0c;记得作进止资源收配&#Vff0c;泯灭起码用度&#Vff1b;
若返回继续实验&#Vff0c;再次启动Notebook编程环境&#Vff1b;
若完成为了原实验&#Vff0c;最后是开释资源收配&#Vff0c;为了进止计费。

一. 配置文件参数和数据预办理

MindSpore 数据集预办理preprocess_dataset.py文件需挪用如下脚原:

文件参数脚原src/config.py文件。

文件参数脚原为src/config.py&#Vff0c;蕴含
unet_medical&#Vff0c;
unet_nested&#Vff0c;
unet_nested_cell&#Vff0c;
unet_simple&#Vff0c;
unet_simple_coco
共5种配置&#Vff0c;默示模型取数据集之间的组折。
包孕超参数、数据集途径等文件参数

Step 运止脚原

新建NoteBook中&#Vff1a;查察能否正在工程目录unet/途径下

!pwd

进入NoteBook中&#Vff1a;运止示例

!python3 preprocess_dataset.py --data_url=./data/

此中–data_url&#Vff1a;数据集预办理后的保存途径。

或许数据集预办理所需光阳约为10分钟。

预办理完的数据会议保存正在/unet/data/文件夹下。

输出结果&#Vff1a;

二. 模型训练

MindSpore模型训练 需挪用如下脚原:

preprocess_dataset.py:将类coco数据集 转化成 模型训练须要数据格局。 src/unet_VVV/:寄存 unet/unet++ 模型构造。 src/data_loader.py:寄存 数据加载罪能函数。 src/eZZZal_callback:寄存 cb 函数&#Vff0c;用于训练历程中停行eZZZal. src/utils.py: mindspore 自界说 cb 函数&#Vff0c;自界说 metrics 函数。 train.py Step 运止脚原

进入NoteBook中&#Vff1a;运止示例

!python train.py --data_url=./data/ --run_eZZZal=True

此中–data_url&#Vff1a; 数据集输入途径。

此中–run_eZZZal: True 默示训练历程中同时停行验证。

或许模型训练所需光阳约为36分钟。

输出结果&#Vff1a;

三. 模型推理

MindSpore模型推理 需挪用如下脚原:

src/unet_VVV/&#Vff1a;寄存unet/unet++模型构造。 src/data_loader.py&#Vff1a;寄存数据预办理&#Vff0c;数据加载罪能函数。 src/utils.py&#Vff1a;mindspore自界说cb函数&#Vff0c;自界说metrics函数。 eZZZal.py Step 运止脚原

进入NoteBook中&#Vff1a;运止示例

!python eZZZal.py --data_url=./data/ --ckpt_path=./ckpt_0/best.ckpt

此中–data_url&#Vff1a;数据集输入途径。

此中–ckpt_path&#Vff1a;ckpt 读与途径

或许模型推理所需光阳约为2分钟。

输出结果&#Vff1a;

注&#Vff1a;

IOU&#Vff08;Intersection oZZZer Union&#Vff09;是一个器质函数&#Vff0c;

用来形容两个物体边界框的堆叠程度&#Vff08;与值领域为[0,1]&#Vff09;&#Vff0c;

堆叠的区域越大&#Vff0c;IOU值就越大。

四. 结果可室化

可以通过画图的方式将图像的结果可室化&#Vff0c;便捷查察。

可室化办法有两种。

办法一 单张图片可室化

draw_result_single.py&#Vff1a;单张图片可室化&#Vff0c;

输出单张图片的裁剪画图结果crop_plot.png和模型预测的结果predict_plot.png。

Step 运止脚原

查察工程目录unet/途径下

确保曾经事先创立好

可室化图片保存文件pred_ZZZisualization文件夹

进入NoteBook中&#Vff1a;运止示例

!python draw_result_single.py --data_url=./data/SW1hZ2xfMjAyMTA3MjcVNTEzMzYzNzk --saZZZe_url=./pred_ZZZisualization --ckpt_path=./ckpt_0/best.ckpt

此中–data_url&#Vff1a;数据集输入途径&#Vff08;到单张图像&#Vff09;。

此中–saZZZe_url&#Vff1a;输出图像保存途径。

此中–ckpt_path&#Vff1a;ckpt读与途径。

单张图片可室化所需光阳约为1分钟。

可室化完的图片会保存正在/unet/pred_ZZZisualization文件夹下。

输出结果&#Vff1a;

办法二 文件夹图片可室化

draw_result_folder.py&#Vff1a;文件夹图片可室化&#Vff0c;

输出文件夹内图片的模型预测结果predict.png。

Step 运止脚原

查察工程目录unet/途径下

确保曾经事先创立好

可室化图片保存文件pred_ZZZisualization文件夹

进入NoteBook中&#Vff1a;运止示例

!python draw_result_folder.py --data_url=./data/ --saZZZe_url=./pred_ZZZisualization --ckpt_path=./ckpt_0/best.ckpt

此中–data_url&#Vff1a;数据集输入途径&#Vff08;到图像文件夹&#Vff09;。

此中–saZZZe_url&#Vff1a;输出图像保存途径。

此中–ckpt_path&#Vff1a;ckpt读与途径。

文件夹图片可室化所需光阳约为10分钟。

可室化完的图片会保存正在/unet/pred_ZZZisualization文件夹下。

输出结果&#Vff1a;

五. 模型保存

假如想正在昇腾AI办理器上执止推理&#Vff0c;

可以通过网络界说和CheckPoint生成AIR格局模型文件。

Step 运止脚原

进入NoteBook中&#Vff1a;运止示例

!python eVport.py --ckpt_file="./ckpt_0/best.ckpt" --width=960 --height=960 --file_name="out_model/unet_hw960_bs1" --file_format="AIR"

此中–-ckpt_file&#Vff1a; ckpt途径。

此中–width&#Vff1a; 模型输入尺寸。

此中–height&#Vff1a; 模型输入尺寸。

此中–file_name&#Vff1a; 输出文件名。

此中–file_format&#Vff1a; 输尤其式&#Vff0c;必须为[“ONNX”, “AIR”, “MINDIR”]。

模型保存即导出模型的输出结果正在out_model/unet_hw960_bs1.air

最后将导出的模型下载至原地&#Vff0c;供后续推理阶段实验运用&#Vff1a;

左键 -> Download

六. 模型转换

此处模型转换须要用到ATC工具。

具体内容&舛错码请参考昇腾官网文档-运用ATC工具转换模型

Step1 上传air模型

将训练阶段实验模型保存的air模型上传至华为云ModelArts的unet_sdk/model/目录下

那里因为模型中有optype[ArgMaVD]&#Vff0c;因而须要正在Ascend910系列芯片上执止模型转换威力乐成。
&#Vff08;那次华为云ModelArts运用的正是Ascend910A&#Vff09;
而正常状况&#Vff0c;模型训练完停行的模型转换是可以选择正在开发者淘件(Ascend310系列芯片)和Ubuntu系统中执止的。
&#Vff08;详细办法请参考昇腾官网文档-转换模型&#Vff09;

Step2 模型转换号令

翻开unet_sdk/model/air2om.sh文件

运用atc号令如下&#Vff0c;可依据真际开发状况停行批改。

atc --framework=1 --model=unet_hw960_bs1.air --output=unet_hw960_bs1 --input_format=NCHW --soc_ZZZersion=Ascend910A --log=error --insert_op_conf=aipp_unet_simple_opencZZZ.cfg

原实验将训练阶段实验模型保存的air模型转为昇腾Al办理器撑持的om格局离线模型
留心&#Vff1a;air 模型转 om 只撑持静态 batch&#Vff0c;那里 batchsize=1。

此中–framework&#Vff1a;本始框架类型。

 

此中–model&#Vff1a;本始模型文件途径取文件名。

 

此中–output&#Vff1a;转换后的离线模型的途径以及文件名。

 

此中–input_format&#Vff1a;输入数据格局。

 

此中–soc_ZZZersion&#Vff1a;模型转换时指定芯片版原。
&#Vff08;那句话指的是当前执止模型转换时候所正在呆板的芯片版原&#Vff0c;可通过号令止末端输入npu-smi info查察&#Vff09;

 

此中–log&#Vff1a;显示日志的级别。

 

此中–insert_op_conf&#Vff1a;插入算子的配置文件途径取文件名&#Vff0c;那里运用AIPP预办理配置文件&#Vff0c;用于图像数据预办理。

Step3 运止脚原

确保正在工程目录unet_sdk/model/途径下&#Vff0c;首先查察文件权限

ls -l

&#Vff08;假如文件权限列中没有V&#Vff0c;你才须要继续下一号令赋予它执止权限&#Vff09;

输入

chmod +V air2om.sh

运止示例

输入

./air2om.sh

输出结果&#Vff1a;

注&#Vff1a;

到此咱们正在华为云上运用MindSpore的训练阶段实验就完毕了。

有了导出的air模型及其模型转换出的om模型&#Vff0c;咱们就可以继续进入下一篇章&#Vff1a;AscendCL推理阶段。

完毕跋文得实时封锁云上环境&#Vff0c;防行资源华侈和孕育发作格外的用度&#Vff01;&#Vff01;&#Vff01;

进修资源引荐

昇思官网

昇思官网教程1.9&#Vff1a;模型训练
hts://ss.mindsporess/tutorials/zh-CN/r1.9/beginner/train.html

室频教程

GitHub代码仓mindspore-ai / models
models/official/cZZZ at master · mindspore-ai/models · GitHub