git clone开启云上AI开发( 二 )


import moxing as moxmox.file.copy_parallel({obs_path},{notebook_path})说明:
{obs_path}为OBS存储数据集的位置{notebook_path}为数据集在notebook中的存储路径

git clone开启云上AI开发

文章插图
3)下载DINO 模型 checkpoint “checkpoint0011_4scale.pth”,下载完成后 , 返回Notebook页面 , 在DINO页面 , 创建文件夹ckpts,用于存放下载的checkpoint 。
git clone开启云上AI开发

文章插图
进入文件夹,点击任务栏上方”上传“按钮,选择下载完成的checkpoint 路径,文件大小超过100MB,需选择OBS中转,等待数据上传完毕,如下图所示:
git clone开启云上AI开发

文章插图
3.运行代码
1)执行下面的命令,评估预训练模型,你可以期待得到最终的AP大约49.0 。
bash scripts/DINO_eval.sh /path/to/your/COCODIR /path/to/your/checkpoint说明:
/path/to/your/COCODIR 为Notebook数据集的存储路径/path/to/your/checkpoint 为Notebookcheckpoint存储路径
如下图所示:
git clone开启云上AI开发

文章插图
整个过程约等待13分钟左右,运行结果如下:
git clone开启云上AI开发

文章插图
2)推理及可视化
打开DINO目录下的inference_and_visualization.ipynb,选择Kernel Pytorch-1.8,如下图所示:
git clone开启云上AI开发

文章插图
修改代码:
...model_checkpoint_path = "ckpts/checkpoint0011_4scale.pth"# 修改checkpoint路径...args.coco_path = "../dataset"# 修改coco数据集路径运行代码查看推理结果 。
git clone开启云上AI开发

文章插图
步骤二 运行训练作业1.保存镜像
1)返回ModelArts管理控制台,在左侧菜单栏中选择**“开发环境 > Notebook”**,进入新版Notebook管理页面 。在Notebook列表中,点击名称进入创建的Notebook详情页
git clone开启云上AI开发

文章插图
2)点击右侧“更多”,选择“保存镜像”
git clone开启云上AI开发

文章插图
3)在保存镜像对话框中,设置组织、镜像名称、镜像版本和描述信息 。单击“确认”保存镜像 。
git clone开启云上AI开发

文章插图
在“组织”下拉框中选择一个组织 。如果没有组织,可以单击右侧的“立即创建” , 创建一个组织 。创建组织的详细操作请参见创建组织 。
同一个组织内的用户可以共享使用该组织内的所有镜像 。
4)镜像会以快照的形式保存 , 保存过程约5分钟,请耐心等待 。此时不可再操作实例(对于打开的JupyterLab界面和本地IDE 仍可操作) 。
5)镜像保存成功后,实例状态变为**“运行中”**,用户可在“镜像管理”页面查看到该镜像详情 。
6)单击镜像的名称 , 进入镜像详情页,可以查看镜像版本/ID,状态,资源类型 , 镜像大小,SWR地址等 。
7)还可在左侧菜单栏中选择**“镜像管理”**,查看镜像列表及详情 , 如下图所示:
git clone开启云上AI开发

文章插图
2.上传训练代码
返回Notebook页面,在新建的ipynb中输入以下代码,完成代码上传至OBS桶中
mox.file.copy_parallel("./DINO/","obs://dino-coco/DINO")如下图所示:
git clone开启云上AI开发

文章插图
3.创建训练作业
1)在左侧菜单栏中选择**“训练管理 > 训练作业”**,点击右上角“创建训练作业” , 如下图所示:
git clone开启云上AI开发

文章插图
2)参数配置
创建方式:自定义算法
启动方式:自定义,选择已保存镜像
启动命令:
cd ${MA_JOB_DIR}/DINO && python main.py -c config/DINO/DINO_4scale.py --options dn_scalar=100 embed_init_tgt=TRUE dn_label_coef=1.0 dn_bbox_coef=1.0 use_ema=False dn_box_noise_scale=1.0训练输入:选择OBS桶内上传代码路径
训练输出:选择创建的OBS桶,点击新建文件夹,创建一个文件夹,用于存放训练输出,如下图所示:

推荐阅读