openi平台轻松创建训练任务(启智&智算)(新手向)
发布网友
发布时间：2024-09-07 07:01
共1个回答
热心网友
时间：2024-09-29 09:03
为了便于管理，我们推荐使用`moxing_adapter.py`脚本来同步数据，这就像一个数据处理的桥梁，连接本地与云端。同时，一个集中式配置文件`config.py`是不可或缺的，利用`easydict`库可以轻松管理训练参数，随时调整而无需改动多处代码。
在配置方面，IS_MODELART参数用于识别本地与平台环境，CACHE_INPUT和CACHE_OUTPUT用于存放数据集和模型。为了优化资源利用，我们可以为启智集群（qizhi_train.py）和智算集群（zhisuan_train.py）创建单独的文件，避免资源竞争。
在启智训练任务中，`qizhi_train.py`通过`--data_url`指向数据集位置，设备目标`--device_target`默认为Ascend。数据同步是通过`moxing_adapter.py`实现的，数据首先被下载到`config.MODELARTS.CACHE_INPUT`。
训练过程中，初始化数据和模型目录，数据加载路径设置为`CACHE_INPUT`，训练结束后，模型文件将存储在`CACHE_OUTPUT`。注意，MindSpore中保存模型时，应明确指定`save_checkpoint(net, config.MODELARTS.CACHE_OUTPUT+"/trained_model_param.ckpt")`，以`net`形式保存，而非`net_with_loss`或`model`。
对于智算集群，创建训练任务文件，通过`--train_url`指定训练输出路径。在启动文件开头，明确数据集位置和设备目标，确保流程清晰。
数据处理环节尤为关键，通过`moxing_adapter.py`下载并解压数据集，其工作流程就像一个隐形的助手，确保数据在本地和云端的高效流动。训练时，数据的起点和终点都被精确地指向CACHE_INPUT和CACHE_OUTPUT。
总之，OpenI平台的训练任务设计既直观又高效，通过精心配置和管理，无论是启智还是智算，都能轻松实现模型的训练和优化。每个步骤都紧密相连，确保了训练的顺利进行和结果的准确性。
