Skip to content

模型推理

在这里您可以将您的模型部署到一站式智算服务平台,进行推理验证以及推理过程数据监控;也可以通过标准OpenAI接口,将模型接入您的应用。 推理任务列表

  • ✅推理模型只需要三步:
第一步:找到自己想要的模型,点击下一步
第二步:选择算力资源,开始推理。
第三步:部署完成,点击测试。

👉创建推理任务


  • ✅ 选择模型

  • 首先进行 “选择模型” 步骤,选定想要部署的模型。 创建推理任务

  • ✅ 选择算力

  • 进入 “选择算力” 环节,当模型过大时,可开启显存虚拟化功能,页面上也显示已开启此功能。同时,能设置资源调度策略,指定实例数等,按照实例数和每个实例所需显存,自动化分配部署节点,还可设置部署实例数。完成这些设置后,可点击 “下一步” 继续后续部署流程。 创建推理任务

  • ✅ 参数设置

  • 在设置推理参数时可选择以下三种推理引擎:vLLM、SGLang、由华为研发的MindIE。 创建推理任务

  • 用户还可选择自定义设置参数,使用自定义镜像进行推理。同时,可选择部署镜像,设置部署参数,完成后可点击 “开始部署”。 创建推理任务

  • ✅ 创建任务 创建任务

  • ✅ 查看日志 查看日志

👉推理测试

推理测试

👉开发接入

推理测试

最后更新于: