Decision Optimization使用 "watsonx.ai运行时间异步应用程序接口,以便并行运行作业。
要解决问题,您可以从模型部署创建新作业并将数据与其关联。 请参阅 部署步骤 和 REST API 示例。 部署模型不会向您收费。 根据运行时间,仅对具有某些数据的模型进行求解。
要一次解析多个作业,请在创建部署时指定多个节点。 例如,在此 REST API 示例中,通过更改节点属性 "nodes" : 1
的值来递增 节点数 。
POD(节点)
创建和提交作业时,处理方式取决于watsonx.aiRuntime实例的当前配置和正在运行的作业。 下图中显示了此过程。
- 将新作业发送到队列。
- 如果 POD 已启动但处于空闲状态 (未运行作业) ,那么它将立即开始处理此作业。
- 否则,如果未达到最大节点数,那么将启动新的 POD。 (启动 POD 可能需要几秒钟)。 然后,将该作业分配给此新 POD 以进行处理。
- 否则,作业将在队列中等待,直到其中一个正在运行的 POD 已完成,并且可以选取正在等待的作业。
每个大小的 POD 配置如下所示:
定义 | 名称 | 描述 |
---|---|---|
2 vCPU 和 8 GB | S | 小 |
4 vCPU 和 16 GB | M | 中 |
8 vCPU 和 32 GB | L | 大 |
16 个 vCPU 和 64 GB | XL | 特大 |
对于所有配置,保留 1 个 vCPU 和 512 MB 以供内部使用。
除了求解时间外,定价还取决于通过乘数选择的大小。
在部署配置中,还可以设置要使用的最大节点数。
在超时后,空闲 POD 将自动停止。 如果在没有 POD 启动时提交新作业,那么 POD 重新启动需要一些时间 (大约 30 秒)。
基于运行时的定价 (CUH)
仅对作业求解时间收费: POD 的空闲时间 不 收费。
根据所使用 POD 的大小,将使用不同的乘数来计算所使用的容量单位小时数 (CUH)。
REST API 示例
有关部署模型的完整过程以及指向 Swagger 文档的链接,请参阅 REST API 示例。
Python API 示例
除了 REST API 之外,watsonx.aiRuntime还提供了PythonAPI,这样您就可以通过Python"notebook轻松创建、部署和使用Decision Optimization模型。
有关更多信息,请参阅 Python 客户机示例。
描述和记录所有步骤的示例 notebook 可从 资源中心获取。