了解如何使用容量单位小时(CUH)来衡量机器学习资产的使用情况。
watsonx.ai运行时计算使用和定价
watsonx.ai运行时计算使用量是通过活动机器学习实例所消耗的容量单位小时数(CUH)来计算的。 每小时使用的容量单位比率由 Machine Learning 资产和模型的计算需求确定。 例如,相比具有更小、更简单数据集的模型,具有大型、复杂数据集的模型将使用更多的训练资源。 请注意,扩展部署以支持更多并行用户和请求也会增加 CUH 使用量。
适用于所有计划:
- 培训的容量单位小时(CUH)消耗率取决于培训工具、硬件规格和运行环境。
- 部署的容量单位小时 (CUH) 率消耗基于部署类型、硬件规格和软件规格。
- watsonx.aiRuntime 对每个单一部署空间保留的部署作业数量有限制。 如果超出限制,则无法创建新的部署任务,直到删除现有任务或升级计划。 缺省情况下,作业元数据将在 30 天后自动删除。 在创建作业时,您可以覆盖此值。 请参阅管理作业。
- 闲置时间是指在两次评分请求之间,将部署视为激活的时间。 如果部署在给定的持续时间内未收到评分请求,那么会将其视为不活动或空闲,并且对除 SPSS 之外的所有框架都停止计费。
- 计划至少允许规定的费率限额,而实际费率限额可以高于规定的限额。 例如,精简版计划可能每秒处理超过 2 个请求而不会出错。 如果您使用的是付费计划,并且认为自己错误地达到了费率限制,请联系IBM支持部门寻求帮助。
- 计算时间的单位为毫秒。 但是,每个不同操作至少有一分钟。 即,一次耗时 12 秒的训练运行按 1 分钟计入容量单位小时配额, 而一次耗时 83.555 秒的训练运行则完全按照计算结果计费。
- 联机部署使用容量单位的方式取决于框架。 对于某些框架,将按部署资产在部署空间中处于活动状态的小时数对 CUH 收费。 例如,每周 7 天、每天 24 小时不间断运行的在线部署模式下的 SPSS 模型会消耗 CUH,并在该期间内收费。 对于活动的联机部署,没有空闲时间。 对于其他框架,CUH 按评分时间长短收费。 有关如何计算 CUH 的详细信息,请参阅 CUH 使用情况表。
按资产类型分列的中央保健单位消耗率
资产类型 | 容量类型 | 每小时容量单位 |
---|---|---|
AutoAI 试验 | 8 个 vCPU 和 32 GB RAM | 20 |
Decision Optimization培训 | 2vCPU和 8 GB 内存* vCPU和 16 GB 内存 8vCPU和 32 GB 内存* vCPU和 64 GB 内存 |
6 7 9 13 |
Decision Optimization部署 | 2vCPU和 8 GB 内存* vCPU和 16 GB 内存 8vCPU和 32 GB 内存* vCPU和 64 GB 内存 |
30 40 50 60 |
Machine Learning模型 (训练、评估或评分) |
1vCPU和 4 GB 内存* vCPU和 8 GB 内存* vCPU和 16 GB 内存*8vCPU和 32 GB 内存 16vCPU和 64 GB |
0.5 1 2 4 8 |
Tuning Studio" "(仅限watsonx |
NVIDIA A100 80GBGPU | 43 |
CUH 使用情况(按部署和框架类型)
使用以下公式计算 CUH 使用量:
部署类型 | 框架 | CUH 计算 |
---|---|---|
联机 | AutoAI, AI function、人工智能服务、SPSS-Learn 自定义库、Tensorflow、RShiny | 以小时为单位的部署活跃持续时间 * 节点数目 * 针对容量类型框架的 CUH 比率 |
联机 | Spark、PMML、Scikit-Learn、Pytorch、XGBoost | 以小时为单位的持续时间得分 * 节点数目 * 针对容量类型框架的 CUH 比率 |
批处理 | 所有框架 | 以小时为单位的工作持续时间 * 节点数目 * 针对能力类型框架的 CUH 比率 |
例如,考虑运行 15 分钟的Decision Optimization批量部署作业。 资源消耗是这样计算的:2 个节点、2 个vCPU和 8 GB 内存,15 分钟 =0.25小时。 这种组合的结果是 CUH 率为 30,因此作业每次运行消耗0.25* 2 * 30,相当于 15 CUH。
这些表格按使用类型显示了预定义机器学习环境的每小时容量单位计算。
用于模型训练、评估或评分的每小时容量单位
容量类型 | 每小时容量单位 |
---|---|
超小型:1 个vCPU和 4GB 内存 | 0.5 |
小型:2 个vCPU和 8 GB 内存 | 1 |
中型: 4vCPU和 16 GB 内存 | 2 |
大型:8 个vCPU和 32 GB 内存 | 4 |
超大:16vCPU和 64 GB 内存 | 8 |
针对 AutoAI 试验的每小时容量单位
容量类型 | 每小时容量单位 |
---|---|
8 个 vCPU 和 32 GB RAM | 20 |
Decision Optimization实验的每小时容量单位
这些计划适用于在watsonx.aiStudio 中运行的Decision Optimization实验。
容量类型 | 每小时容量单位 |
---|---|
Decision Optimization:2 个 vCPU 和 8 GB RAM | 6 |
Decision Optimization:4 个 vCPU 和 16 GB RAM | 7 |
Decision Optimization:8vCPU和 32 GB 内存 | 9 |
Decision Optimization:16 个 vCPU 和 64 GB RAM | 13 |
watsonx.ai运行时中Decision Optimization每小时容量单位
这些计划适用于从watsonx.aiRuntime 部署和运行的Decision Optimization。
容量类型 | 每小时容量单位 |
---|---|
Decision Optimization:2 个 vCPU 和 8 GB RAM | 30 |
Decision Optimization:4 个 vCPU 和 16 GB RAM | 400 |
Decision Optimization:8vCPU和 32 GB 内存 | 50 |
Decision Optimization:16 个 vCPU 和 64 GB RAM | 60 |
监视资源使用情况
您可以跟踪项目或空间中您拥有或合作的资产的资源使用情况。 如果您是账户所有者或管理员,则可以跟踪整个账户的 CUH。 更多信息,请参阅监控账户资源使用情况。
如果您是IBM Cloud帐户所有者或管理员,或者是watsonx.ai运行时服务所有者,您可以在环境运行时页面上跟踪帐户的运行时使用情况。 更多信息,请参阅监控资源。
在笔记本中跟踪机器学习的 CUH 消耗量
要计算笔记本的容量单位小时数,请使用
CP = client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)
例如:
'capacity_units': {'current': 19773430}
19773430/(3600*1000)
returns 5.49 CUH
有关详细信息,请参阅IBM watsonx.ai运行时 API文档的服务实例部分。
了解更多信息
父主题: watsonx.ai运行时计划