在训练AutoAI模型、运行机器学习模型或对已部署的模型进行评分时,您需要使用watsonx.aiRuntime 资源,该资源以容量单位小时 (CUH) 为单位。 在使用基础模型运行推理服务时,您需要使用watsonx.aiRuntime 资源(以消耗的代币或小时费率计算)。 本主题描述了您可以选择的各种套餐,包括哪些服务以及计算资源的方式。
Cloud Pak for Data as a Service中的watsonx.ai运行时和watsonx
watsonx.ai运行时计划包括watsonx.ai 的详细信息。 Watsonx.ai 是一个集成工具工作室,用于使用由基础模型和机器学习模型提供支持的生成 AI。 如果您正在使用 Cloud Pak for Data as a Service,那么使用 "资源单元" 处理基础模型和测量提示推断的详细信息不适用于您的套餐。
如果对 watsonx 和 Cloud Pak for Data as a Service都启用了此功能,那么可以在这两个平台之间进行切换。
选择watsonx.ai运行时计划
watsonx.aiRuntime 计划规定了使用watsonx.aiRuntime 训练和部署模型以及使用基础模型提示的计费方式。 根据需求选择套餐:
- Lite 是免费套餐,但容量有限。 如果您正在评估watsonx.aiRuntime 并想试用其功能,请选择此计划。 Lite 套餐不支持在 watsonx上运行基础模型调整试验。
- 基本 是按使用量付费的套餐,使您能够灵活地构建,部署和管理模型以满足自己的需求。
- Standard 是一个高容量企业套餐,旨在支持组织的所有机器学习需求。 以固定费率提供容量单位小时数,而资源单位消耗是现收现付。
如何跟踪资源消耗情况
出于计量和计费目的,机器学习模型和部署或基础模型都是通过这些收费指标来衡量的:
单位小时容量(CUH)指标计算单位小时的资源消耗量,用于使用和计费。 CUH 可测量除基础模型推理之外的所有watsonx.ai运行时活动。
资源单位(RU) 衡量基础模型推理的消耗量。 推断是调用基础模型以生成响应提示的输出的过程。 每个 RU 等于 1,000 个 令牌。 标记是在基本模型提示的输入或输出中使用的基本文本单元 (通常为 4 个字符或 0.75 个字)。
小时费率用于计算您导入watsonx.ai并部署的自定义基础模型的费用。 费率基于配置大小,并在模型部署期间收取。
页费率用于计算文件文本提取的费用。 页面费率按计划设定。
如何衡量资源消耗?
使用容量单位小时 (CUH) 或资源单位 (RU) 度量的资源用于运行资产,而不是用于在工具中工作。 也就是说,在 AutoAI, 中定义实验不收取任何费用,但运行实验以训练实验管道则需要付费。 类似地,创建部署空间或定义部署作业都是免费的,但针对部署资产运行部署作业或推断是收费的。 持续运行的资产,如Jupyter笔记本、RStudio 资产、Bash 脚本和自定义模型部署,只要处于活动状态,就会消耗资源。
watsonx.ai运行时计划详情
Lite 套餐为您提供了足够的免费资源来评估 watsonx.ai的功能。 然后,您可以根据计划功能和容量选择与组织需求匹配的付费套餐。
套餐功能 | 精简版 (Lite) | 基础版 | 标准 |
---|---|---|---|
CUH 中watsonx.ai运行时的使用情况 | 每月 20 个 CUH | 基于 CUH 速率乘以消耗小时数的 CUH 计费 | 每月 2500 CUH |
令牌或资源单元 (RU) 中的基础模型推断 | 每月 50,000 个令牌 | 按使用量计费 (1000 个令牌 = 1 个 RU) | 按使用量计费 (1000 个令牌 = 1 个 RU) |
每个部署的最大并行 Decision Optimization 批处理作业数 | 2 | 5 | 1 |
每个空间保留的部署作业数 | 1 | 1000 | 3000 |
处于空闲状态的部署时间 | 1 天 | 3 天 | 3 天 |
支持 HIPAA | 不适用 | 不适用 | 仅限达拉斯区域 必须在 IBM Cloud 帐户中启用 |
每个计划标识的速率限制 | 每秒 2 个推断请求 | 每秒 8 个推断请求 | 每秒 8 个推断请求 |
支持自定义基础模型 | 不可用 | 不可用 | 按配置以小时计费 |
文件文本提取 | 不可用 | 按页计费 | 按页计费 |
watsonx.ai运行时定价详情
有关计费率和资源消耗计算方法的更多信息,请参阅:
了解更多信息
- 生成式人工智能资产的计费详情
- 机器学习资产的账单详情
- 有关跟踪计算资源分配和消耗的更多信息,请参阅运行时使用。
父主题: watsonx.ai运行时