0 / 0
Go back to the English version of the documentation
项目中 Data Refinery 的计算资源选项
Last updated: 2024年11月21日
项目中 Data Refinery 的计算资源选项

在项目中创建或编辑 Data Refinery 流时,使用 Default Data Refinery XS 运行时环境。 但是,在作业中运行 Data Refinery 流时,请为运行时环境选择环境模板。 环境模板指定硬件配置的类型,大小和功率以及软件模板。

环境类型

您可以将这些类型的环境与 Data Refinery 配合使用:

  • 用于在小型数据集上运行作业的 Default Data Refinery XS 运行时环境。
  • Spark 环境,用于针对较大数据集运行作业。 Spark 环境具有 缺省环境模板 ,因此您可以快速入门。 否则,您可以为 Spark 环境 创建定制环境模板 。 You should use a Spark & R environment only if you are working on a large data set. 如果数据集较小,应该选择 Default Data Refinery XS 运行时。 The reason is that, although the SparkR cluster in a Spark & R environment is fast and powerful, it requires time to create, which is noticeable when you run a Data Refinery job on small data set.

缺省环境模板

在 Data Refinery中工作时, Default Data Refinery XS 环境运行时将启动,并在项目的 管理 选项卡的 环境 页面上的 工具运行时 下显示为活动运行时。 此运行时在 Data Refinery 界面中保持一个小时的不活动状态后将停止。 但是,您可以在 " 环境 " 页面上的 工具运行时 下手动将其停止。

创建作业以在项目中运行 Data Refinery 流时,请选择环境模板。 作业的运行时启动后,会在项目的 管理 选项卡上的 " 环境 " 页面上的 工具运行时 下列示为活动运行时。 当 Data Refinery 作业停止运行时,作业的运行时将停止。

计算使用量按容量单位小时数 (CUH) 进行跟踪。

Data Refinery 项目中可用的预设环境模板
名称 硬件配置 每小时容量单位 (CUH)
Default Data Refinery XS 3 个 vCPU 和 12 GB RAM 1.5
Default Spark 3.4 & R 4.2 2 每个执行程序: 1 vCPU 和 4 GB RAM;
驱动程序: 1 vCPU 和 4 GB RAM
1.5
Default Spark 3.3 & R 4.2
Deprecated
2 每个执行程序: 1 vCPU 和 4 GB RAM;
驱动程序: 1 vCPU 和 4 GB RAM
1.5
注意: Notebooks 中的 Spark 3.3 和 JupyterLab 已被弃用。 虽然您仍然可以使用 Spark 3.3 来运行您的笔记本和脚本,但请考虑迁移到 Spark 3.4 。

Data Refinery 的所有缺省环境模板都支持 HIPAA。

Spark 缺省环境模板列示在项目的 " 管理 " 选项卡上 " 环境 " 页面上的 模板 下。

项目中的计算使用情况

watsonx.aiStudio 和IBM Knowledge Catalog 都提供了Data Refinery功能。 但是,如果您同时具有这两个服务,那么可用于在 Data Refinery 中工作和在项目中运行 Data Refinery 流的作业的计算资源不会累积。 您使用优先顺序级别最高的套餐的 CUH:

  1. Enterprise 或 Professional
  2. 标准
  3. 精简版 (Lite)

例如,如果您拥有watsonx.aiStudio Lite 计划和IBM Knowledge CatalogProfessional 计划,您就可以使用IBM Knowledge CatalogCUH。

如果两种服务的计划级别相同,则使用watsonx.aiStudio 的 CUH。 例如,如果您拥有watsonx.aiStudio Lite 计划和IBM Knowledge CatalogLite 计划,您最多只能使用watsonx.aiStudio CUH。 您不能切换到使用 IBM Knowledge Catalog CUH。

您可以在项目 "管理"(Manage)选项卡上的 "资源使用"(Resource usage)页面监控watsonx.aiStudio的CUH消耗情况。

您无法监控 IBM Knowledge Catalog CUH 的消耗。

更改运行时

无法更改运行时以在 Data Refinery中工作。

您可以通过编辑作业模板来更改 Data Refinery 流作业的运行时。 请参阅在 Data Refinery 中创建作业

作业的运行时日志

要查看 Data Refinery 作业的累积日志,请执行以下操作:

  1. 从项目的 " 作业 " 页面中,单击运行要查看其日志的 Data Refinery 流的作业。
  2. 单击作业运行。 您可以查看日志尾或下载完整日志文件。

后续步骤

了解更多信息

父主题: 选择工具的计算资源

Generative AI search and answer
These answers are generated by a large language model in watsonx.ai based on content from the product documentation. Learn more