了解如何实时或按计划运行管道,以及如何保留管道版本。
可执行以下任务:
运行管道
您可以实时运行管道,以在工作时测试流。 当您对管道感到满意时,可以定义作业以使用参数运行管道或按调度运行。
要运行管道:
- 单击工具栏上的 运行管道 。
- 选择选项:
- 试运行会运行管道,但不创建作业。 使用此选项可测试管道。
- 创建作业为您提供用于配置和调度作业以运行管道的界面。 您可以保存并复用某个管道版本的运行详细信息(如管道参数)。
- 查看历史记录将比较一段时间内您的所有运行。
在运行管道时,必须确保满足需求。 例如,在开始之前,您可能需要部署空间或 API 密钥来运行某些节点。
设置作业运行名称
您可以选择在运行管道流或管道作业时指定作业运行名称,并在 作业详细信息 仪表板中查看不同的作业运行。 否则,还可以将本地参数 DSJobInvocationId
分配给 运行管道作业 节点或 运行 DataStage 作业 节点 (后者不可用于 watsonx)。
如果同时设置了参数 DSJobInvocationId
和节点的作业运行名称,那么将使用 DSJobInvocationId
。 如果两者都未设置,那么将使用缺省值 "job run"。
创建管道作业
以下是用于定义作业以运行管道的所有配置选项。
- 命名管道作业并选择版本。
- 输入 IBM API 密钥。
- (可选) 通过切换 调度 按钮来调度作业。
- 选择开始日期并微调调度以重复任意分钟,小时,天,周,月。
- 添加异常天数以防止作业在特定日期运行。
- 添加终止作业的时间。
- (可选) 选择任务所需的参数集,例如将空间分配给部署节点。 默认情况下,作业会使用添加到管道中的参数集运行。 可以通过选择其他参数集来覆盖该参数。 要了解如何创建管道参数,请参阅 创建管道中的 定义管道参数 。
- (可选) 选择是否希望在运行后收到管道作业状态通知。
查看管道结果
从试运行或作业运行管道后,可以在 运行跟踪程序中查看运行的状态和其他详细信息,例如参数结果。
打开每个选项卡以查看管道运行的详细信息。
制表符 | 描述 |
---|---|
节点检验程序 | 首先选择一个节点,然后单击节点检验器以在运行后查看每个节点的运行操作的详细信息,例如日志,输入和输出。 |
节点输出 | 在一个合并列表中查看每个节点的结果。 如果运行失败,那么将提供错误消息和日志以帮助您更正问题。 |
运行详细信息 | 如果这些参数可用,那么您可以查看作为管道运行或多个管道运行的结果的参数列表。 如果管道与 DataStage 作业相关联,那么也会显示这些作业。 |
关于运行管道的注意事项
- 管道中的错误带有错误标记。 打开包含错误的节点或条件以更改或完成配置。
- 查看合并日志以查看操作或识别管道问题。
保存管道版本
您可以保存管道版本并在以后还原为该版本。 例如,如果要在进行更改之前保留特定配置,请保存版本。 您可以将管道还原为先前版本。 共享管道时,将使用最新版本。
要保存版本:
- 单击工具栏上的 "版本" 图标。
- 在 "版本" 窗格中,单击 保存版本 以创建版本号递增 1 的新版本。 您可以根据需要无限制地保存多个管道版本。
运行管道时,可以从可用的已保存版本中进行选择。
导出部署空间的管道资产
编排管道不支持像其他资产一样快速部署或提升管道。 相反,您可以导出项目或空间的资产并将其导入到部署空间中。 导出时,将管道包括在导出到 zip 文件的资产列表中,然后导入到项目或空间中。
将管道导入空间可扩展 MLOps 功能,以从空间运行各种资产的作业,或将所有作业从生产前移至生产空间。 使用空间中的管道时,请注意以下注意事项:
- 空间中的管道是只读的。 无法编辑管道。 必须从项目中编辑管道,然后导出更新后的管道并将其导入到空间中。
- 尽管您无法在空间中编辑管道,但可以创建新作业来运行管道。 您还可以使用参数为作业分配值,以便为您配置的每个作业都具有不同的值。
- 如果空间中已有同名的管道,那么管道导入将失败。
- 如果空间中没有同名的管道,那么将在空间中创建版本为 1 的管道。
- 运行管道作业所需的任何支持资产或引用也必须是导入包的一部分,否则作业将失败。
- 如果管道包含空间中不受支持的资产或工具 (例如 SPSS 建模器作业) ,那么管道作业将失败。
- 您可以使用 CLI 工具 (例如 CPDCTL) 自动执行导出导入。
查看管道依赖性
单击管道资产旁边的 more 图标,查看和管理管道依赖关系。 从下拉菜单中选择 查看关系。
下载管道
现在,您可以下载通用管道流。 您还可以下载具有 DataStage 相关依赖关系的流,然后可以使用 DataStage 上载功能来上载和重新创建管道及其依赖关系。
在 "表达式构建器" 中选择 启用 DataStage 功能,并在管道设置中支持 "管道下载" 选项 以启用 "下载管道" 按钮。
单击管道画布工具栏中的 下载流和依赖关系 以下载管道。
在 DataStage 创建流程中上载 zip 文件。 您必须在watsonx.aiStudio 项目中执行此操作。