安装 Python 模块以设置模型评估 | IBM Cloud Pak for Data as a Service

Go back to the English version of the documentation

安装 Python 模块以设置模型评估

Last updated: 2024年11月22日

安装 Python 模块以设置模型评估

要自动供应和配置所需的服务并查看评估应用程序（包括样本数据），可以安装 Python 模块。

关于此模块

该模块为技术用户提供了另一种方式来查看 Watson OpenScale 实例的运行情况，而无需如入门教程中所述自己供应和配置服务。
Python 模块在检查您所拥有的服务并创建必要服务的过程中运行。模块成功运行后，可从 IBM Cloud 仪表板启动 Watson OpenScale 以查看其如何评估模型。

Python Client 是一个库，可直接用于模型评估服务。出于开发和自动化目的，您可以使用 Python 客户机直接配置数据集市数据库、访问机器学习引擎以及选择和评估部署。有关通过此方式使用 Python 客户机的示例，请参阅 Watson OpenScale 样本 Notebook。

创建 IBM Cloud API 键并下载键。您需要在后面的步骤中输入 API 键。
安装 Python 3 的任何发行版。

Python 3 包含 pip 软件包管理系统。
通过运行以下命令来安装 ibm-watson-openscale-cli 软件包：
```
pip install -U ibm-watson-openscale-cli
```
如果在系统上安装了多个版本的 pip，那么可能需要运行 pip3 而不是 pip，例如 pip3 install -U ibm-watson-openscale-cli。
如果您有现有的watsonx.aiRuntime 服务实例，请检查IBM Cloud面板，确保该服务Cloud Identity and Access Management(IAM) 管理，而不是Cloud Foundry。

重要说明：
该模块会检查watsonx.aiRuntime 的实例。如果您具有实例，那么该模块会使用此实例。但是，如果实例由 Cloud Foundry 管理，必须首先将其迁移到 IAM 资源组后再运行模块。

运行以下命令：

ibm-watson-openscale-cli -a <Your API key>

要查看有关模型的公平性和准确性、已评估数据的详细信息以及各个事务的可解释性等方面的洞察，请打开“洞察”仪表板。

在 "洞察" 仪表板中，单击洞察选项卡，这将显示已部署模型的度量的概述:

“洞察”页面显示有关公平性和准确性的所有问题概览，这由配置的阈值决定。
每个部署将显示为磁贴。如果您正在执行其中任何一个教程，那么在仪表板上，您会看到一个名为 GermanCreditRiskModel 的部署。以下样本显示包含许多已部署和已评估的模型的仪表板：

从“洞察”页面中，单击 GermanCreditRiskModel 磁贴以查看有关已评估数据的详细信息。
在图表中滑动标记以查看显示数据的日期和时间段，然后单击查看详细信息链接。
- 例如，以下屏幕显示特定日期和时间的数据。根据运行模块的时间，日期和时间会有所不同。
- 有关解释时间序列图表的信息，请参阅获取洞察。
要查看有关 AGE 数据评估的详细信息，请确保从菜单中选择 AGE 。
- 请注意，在以下截屏中，不存在任何偏差。
- 有关解释特定小时所对应数据点的图表的信息，请参阅可视化特定小时的数据。

要了解在给定时间段内存在偏差时所产生的因素，请在上一部分中显示的可视化屏幕中单击 查看事务。

针对具有偏差的事务，列出过去一小时的事务标识。对于此模块中使用的模型，可用的请求不存在任何偏差。因此，以下截屏中的时间段不会显示任何事务。

没有事务的事务列表

有关更多信息，请参阅解释事务。