Befolgen Sie diese Tipps, um häufige Probleme zu lösen, die bei der Arbeit mit watsonx.ai Runtime auftreten können.
Fehlerbehebung der watsonx.ai Runtime-Dienstinstanz
Fehlersuche bei AutoAI
- AutoAI für ein RAG-Experiment überschreitet Modellgrenzen
- Training eines AutoAI schlägt mit Service-ID-Anmeldeinformationen fehl
- Die Vorhersageanforderung für das AutoAI kann bei zu vielen neuen Beobachtungen auslaufen
- Unzureichende Klassenmitglieder in den Trainingsdaten für das AutoAI
- Assets aus Cloud Pak for Data, die watsonx.ai benötigen, können nicht geöffnet werden
Fehlerbehebung bei Installationen
Batch-Bereitstellungen, die große Datenmengen als Input verwenden, können fehlschlagen
Einsätze mit eingeschränkten Software-Spezifikationen schlagen nach einem Upgrade fehl
Das Erstellen eines Auftrags für einen SPSS Modeler in einem Bereitstellungsbereich schlägt fehl
Deploy-on-Demand-Grundlagenmodelle können nicht in einem Bereitstellungsraum bereitgestellt werden
Die Konvertierung eines Modells von LightGBM zu ONNX schlägt fehl
Fehlerbehebung der watsonx.ai Runtime-Dienstinstanz
Befolgen Sie diese Tipps, um häufige Probleme zu beheben, die bei der Arbeit mit der watsonx.ai Runtime Service-Instanz auftreten können.
Inaktive watsonx.ai Laufzeitinstanz
Symptome
Wenn Sie versuchen, eine Ableitungsanforderung an ein foundation model zu übermitteln, indem Sie im Prompt Lab auf die Schaltfläche Generieren klicken, wird die folgende Fehlermeldung angezeigt:
'code': 'no_associated_service_instance_error',
'message': 'WML instance {instance_id} status is not active, current status: Inactive'
Mögliche Ursachen
Die Verbindung zwischen Ihrem watsonx.ai und der zugehörigen watsonx.ai Runtime Service-Instanz ist verloren gegangen.
Mögliche Lösungen
Erstellen oder aktualisieren Sie die Assoziation zwischen Ihrem watsonx.ai und der zugehörigen watsonx.ai Runtime Service-Instanz. Führen Sie dazu die folgenden Schritte aus:
- Erweitern Sie im Hauptmenü die Option Projekte, und klicken Sie dann auf Alle Projekte anzeigen.
- Klicken Sie auf Ihr watsonx.ai.
- Klicken Sie auf der Registerkarte Verwalten auf Dienste & Integrationen.
- Wenn die entsprechende watsonx.ai Runtime-Dienstinstanz aufgelistet ist, trennen Sie sie vorübergehend, indem Sie die Instanz auswählen und dann auf Entfernen klicken. Bestätigen Sie die Entfernung.
- Klicken Sie auf Dienst zuordnen.
- Wählen Sie die entsprechende watsonx.ai Runtime Service-Instanz aus der Liste aus und klicken Sie dann auf Verbinden.
Fehlersuche bei AutoAI
Befolgen Sie diese Tipps, um allgemeine Probleme zu lösen, die bei der Arbeit mit AutoAI auftreten können.
Ein AutoAI mit Anomalievorhersage schlägt fehl
Die Funktion zur Vorhersage von Anomalien in den Ergebnissen eines Zeitreihenexperiments wird nicht mehr unterstützt. Der Versuch, ein vorhandenes Experiment auszuführen, führt zu Fehlern wegen fehlender Laufzeitbibliotheken. Zum Beispiel könnte dieser Fehler auftreten:
The selected environment seems to be invalid: Could not retrieve environment. CAMS error: Missing or invalid asset id
Dieses Verhalten ist zu erwarten, da die Laufzeiten für die Vorhersage von Anomalien nicht unterstützt werden. Für dieses Problem gibt es keine Abhilfe.
AutoAI für ein RAG-Experiment überschreitet Modellgrenzen
Wenn Sie ein Inferenz-Notizbuch ausführen, das für ein AutoAI RAG-Experiment generiert wurde, können Sie manchmal diesen Fehler erhalten:
MissingValue: No "model_limits" provided. Reason: Model <model-nam> limits cannot be found in the model details.
Der Fehler zeigt an, dass die Token-Grenzen für die Herleitung des für das Experiment verwendeten foundation model fehlen. Um das Problem zu lösen, suchen Sie die Funktion " default_inference_function
und ersetzen Sie " get_max_input_tokens
durch die maximalen Token für das Modell. Beispiel:
model = ModelInference(api_client=client, **params['model"])
# model_max_input_tokens = get+max_input_tokens(model=model, params=params)
model_max_input_tokens = 4096
Sie finden den maximalen Token-Wert für das Modell in der Tabelle der unterstützten Foundation-Modelle, die in watsonx.ai verfügbar sind.
Training eines AutoAI schlägt mit Service-ID-Anmeldeinformationen fehl
Wenn Sie ein " AutoAI trainieren und den API-Schlüssel für " serviceID, verwenden, kann das Training mit diesem Fehler fehlschlagen:
User specified in query parameters does not match user from token.
Eine Möglichkeit, dieses Problem zu lösen, besteht darin, das Experiment mit Ihren Benutzeranmeldedaten durchzuführen. Wenn Sie das Experiment mit Anmeldeinformationen für den Dienst durchführen möchten, führen Sie die folgenden Schritte aus, um die Rollen und Richtlinien für die Dienst-ID zu aktualisieren.
- Öffnen Sie Ihre serviceID auf IBM Cloud.
- Erstellen Sie eine neue serviceID oder aktualisieren Sie die vorhandene ID mit der folgenden Zugriffsrichtlinie:
- Alle IAM Account Management Services mit den Rollen API Key Reviewer, User API Key Creator, Viewer, Operator und Editor. Idealerweise erstellen sie am besten einen neuen apikey für diese ServiceId.
- Alle IAM Account Management Services mit den Rollen API Key Reviewer, User API Key Creator, Viewer, Operator und Editor. Idealerweise erstellen sie am besten einen neuen apikey für diese ServiceId.
- Die aktualisierte Richtlinie wird wie folgt aussehen:
- Führen Sie die Schulung erneut mit den Anmeldeinformationen für die aktualisierte serviceID durch.
Die Vorhersageanforderung für das AutoAI kann bei zu vielen neuen Beobachtungen auslaufen
Eine Vorhersageanforderung kann für ein eingesetztes AutoAI zu lange dauern, wenn zu viele neue Beobachtungen übermittelt werden. Zur Behebung des Problems gehen Sie wie folgt vor:
- Reduzieren Sie die Anzahl der neuen Beobachtungen.
- Erweitern Sie die für das Experiment verwendeten Trainingsdaten, indem Sie neue Beobachtungen hinzufügen. Führen Sie dann das AutoAI mit den aktualisierten Trainingsdaten erneut durch.
Unzureichende Klassenmitglieder in Trainingsdaten für das Experiment AutoAI
Trainingsdaten für ein AutoAI -Experiment müssen mindestens 4 Mitglieder pro Klasse enthalten. Wenn Ihre Trainingsdaten eine unzureichende Anzahl von Mitgliedern in einer Klasse enthalten, tritt der folgende Fehler auf:
ERROR: ingesting data Message id: AC10011E. Message: Each class must have at least 4 members. The following classes have too few members: ['T'].
Um das Problem zu beheben, aktualisieren Sie die Trainingsdaten, um die Klasse zu entfernen oder um weitere Mitglieder hinzuzufügen.
Assets aus Cloud Pak for Data, die watsonx.ai benötigen, können nicht geöffnet werden
Wenn Sie im Kontext von Cloud Pak for Data arbeiten, können Sie keine Assets öffnen, die einen anderen Produktkontext erfordern, wie z. B. watsonx.ai. Wenn Sie zum Beispiel ein AutoAI für ein RAG-Muster mit watsonx.ai erstellen, können Sie dieses Asset nicht öffnen, wenn Sie sich im Kontext von Cloud Pak for Data befinden. Bei AutoAI können Sie den Trainingstyp in der Asset-Liste einsehen. Sie können Experimente mit dem Typ Maschinelles Lernen eröffnen, aber nicht mit dem Typ Retrieval-augmented generation.
Fehlerbehebung bei Installationen
Befolgen Sie diese Tipps, um häufige Probleme zu lösen, die bei der Arbeit mit watsonx.ai Runtime Deployments auftreten können.
Stapelbereitstellungen, die große Datenvolumen als Eingabe verwenden, schlagen möglicherweise fehl
Wenn Sie ein Scoring für einen Batch-Job durchführen, der große Datenvolumen als Eingabequelle verwendet, schlägt der Job möglicherweise bei internen Zeitlimiteinstellungen fehl. Ein Symptom dieses Problems könnte eine Fehlernachricht ähnlich der folgenden sein:
Incorrect input data: Flight returned internal error, with message: CDICO9999E: Internal error occurred: Snowflake sQL logged error: JDBC driver internal error: Timeout waiting for the download of #chunk49(Total chunks: 186) retry=0.
Wenn das Zeitlimit beim Scoring Ihrer Stapelbereitstellung auftritt, müssen Sie die Begrenzung für das Zeitlimit auf Datenquellenabfrageebene konfigurieren, um Jobs mit langer Laufzeit zu verarbeiten.
Zeitlimitinformationen auf Abfrageebene für Datenquellen lauten wie folgt:
Datenquelle | Zeitbegrenzung auf Abfrageebene | Standardzeitlimit | Standardzeitlimit ändern |
---|---|---|---|
Apache Cassandra | Ja | 10 Sekunden | Setzen Sie die Parameter read_timeout_in_ms und write_timeout_in_ms in der Apache Cassandra oder in der URL, um das Standard-Zeitlimit zu ändern. |
Cloud Object Storage | Nein | Nicht zutreffend | Nicht zutreffend |
Db2 | Ja | Nicht zutreffend | Legen Sie den Parameter QueryTimeout fest, um anzugeben, wie lange (in Sekunden) ein Client auf die Beendigung einer Abfrageausführung wartet, bevor ein Client versucht, die Ausführung abzubrechen und die Steuerung an die Anwendung zurückzugeben. |
Hive via Execution Engine for Hadoop | Ja | 60 Minuten (3600 Sekunden) | Legen Sie die Eigenschaft hive.session.query.timeout in der URL fest, um das Standardzeitlimit zu ändern. |
Microsoft SQL Server | Ja | 30 Sekunden | Legen Sie die Serverkonfigurationsoption QUERY_TIMEOUT fest, um das Standardzeitlimit zu ändern. |
MongoDB | Ja | 30 Sekunden | Legen Sie den Parameter maxTimeMS in den Abfrageoptionen fest, um das Standardzeitlimit zu ändern. |
MySQL | Ja | 0 Sekunden (kein Standardzeitlimit) | Legen Sie die Eigenschaft timeout in der URL oder in den JDBC fest, um ein Zeitlimit für Ihre Abfrage anzugeben. |
Oracle | Ja | 30 Sekunden | Legen Sie den Parameter QUERY_TIMEOUT im Oracle JDBC -Treiber fest, um anzugeben, wie lange eine Abfrage maximal ausgeführt werden kann, bevor sie automatisch abgebrochen wird. |
PostgreSQL | Nein | Nicht zutreffend | Legen Sie die Eigenschaft queryTimeout fest, um anzugeben, wie lange eine Abfrage maximal ausgeführt werden kann. Der Standardwert der Eigenschaft queryTimeout ist 0 . |
Snowflake | Ja | 6 Stunden | Legen Sie den Parameter queryTimeout fest, um das Standardzeitlimit zu ändern. |
Damit Ihre Stapelbereitstellungen nicht fehlschlagen, partitionieren Sie Ihre Datei oder verringern Sie ihre Größe.
Sicherheit für Dateiuploads
Dateien, die Sie über das watsonx.ai Studio oder die watsonx.ai Runtime UI hochladen, werden nicht validiert oder auf potenziell schädliche Inhalte gescannt. Es wird empfohlen, vor dem Hochladen Sicherheitssoftware (z. B. eine Antivirenanwendung) für alle Dateien auszuführen, um die Sicherheit Ihrer Inhalte sicherzustellen.
Bereitstellungen mit eingeschränkten Softwarespezifikationen schlagen nach einem Upgrade fehl
Wenn Sie auf eine neuere Version von IBM Cloud Pak for Data aktualisieren und ein R Shiny-Anwendungs-Asset bereitstellen, das unter Verwendung eingeschränkter Softwarespezifikationen im FIPS-Modus erstellt wurde, schlägt die Bereitstellung fehl.
So schlagen beispielsweise Einsätze, die die Softwarespezifikationen " shiny-r3.6
und " shiny-r4.2
verwenden, nach einem Upgrade von IBM Cloud Pak for Data Version 4.7.0 auf 4.8.4 oder höher fehl. Möglicherweise erhalten Sie die FehlermeldungError 502 - Bad Gateway
.
Um zu verhindern, dass Ihre Bereitstellung fehlschlägt, aktualisieren Sie die eingeschränkte Spezifikation für Ihr bereitgestelltes Asset, um die neueste Softwarespezifikation zu verwenden. Weitere Informationen finden Sie unter Verwalten veralteter Softwarespezifikationen oder Frameworks. Sie können Ihre Anwendungsbereitstellung auch löschen, wenn Sie sie nicht mehr benötigen.
Das Erstellen eines Auftrags für einen SPSS Modeler in einem Bereitstellungsbereich schlägt fehl
Während der Konfiguration eines Batch-Jobs für Ihren SPSS Modeler in einem Bereitstellungsbereich kann die automatische Zuordnung von Datenbeständen zu ihrer jeweiligen Verbindung fehlschlagen.
Gehen Sie folgendermaßen vor, um den Fehler bei der automatischen Zuordnung von Datenbeständen und Verbindungen zu beheben:
Klicken Sie auf Erstellen, um Ihren Fortschritt zu speichern und das Dialogfeld Neue Auftragskonfiguration zu verlassen.
Klicken Sie in Ihrem Bereitstellungsbereich auf die Registerkarte Jobs und wählen Sie Ihren SPSS Modeler aus, um die Details Ihres Jobs zu überprüfen.
Klicken Sie auf der Seite mit den Jobdetails auf das Symbol "Bearbeiten"
, um die Zuordnung Ihrer Datenbestände und Verbindungen manuell zu aktualisieren.
Nachdem Sie die Zuordnung von Datenbeständen und Verbindungen aktualisiert haben, können Sie mit der Konfiguration der Einstellungen für Ihren Auftrag im Dialogfeld Neuer Auftrag fortfahren. Weitere Informationen finden Sie unter Erstellen von Bereitstellungsaufträgen für SPSS Modeler
Das Bereitstellen eines benutzerdefinierten foundation model aus einem Bereitstellungsbereich schlägt fehl
Wenn Sie eine Bereitstellung für ein benutzerdefiniertes foundation model aus Ihrem Bereitstellungsbereich erstellen, kann Ihre Bereitstellung aus vielen Gründen fehlschlagen. Befolgen Sie diese Tipps, um häufige Probleme zu beheben, die bei der Bereitstellung Ihrer benutzerdefinierten Foundation-Modelle aus einem Bereitstellungsbereich auftreten können.
Fall 1: Parameterwert liegt außerhalb des Bereichs
Wenn Sie eine Bereitstellung für ein benutzerdefiniertes foundation model aus Ihrem Bereitstellungsbereich erstellen, müssen Sie sicherstellen, dass die Werte Ihrer Basismodellparameter innerhalb des angegebenen Bereichs liegen. Weitere Informationen finden Sie unter Eigenschaften und Parameter für benutzerdefinierte Fundamentmodelle. Wenn Sie einen Wert eingeben, der außerhalb des angegebenen Bereichs liegt, kann ein Fehler auftreten.
Zum Beispiel muss der Wert des Parameters " max_new_tokens
kleiner sein als " max_sequence_length
. Wenn Sie bei der Aktualisierung der Basismodellparameterwerte einen Wert für ' max_new_tokens
eingeben, der größer oder gleich dem Wert von ' max_sequence_length
(2048) ist, kann ein Fehler auftreten.
Das folgende Bild zeigt ein Beispiel für eine Fehlermeldung: Value must be an integer between 20 and 1000000000000000 and be greater than 'Max New Tokens'
.
Wenn die Standardwerte für Ihre Modellparameter zu einem Fehler führen, wenden Sie sich an Ihren Administrator, um die Registrierung des Modells in der watsonxaiifm CR zu ändern.
Fall 2: Nicht unterstützter Datentyp
Sie müssen darauf achten, dass Sie einen Datentyp auswählen, der von Ihrem benutzerdefinierten foundation model unterstützt wird. Wenn Sie beim Aktualisieren der Parameterwerte des Basismodells den Datentyp für Ihr bereitgestelltes Modell mit einem nicht unterstützten Datentyp aktualisieren, kann die Bereitstellung fehlschlagen.
So unterstützt das Modell " LLaMA-Pro-8B-Instruct-GPTQ
beispielsweise nur den Datentyp " float16
. Wenn Sie das Modell " LLaMA-Pro-8B-Instruct-GPTQ
mit " float16
" Enum
bereitstellen und dann den Parameter " Enum
von " float16
auf " bfloat16
aktualisieren, schlägt die Bereitstellung fehl.
Wenn der Datentyp, den Sie für Ihr benutzerdefiniertes foundation model ausgewählt haben, zu einem Fehler führt, können Sie den Datentyp für das benutzerdefinierte foundation model während der Erstellung der Bereitstellung überschreiben oder sich an Ihren Administrator wenden, um die Registrierung des Modells in der CR watsonxaiifm zu ändern.
Fall 3: Parameterwert ist zu groß
Wenn Sie einen sehr großen Wert für die Parameter ' max_sequence_length
und ' max_new_token
eingeben, kann ein Fehler auftreten. Wenn Sie beispielsweise den Wert von " max_sequence_length
auf " 1000000000000000
setzen, erhalten Sie die folgende Fehlermeldung:
Die Bereitstellung des benutzerdefinierten foundation model ist fehlgeschlagen. Der Vorgang ist fehlgeschlagen aufgrund von 'max_batch_weight (19596417433) nicht groß genug für (prefill) max_sequence_length (1000000000000000)'. Wiederholen Sie die Operation. Wenden Sie sich an den IBM Support, wenn das Problem bestehen bleibt.
Achten Sie darauf, dass Sie einen Wert für den Parameter eingeben, der kleiner ist als der in der Modellkonfigurationsdatei definierte Wert (config.json
).
Fall 4: Datei " model.safetensors
wird mit nicht unterstützten Bibliotheken gespeichert
Wenn die Datei " model.safetensors
für Ihr benutzerdefiniertes foundation model ein nicht unterstütztes Datenformat im Metadaten-Header verwendet, kann Ihre Bereitstellung fehlschlagen.
Wenn Sie beispielsweise das benutzerdefinierte foundation model " OccamRazor/mpt-7b-storywriter-4bit-128g
aus Hugging Face in Ihren Bereitstellungsbereich importieren und eine Online-Bereitstellung erstellen, kann Ihre Bereitstellung fehlschlagen. Dies liegt daran, dass die Datei " model.safetensors
für das Modell " OccamRazor/mpt-7b-storywriter-4bit-128g
mit " save_pretrained
gespeichert wird, einer nicht unterstützten Bibliothek. Sie empfangen möglicherweise die folgende Fehlernachricht:
Der Vorgang ist fehlgeschlagen, weil das Objekt 'NoneType' kein Attribut "get" hat.
Sie müssen sicherstellen, dass Ihr benutzerdefiniertes foundation model mit der unterstützten " transformers
-Bibliothek gespeichert wird.
Fall 5: Einsatz eines Llama 3.1 Modells schlägt fehl
In Ihrem Llama 3.1-Modell schlägt die Bereitstellung fehl, versuchen Sie, den Inhalt der ' config.json
atei Ihres Modells zu bearbeiten:
- Suchen Sie den Eintrag "
eos_token_id
. - Ändern Sie den Wert des Eintrags von einem Array in eine Ganzzahl.
Versuchen Sie dann, Ihr Modell neu zu verteilen.
Foundation-Modelle, die bei Bedarf bereitgestellt werden, können nicht in einem Bereitstellungsbereich bereitgestellt werden
Sie können nur eine Instanz eines foundation model in einem Deployment Space einsetzen. Wenn das ausgewählte Modell bereits bereitgestellt wird, wird der Bereitstellungsbereich, in dem das Modell bereitgestellt wird, deaktiviert.
Wenn Sie mehr Ressourcen für Ihr Modell benötigen, können Sie weitere Kopien des bereitgestellten Modell-Assets hinzufügen, indem Sie die Bereitstellung skalieren.
Die Konvertierung eines Modells von LightGBM zu ONNX schlägt fehl
Wenn Sie eine nicht unterstützte Zielfunktion verwenden, um Ihre LightGBM in das ONNX-Format zu konvertieren, kann Ihre Bereitstellung fehlschlagen. Wenn Sie beispielsweise eine nicht unterstützte Zielfunktion in der lightgbm.Booster
-Definition verwenden, kann es zu Problemen bei der Konvertierung kommen.
Um dieses Problem zu beheben, stellen Sie sicher, dass Sie eine unterstützte Zielfunktion verwenden, wenn Sie LightGBM in ONNX konvertieren.
Das folgende Codebeispiel zeigt, wie die nicht unterstützte Zielfunktion in der lightgbm.Booster
-Definition durch eine Funktion ersetzt wird, die mit convert_lightgbm
kompatibel ist.
lgb_model = lightgbm.Booster(model_str=lgb_model.model_to_string().replace('<unsupported_objective_function>', '<compatible_objective_function>'))
Der Einsatz eines Agenten als KI-Dienst schlägt fehl
Wenn Sie im Agentenlabor einen Agenten mit allen aktivierten Tool-Optionen (einschließlich Vektorindex) erstellen und ihn als Bereitstellungsnotizbuch speichern, das einen KI-Dienst enthält, schlägt die Erstellung der Bereitstellung fehl.
Sie empfangen möglicherweise die folgende Fehlernachricht:
Die Erstellung der Bereitstellung ist fehlgeschlagen. Fehler: 400.
Das Problem tritt auf, wenn der im Notizbuch verwendete API-Schlüssel von einem anderen Konto stammt, das keine Anmeldeinformationen für Aufgaben hat. Der API-Schlüssel muss von demselben Konto stammen wie das Projekt.
Um das Problem zu beheben, stellen Sie sicher, dass der im Notizbuch verwendete API-Schlüssel von demselben Konto stammt wie das Projekt. Wenn der API-Schlüssel von einem anderen Konto stammt, erstellen Sie einen neuen API-Schlüssel vom richtigen Konto und aktualisieren Sie das Notizbuch entsprechend.