Beispiel einer REST-Anfrage

In diesem Beispiel werden nur 5 Passagen zur Bewertung vorgelegt. Sie können bis zu 1.000 Eingänge angeben. Je mehr Passagen Sie jedoch angeben, desto länger dauert der Reranking-Prozess, da ein Cross-Encoder-Modell jede Passage zusammen mit der Abfrage nacheinander verarbeitet.

Jede Eingabe, die Sie übermitteln, muss die vom Reranker-Modell festgelegte Höchstgrenze für Eingabe-Token einhalten.

Für den Fall, dass eine Passage mehr Token enthält, als das Modell zulässt, wird in diesem Beispiel der Parameter " truncate_input_tokens angegeben, um eine Kürzung der Zeile zu erzwingen. Andernfalls könnte die Anfrage fehlschlagen.

Der Parameter " inputs für die Rückgabeoptionen ist in diesem Beispiel enthalten, damit der Text der ursprünglichen Passage in der Antwort enthalten ist, was es einfacher macht zu verstehen, wie die ursprünglichen Passagen neu eingestuft werden. In einem echten Arbeitsablauf müssen Sie den Parameter " inputs möglicherweise nicht einbeziehen.

Sie geben das Rerankermodell an, das Sie als ' model_id ' in der Payload für die Text-Rerankermethode verwenden möchten.

Im folgenden Beispiel ersetzen Sie{url}variable with the right value for your instance, such asus-south.ml.cloud.ibm.com. Fügen Sie Ihr eigenes Inhaber-Token und Ihre Projekt-ID hinzu.

curl -X POST \
  'https://{url}/ml/v1/text/rerank?version=2024-10-17' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --header 'Authorization: Bearer eyJraWQiOi...' \
  --data '{
      "inputs": [
        {
          "text": "A foundation model is a large-scale generative AI model that can be adapted to a wide range of downstream tasks."
        },
        {
          "text": "Generative AI is a class of AI algorithms that can produce various types of content including text, source code, imagery, audio, and synthetic data."
        },
        {
          "text": "Agentic AI is a generative AI flow that can decompose a prompt into multiple tasks, assign tasks to appropriate gen AI agents, and synthesize an answer without human intervention."
        },
        {
          "text": "AI ethics is a multidisciplinary field that studies how to optimize AI'\''s beneficial impact while reducing risks and adverse outcomes. Examples of AI ethics issues are data responsibility and privacy, fairness, explainability, robustness, transparency, environmental sustainability, inclusion, moral agency, value alignment, accountability, trust, and technology misuse."
        },
        {
          "text": "AI governance is an organization'\''s act of governing, through its corporate instructions, staff, processes and systems to direct, evaluate, monitor, and take corrective action throughout the AI lifecycle, to provide assurance that the AI system is operating as the organization intends, as its stakeholders expect, and as required by relevant regulation."
        }
      ],
      "query": "What is an agent-driven AI workflow?",
      "parameters":{
        "truncate_input_tokens": 512,
        "return_options":{
          "inputs":true
        }
      },
      "model_id": "cross-encoder/ms-marco-minilm-l-12-v2",
      "project_id": "51f3a990-4372-4ac3-9ddb-ed99d9b50840"
    }'

Wenn Sie nur die am höchsten eingestuften Passagen zurückgeben möchten, können Sie den Parameter ' top_n angeben. Das folgende Beispiel zeigt, wie Sie angeben, dass das Modell nur eine Passage zurückgeben soll, und zwar die Passage, die am meisten mit der Abfrage zu tun hat:

"parameters":{
    "truncate_input_tokens": 512,
    "return_options":{
      "inputs":true,
      "top_n": 1
    }
}

Beispiel einer REST-Antwort

Die folgende Antwort wird für die Beispielanfrage zurückgegeben. Ein paar Dinge sind zu beachten:

• Die Passagen werden neu sortiert, so dass die Passagen mit den höchsten Punktzahlen zuerst angezeigt werden.

  Das Modell setzt die Definition für Agenten-KI an die Spitze der Liste, weil sie am engsten mit der Frage nach agentengesteuerten Arbeitsabläufen verbunden ist.

• Die Indexwerte, die von 0-4 reichen, stellen die ursprünglichen Positionen der Passagen im Array " inputs dar, das in der Anfrage übermittelt wurde.

  Die Passage über die agenturische KI war zum Beispiel die dritte Passage in der Liste und hat daher den Indexwert " 2.

• Das Feld " input_token_count zeigt die Gesamtzahl der Token an, die von der Anfrage verarbeitet wurden.

  Weitere Informationen darüber, wie Token gezählt werden, finden Sie unter Abrechnungsinformationen.

{
  "model_id": "cross-encoder/ms-marco-minilm-l-12-v2",
  "created_at": "2024-10-17T14:01:47.322Z",
  "results": [
    {
      "index": 2,
      "score": 5.063366413116455,
      "input": {
        "text": "Agentic AI is a generative AI flow that can decompose a prompt into multiple tasks, assign tasks to appropriate gen AI agents, and synthesize an answer without human intervention."
      }
    },
    {
      "index": 4,
      "score": -0.992393970489502,
      "input": {
        "text": "AI governance is an organization's act of governing, through its corporate instructions, staff, processes and systems to direct, evaluate, monitor, and take corrective action throughout the AI lifecycle, to provide assurance that the AI system is operating as the organization intends, as its stakeholders expect, and as required by relevant regulation."
      }
    },
    {
      "index": 1,
      "score": -3.5372314453125,
      "input": {
        "text": "Generative AI is a class of AI algorithms that can produce various types of content including text, source code, imagery, audio, and synthetic data."
      }
    },
    {
      "index": 0,
      "score": -4.646212100982666,
      "input": {
        "text": "A foundation model is a large-scale generative AI model that can be adapted to a wide range of downstream tasks."
      }
    },
    {
      "index": 3,
      "score": -4.926990032196045,
      "input": {
        "text": "AI ethics is a multidisciplinary field that studies how to optimize AI's beneficial impact while reducing risks and adverse outcomes. Examples of AI ethics issues are data responsibility and privacy, fairness, explainability, robustness, transparency, environmental sustainability, inclusion, moral agency, value alignment, accountability, trust, and technology misuse."
      }
    }
  ],
  "input_token_count": 292,
  "system": {
    "warnings": [
      {
        "message": "This model is a Non-IBM Product governed by a third-party license that may impose use restrictions and other obligations. By using this model you agree to its terms as identified in the following URL.",
        "id": "disclaimer_warning",
        "more_info": "https://dataplatform.cloud.ibm.com/docs/content/wsj/analyze-data/fm-models.html?context=wx"
      }
    ]
  }
}

Wenn Sie " "top_n": 1 in das Parameter-Objekt aufnehmen, wie im vorherigen Beispiel gezeigt, sieht die Antwort wie folgt aus:

{
  "model_id": "cross-encoder/ms-marco-minilm-l-12-v2",
  "created_at": "2024-10-17T20:18:50.867Z",
  "results": [
    {
      "index": 2,
      "score": 5.063366413116455,
      "input": {
        "text": "Agentic AI is a generative AI flow that can decompose a prompt into multiple tasks, assign tasks to appropriate gen AI agents, and synthesize an answer without human intervention."
      }
    }
  ],
  "input_token_count": 292,
  "system": {
    "warnings": [
      {
        "message": "This model is a Non-IBM Product governed by a third-party license that may impose use restrictions and other obligations. By using this model you agree to its terms as identified in the following URL.",
        "id": "disclaimer_warning",
        "more_info": "https://dataplatform.cloud.ibm.com/docs/content/wsj/analyze-data/fm-models.html?context=wx"
      }
    ]
  }
}