Opis danych wstawianych

Dane wejściowe typu wstawianego dla przetwarzania wsadowego są określone w ładunku zadania wdrożenia wsadowego. Na przykład można przekazać plik CSV jako dane wejściowe wdrożenia w interfejsie użytkownika lub jako wartość parametru scoring.input_data w notatniku. Po zakończeniu zadania wdrożenia wsadowego dane wyjściowe są zapisywane w odpowiednim parametrze metadanych scoring.predictions zadania.

Opis odniesienia do danych

Dane wejściowe i wyjściowe typu odwołanie do danych , które są używane na potrzeby przetwarzania wsadowego, mogą być zapisywane:

• W zdalnym źródle danych, takim jak zasobnik Cloud Object Storage lub baza danych SQL/no-SQL
• Jako lokalny lub zarządzany zasób danych w obszarze wdrażania

Szczegóły dotyczące odwołań do danych obejmują:

• Odwołanie do źródła danych type zależy od typu zasobu. Więcej informacji na ten temat zawiera sekcja Typy odwołań do źródeł danych w sekcji Dodawanie zasobów danych do obszaru wdrażania.

• W przypadku typu data_asset odwołania do danych wejściowych muszą być określone jako /v2/assets href w parametrze input_data_references.location.href w ładunku zadania wdrażania. Określony w tym miejscu zasób danych może być odwołaniem do lokalnego lub połączonego zasobu danych. Ponadto, jeśli dane wyjściowe zadania wdrożenia wsadowego muszą być utrwalone w zdalnym źródle danych, odwołania do danych wyjściowych muszą być określone jako parametr /v2/assets href w output_data_reference.location.href ładunku zadania wdrożenia.

• Wszystkie odwołania wejściowe i wyjściowe data_asset muszą znajdować się w tym samym identyfikatorze obszaru, co wdrożenie wsadowe.

• Jeśli dane wyjściowe zadania wdrożenia wsadowego muszą zostać utrwalone w obszarze wdrożenia jako lokalny zasób aplikacyjny, należy określić parametr output_data_reference.location.name . Po pomyślnym zakończeniu zadania wdrożenia wsadowego w obszarze zostanie utworzony zasób o podanej nazwie.

• Dane wyjściowe mogą zawierać informacje o tym, gdzie w zdalnej bazie danych znajduje się zasób danych. W takiej sytuacji można określić, czy dołączyć dane wyjściowe zadania wsadowego do tabeli, czy obciąć tabelę i zaktualizować dane wyjściowe. Parametr output_data_references.location.write_mode umożliwia określenie wartości truncate lub append.

  • Podanie wartości truncate powoduje obcięcie tabeli i wstawienie danych wyjściowych zadania wsadowego.
  • Podanie wartości append powoduje dodanie danych wyjściowych zadania wsadowego do tabeli zdalnej bazy danych.
  • Parametr write_mode ma zastosowanie tylko w przypadku parametru output_data_references .
  • Parametr write_mode ma zastosowanie tylko w przypadku zasobów danych związanych ze zdalną bazą danych. Ten parametr nie ma zastosowania do lokalnego zasobu danych ani do zasobu danych opartego na usłudze COS.

"input_data_references": [{
    "type": "data_asset",
    "connection": {
    },
    "location": {
        "href": "/v2/assets/<asset_id>?space_id=<space_id>"
    }
}]

"input_data_references": [{
    "type": "connection_asset",
    "connection": {
        "id": "<connection_guid>"
    },
    "location": {
        "bucket": "<bucket name>",
        "file_name": "<directory_name>/<file name>"
    }
    <other wdp-properties supported by runtimes>
}]

Przygotowywanie ładunku zgodnego ze schematem istniejącego modelu

Zapoznaj się z następującym kodem przykładowym:

model_details = client.repository.get_details("<model_id>")  # retrieves details and includes schema
columns_in_schema = []
for i in range(0, len(model_details['entity']['schemas']['input'][0].get('fields'))):
    columns_in_schema.append(model_details['entity']['schemas']['input'][0].get('fields')[i]['name'])

X = X[columns_in_schema] # where X is a pandas dataframe that contains values to be scored
#(...)
scoring_values = X.values.tolist()
array_of_input_fields = X.columns.tolist()
payload_scoring = {"input_data": [{"fields": [array_of_input_fields],"values": scoring_values}]}