Typowy przepływ pracy dla bias pośrednich

Można jednak określić, że modele pośrednie dla modeli preprodukcyjnych i modeli produkcyjnych są wymagane w przypadku modeli wymagających różnych kolumn. Dane testowe używane do oceny modeli przedprodukcyjnych i danych zwrotnych, które są używane do oceny modeli preprodukcyjnych lub produkcyjnych, różnią się w zależności od użycia metakolumn. Metakolumny są wymagane w przypadku danych testowych do wstępnego produkcji i nie mogą być uwzględnione w danych dotyczących informacji zwrotnych, które są używane w przypadku modeli przedprodukcyjnych lub produkcyjnych. Typowy przepływ pracy może obejmować następujące kroki:

1. Tworzenie danych uczących, które zawierają zarówno kolumny opcji, jak i metakolumny. Metakolumny zawierają dane, które nie są używane do uczenia modelu.
2. W systemie Watson OpenScaleskonfiguruj monitor fairness z metakolumnami.
3. Podczas preprodukcji prześlij dane testowe, które zawierają zarówno kolumny elementów, jak i metakolumny. Te dane testowe muszą zostać przesłane za pomocą opcji Importuj dane testowe .
4. Podczas przedprodukcji użytkownik może współużywać różnych wersji modelu podczas korzystania z pośrednich miar bias, aby zapewnić, że ostateczny model jest wolny od bias.
5. Po wysłaniu modelu do produkcji dane sprzężenia zwrotnego nie powinny mieć żadnej z metakolumn, tylko kolumny elementów, które zostały użyte do uczenia modelu.

Przykładowy plik ładunku JSON z metapolami

Poniższy przykładowy plik przedstawia ładunek JSON z polami i wartościami, które są używane do uczenia modelu. Uwzględnione są również pola meta i wartości używane do analizy pośredniej bias. Pola meta nie są używane do uczenia modelu, zamiast tego są zarezerwowane dla innej analizy, która próbuje skorelować je z biasami w modelu. Chociaż pola meta mogą być dowolnymi rodzajami danych, są to zwykle atrybuty chronione, takie jak płeć, rasa lub wiek.

[request_data = {
    "fields": ["AGE", "SEX", "BP", "CHOLESTEROL", "NA", "K"],
    "values": [[28, "F", "LOW", "HIGH", 0.61, 0.026]]
  }

response_data = {
    "fields": ["AGE", "SEX", "BP", "CHOLESTEROL", "NA", "K", "probability", "prediction", "DRUG"],
    "values": [[28, "F", "LOW", "HIGH", 0.61, 0.026, [0.82, 0.07, 0.0, 0.05, 0.03], 0.0, "drugY"]]
  }

request_data = <put your data here>
response_data = <put your data here>

records = [PayloadRecord(request=request_data, response=response_data, response_time=18), 
                PayloadRecord(request=request_data, response=response_data, response_time=12)]

subscription.payload_logging.store(records=records)

Metawartości muszą być w formacie tablicy tablic:

"meta": {
"fields": ["age", "race", "sex"],
"values": [
[32, "Black", "Male"]
]
}

Konfigurowanie usługi Watson OpenScale w celu pośredniego bias

Po ustawieniu monitora fairness wybierz pola, które mają być monitorowane. Uwzględnij zarówno funkcje szkoleniowe, jak i pola, które są wykluczone ze szkolenia modelowego. Jeśli zostanie wybrane pole wykluczone ze szkolenia modelowego, opcja Watson OpenScale znajdzie korelacje między wartościami w tym polu a wartościami w składach szkoleniowych. Opcje skorelowane są używane jako serwery proxy dla pól, które zostały wykluczone ze szkolenia modelowego.

Niektóre pola to cechy szkoleniowe. Inne pola, które nie są elementami szkoleniowym, są identyfikowane jako pola meta. W przypadku wybranych pól meta Watson OpenScale sprawdza pośrednie bias.

Więcej inform.

• Opcje Debiuowania
• W przypadku notebooka dla dwukierunków pośrednich, Watson OpenScale Indirect Bias detection

Temat nadrzędny: Konfigurowanie ocen modelu