Descrizione
Le spiegazioni per le decisioni di output del modello potrebbero essere difficili, imprecise o non possibili da ottenere.
Perché l'output inspiegabile è una preoccupazione per i modelli di base?
I modelli di base si basano su architetture di deep learning complesse, rendendo difficili le spiegazioni per i loro output. L'inaccessibilità dei dati di addestramento potrebbe limitare i tipi di spiegazioni che un modello può fornire. Senza spiegazioni chiare per l'output del modello, è difficile per gli utenti, i programmi di convalida del modello e i revisori comprendere e considerare affidabile il modello. Spiegazioni errate potrebbero portare a un eccesso di fiducia.
Precisione inspiegabile nella previsione della razza
Secondo l'articolo di fonte, i ricercatori che analizzano più modelli di machine learning utilizzando immagini mediche del paziente sono stati in grado di confermare la capacità dei modelli di prevedere la razza con alta precisione dalle immagini. Sono stati incappati in ciò che esattamente sta consentendo ai sistemi di indovinare in modo coerente correttamente. I ricercatori hanno scoperto che anche fattori come la malattia e la costruzione fisica non erano forti predittori di razza - in altre parole, i sistemi algoritmici non sembrano utilizzare alcun aspetto particolare delle immagini per fare le loro determinazioni.
Argomento principale: Atlas rischio AI
Forniamo esempi trattati dalla stampa per aiutare a spiegare molti dei rischi dei modelli di fondazione. Molti di questi eventi trattati dalla stampa sono ancora in evoluzione o sono stati risolti, e il loro riferimento può aiutare il lettore a comprendere i potenziali rischi e a lavorare per mitigare. L'evidenziazione di questi esempi è solo a scopo illustrativo.