0 / 0

Memorizzazione e persistenza delle metriche

Ultimo aggiornamento: 11 lug 2025
Memorizzazione e persistenza delle metriche

DataStage® registra varie informazioni sulle esecuzioni dei lavori, che possono essere visualizzate per le esecuzioni nelle schermate Dettagli esecuzioni e Metriche esecuzioni. Le metriche possono anche essere archiviate per un periodo più lungo, creando un repository di metriche in un database.

Le informazioni registrate sulle esecuzioni dei lavori comprendono:
  • informazioni sull'esecuzione del lavoro, come il nome e l'ora di avvio/arresto,
  • informazioni sugli stadi e sui collegamenti, come le righe lette/scritte per ogni stadio e collegamento,
  • altre informazioni, come i valori dei parametri per una corsa.

Con il servizio ds-metrics , è possibile impostare l'archiviazione delle metriche a livello di progetto per tutti i flussi DataStage flussi. Mentre le metriche sono abilitate di default per i flussi, è necessario abilitare manualmente le metriche persistenti a livello di progetto. Per ulteriori informazioni sulla visualizzazione dell'esecuzione del lavoro e delle metriche, vedere Visualizzazione dei dettagli dell'esecuzione del lavoro e delle metriche dell'esecuzione.

Prerequisito

IBMDataStage supporta l'invio dei DataStage dati di metrica a un database di metrica separato. PostgreSQL è il database designato per l'archiviazione delle metriche e offre una soluzione leggera, non intesa come archivio di dati operativi. Consente agli utenti di eseguire le proprie ricerche per ottenere informazioni sulle prestazioni lavorative. A seconda delle preferenze del cliente, il database PostgreSQL può essere ospitato all'interno dello stesso ambiente, gestito su una macchina virtuale o all'interno di un servizio Cloud Pak for Data ambiente, su una macchina virtuale o gestito all'interno di un servizio PostgreSQL.

Creazione di una connessione

Per abilitare le metriche del repository è necessario aprire il progetto e fare clic sulla scheda Gestisci. Nel pannello laterale sinistro, fare clic su DataStage. Successivamente, fare clic sulla scheda Repository. Fare clic sull'opzione Abilita la persistenza delle metriche. Successivamente è necessario fornire le proprie credenziali per stabilire una connessione. Specificare un tipo di connessione, configurare le proprietà e i dettagli di sicurezza e testare la connessione per verificarne il funzionamento. Fare clic sul pulsante Salva nella parte superiore della pagina.

Per attivare le metriche del repository a livello di progetto, assicurarsi di creare un flusso dopo aver salvato la connessione. Una volta abilitate le metriche del repository per un lavoro specifico, queste non saranno disponibili per default per nessun altro lavoro. Per abilitare le metriche per altri lavori, è necessario ricompilare e rieseguire ogni singolo lavoro. Per verificare se le metriche del repository sono attive, esaminare i registri dei lavori dopo l'esecuzione. Il parametro DSMetricsRepoEnabled deve essere impostato su True

Devi usare un database pulito, o quello che è stato precedentemente inizializzato da ds-metrics. Per assicurarsi che un database sia pulito e cancellare eventuali dati di ds-metrics e precedenti, eseguire i seguenti comandi.
drop schema if exists ds_metrics cascade;
drop table if exists public.databasechangelog;
drop table if exists public.databasechangeloglock;
Per utilizzare un database con ds-metrics, l'utente del database deve avere sia il permesso di creare schemi nel database, sia il permesso di creare tabelle nello schema public . Per verificare i permessi per la creazione di tabelle e schemi, accedere al database ed eseguire la seguente query come utente che richiede i permessi.
select has_database_privilege(current_database(), 'create'), has_schema_privilege('public', 'create');
se si dispone dei permessi create-schema e create-table, la query restituisce true, true.

Conservazione metriche

Il campo di conservazione Metrics controlla la frequenza, se presente, con cui l' ds-metrics e rimuove i vecchi dati dal database. Se si abilita l'opzione Limite massimo, è possibile scegliere tra le impostazioni Giorni o Corse. Ad esempio, se si impostano 30 giorni, metriche cancella tutte le informazioni relative al lavoro e a tutte le sue esecuzioni quando un lavoro ha più di 30 giorni. Se si impostano 100 corse, metriche mantiene le 100 corse più recenti ed elimina quelle più vecchie. Il campo di conservazione Metriche si applica solo ai dati metrici relativi al progetto in cui sono attivate le impostazioni. Se il database è condiviso con un altro progetto, le impostazioni di conservazione non influiscono sui dati di quel progetto.

Dopo aver salvato le impostazioni di connessione, si attiva ds-metrics per cancellare la cache della connessione. Quando si esegue un lavoro nel progetto, ds-metrics si collega al database per la prima volta. Dopo aver stabilito una connessione, popola lo schema di ds-metrics dopo l'inizializzazione o lo migra se lo schema nel database è una versione precedente.

Struttura del database

Nel database delle metriche, la maggior parte delle tabelle è nello schema " ds-metrics ". public.databasechangelog e public.databasechangeloglock sono tabelle interne extra nello schema pubblico che vengono utilizzate per tenere traccia delle versioni dello schema del database.

Schemi tabellari

Tabella 1.
Schema tabella Descrizione Parametri
metrica_disco Memorizza le metriche delle dimensioni del disco nel tempo.
  • pod_id
  • data/ora
  • punto_di_montaggio
  • spazio_rimanente
pod_disk Memorizza le informazioni sui dischi montati sui pod.
  • pod_id
  • punto_di_montaggio
  • dimensione
pod_metrica Memorizza le metriche della CPU e della memoria nel tempo.
  • pod_id
  • data/ora
  • core_use
  • memory_usage
metriche_di_esecuzione_dei_collegamenti_di_lavoro Memorizza le metriche per i collegamenti in un processo mentre un processo è in esecuzione.
  • run_id
  • nome_collegamento
  • Origine
  • dest
  • stato
  • ora_ultimo_aggiornamento
  • ORA_INIZIO
  • tempo_di_arresto
  • ROWS_READ
  • righe_scritte
  • righe_totali
  • durata
job_run_log Memorizza le righe non informative di un processo quando questo termina.
  • run_id
  • indice_evento
  • log_timestamp
  • livello_di_log
  • Message_ID
  • Message_Text
parametro_esecuzione_lavoro Memorizza i parametri per un lavoro in esecuzione quando inizia un lavoro.
  • run_id
  • nome
  • classe
  • valore
metriche_di_run_stage_di_lavoro Memorizza le metriche per le fasi di un lavoro in corso mentre un lavoro è in esecuzione.
  • run_id
  • nome_scena
  • tipo_scena
  • stato
  • ora_ultimo_aggiornamento
  • ORA_INIZIO
  • tempo_di_arresto
  • durata
  • ROWS_READ
  • righe_scritte
  • stadio_secondi_cpu
  • MEMORIA_TOTALE
  • num_partizioni
  • conti_di_fila_di_partizione
istanza Memorizza le informazioni sulle istanze di px-runtime.
  • instance_id
  • tempo_di_creazione
  • ora_ultimo_aggiornamento
  • descrizione
  • versione_di_corsa
  • lavori_in_chiesta
  • lavori_in_esecuzione
  • lavori_completati
  • lavori_falliti
guscio Memorizza le informazioni relative al conduttore px-runtime e ai pod di calcolo.
  • pod_id
  • instance_id
  • testa_pod_id
  • tempo_di_creazione
  • limite_di_core
  • limite_di_memoria
jub_run Memorizza le informazioni relative al lavoro in corso mentre è in esecuzione.
  • run_id
  • NOME_LAVORO
  • ora_ultimo_aggiornamento
  • ORA_INIZIO
  • tempo_di_arresto
  • durata
  • stato_di_esecuzione
  • stato_utente
  • nome_coda
  • partizione
  • file_config
  • instance_id
  • controller_id
  • conduttore_pid
  • tempo_di_creazione
  • pianificato
lavoro Memorizza le informazioni relative al lavoro quando inizia un ciclo di lavoro.
  • lavoro_id
  • flusso_id
  • project_id
  • NOME_LAVORO
  • nome_flusso
  • project_name
  • classe
  • tempo_di_creazione
versione Memorizza la versione di ds-metrics che ha inizializzato l'ultimo database, a meno che il database non sia stato impostato manualmente.
  • versione