Memorizzazione e persistenza delle metriche
DataStage® registra varie informazioni sulle esecuzioni dei lavori, che possono essere visualizzate per le esecuzioni nelle schermate Dettagli esecuzioni e Metriche esecuzioni. Le metriche possono anche essere archiviate per un periodo più lungo, creando un repository di metriche in un database.
- informazioni sull'esecuzione del lavoro, come il nome e l'ora di avvio/arresto,
- informazioni sugli stadi e sui collegamenti, come le righe lette/scritte per ogni stadio e collegamento,
- altre informazioni, come i valori dei parametri per una corsa.
Con il servizio ds-metrics
, è possibile impostare l'archiviazione delle metriche a livello di progetto per tutti i flussi DataStage flussi. Mentre le metriche sono abilitate di default per i flussi, è necessario abilitare manualmente le metriche persistenti a livello di progetto. Per ulteriori informazioni sulla visualizzazione dell'esecuzione del lavoro e delle metriche, vedere Visualizzazione dei dettagli dell'esecuzione del lavoro e delle metriche dell'esecuzione.
Prerequisito
IBMDataStage supporta l'invio dei DataStage dati di metrica a un database di metrica separato. PostgreSQL è il database designato per l'archiviazione delle metriche e offre una soluzione leggera, non intesa come archivio di dati operativi. Consente agli utenti di eseguire le proprie ricerche per ottenere informazioni sulle prestazioni lavorative. A seconda delle preferenze del cliente, il database PostgreSQL può essere ospitato all'interno dello stesso ambiente, gestito su una macchina virtuale o all'interno di un servizio Cloud Pak for Data ambiente, su una macchina virtuale o gestito all'interno di un servizio PostgreSQL.
Creazione di una connessione
Per abilitare le metriche del repository è necessario aprire il progetto e fare clic sulla scheda Gestisci. Nel pannello laterale sinistro, fare clic su DataStage. Successivamente, fare clic sulla scheda Repository. Fare clic sull'opzione Abilita la persistenza delle metriche. Successivamente è necessario fornire le proprie credenziali per stabilire una connessione. Specificare un tipo di connessione, configurare le proprietà e i dettagli di sicurezza e testare la connessione per verificarne il funzionamento. Fare clic sul pulsante Salva nella parte superiore della pagina.
Per attivare le metriche del repository a livello di progetto, assicurarsi di creare un flusso dopo aver salvato la connessione. Una volta abilitate le metriche del repository per un lavoro specifico, queste non saranno disponibili per default per nessun altro lavoro. Per abilitare le metriche per altri lavori, è necessario ricompilare e rieseguire ogni singolo lavoro. Per verificare se le metriche del repository sono attive, esaminare i registri dei lavori dopo l'esecuzione. Il parametro DSMetricsRepoEnabled
deve essere impostato su True
ds-metrics
. Per assicurarsi che un database sia pulito e cancellare eventuali dati di ds-metrics
e precedenti, eseguire i seguenti comandi.drop schema if exists ds_metrics cascade;
drop table if exists public.databasechangelog;
drop table if exists public.databasechangeloglock;
Per utilizzare un database con ds-metrics
, l'utente del database deve avere sia il permesso di creare schemi nel database, sia il permesso di creare tabelle nello schema public
. Per verificare i permessi per la creazione di tabelle e schemi, accedere al database ed eseguire la seguente query come utente che richiede i permessi.select has_database_privilege(current_database(), 'create'), has_schema_privilege('public', 'create');
se si dispone dei permessi create-schema e create-table, la query restituisce true,
true
.Conservazione metriche
Il campo di conservazione Metrics controlla la frequenza, se presente, con cui l' ds-metrics
e rimuove i vecchi dati dal database. Se si abilita l'opzione Limite massimo, è possibile scegliere tra le impostazioni Giorni o Corse. Ad esempio, se si impostano 30 giorni, metriche cancella tutte le informazioni relative al lavoro e a tutte le sue esecuzioni quando un lavoro ha più di 30 giorni. Se si impostano 100 corse, metriche mantiene le 100 corse più recenti ed elimina quelle più vecchie. Il campo di conservazione Metriche si applica solo ai dati metrici relativi al progetto in cui sono attivate le impostazioni. Se il database è condiviso con un altro progetto, le impostazioni di conservazione non influiscono sui dati di quel progetto.
Dopo aver salvato le impostazioni di connessione, si attiva ds-metrics
per cancellare la cache della connessione. Quando si esegue un lavoro nel progetto, ds-metrics
si collega al database per la prima volta. Dopo aver stabilito una connessione, popola lo schema di ds-metrics
dopo l'inizializzazione o lo migra se lo schema nel database è una versione precedente.
Struttura del database
Nel database delle metriche, la maggior parte delle tabelle è nello schema " ds-metrics
". public.databasechangelog
e public.databasechangeloglock
sono tabelle interne extra nello schema pubblico che vengono utilizzate per tenere traccia delle versioni dello schema del database.
Schemi tabellari
Schema tabella | Descrizione | Parametri |
---|---|---|
metrica_disco | Memorizza le metriche delle dimensioni del disco nel tempo. |
|
pod_disk | Memorizza le informazioni sui dischi montati sui pod. |
|
pod_metrica | Memorizza le metriche della CPU e della memoria nel tempo. |
|
metriche_di_esecuzione_dei_collegamenti_di_lavoro | Memorizza le metriche per i collegamenti in un processo mentre un processo è in esecuzione. |
|
job_run_log | Memorizza le righe non informative di un processo quando questo termina. |
|
parametro_esecuzione_lavoro | Memorizza i parametri per un lavoro in esecuzione quando inizia un lavoro. |
|
metriche_di_run_stage_di_lavoro | Memorizza le metriche per le fasi di un lavoro in corso mentre un lavoro è in esecuzione. |
|
istanza | Memorizza le informazioni sulle istanze di px-runtime. |
|
guscio | Memorizza le informazioni relative al conduttore px-runtime e ai pod di calcolo. |
|
jub_run | Memorizza le informazioni relative al lavoro in corso mentre è in esecuzione. |
|
lavoro | Memorizza le informazioni relative al lavoro quando inizia un ciclo di lavoro. |
|
versione | Memorizza la versione di ds-metrics che ha inizializzato l'ultimo database, a meno che il database non sia stato impostato manualmente. |
|