La qualità dei dati meteorologici
Valeria Menichini
L’utilizzo dei dati misurati come dati di partenza per la redazione di previsioni basate su modelli numerici è l’aspetto fondamentale che ha portato alla definizione di procedure di Controllo della Qualità dei Dati (CQD).
L e urgenze dettate dai rapidi cambiamenti climatici e dall’uso sempre più massivo dei dati meteorologici per scopi assicurativi, per dirne solo alcune, nonché l’uso più condiviso anche da un pubblico non scientificamente preparato impone la soluzione di un annoso problema che riguarda l’analisi della qualità dei dati raccolti dalle centraline meteorologiche automatiche.
Il tema non è una novità e da diversi decenni si lavora per elaborare dei sistemi che permettano di verificare la qualità dei dati in modo automatico, vista la quantità dei dati disponibili. Solo ad esempio, una stazione meteorologica composta solo dai sensori più comuni può registrare i dati di temperatura e umidità dell’aria, direzione e velocità del vento, radiazione solare, precipitazione e pressione restituendo i valori istantanei, minimi, massimi e deviazione standard ogni 10 minuti, collezionando così 7x4x6x24 dati, cioè 4032 dati al giorno.
Se questa stazione è inserita in una rete di stazioni locali e i dati elaborati da modelli di supporto alle decisioni, si comprende subito quanto sia strategico poter contare su un sistema di controllo di qualità dei dati automatico.
I dati riguardanti le grandezze meteorologiche sono raccolti per diversi scopi: essi possono essere utilizzati come valori iniziali per previsioni meteorologiche basate su modelli numerici; hanno importanza come dati di analisi climatica e climatologica; sono essenziali per le operazioni di grandi centri di trasporto quali porti e aeroporti, trovano applicazioni in ambito agricolo e idrologico e in altri campi quali ad esempio le misurazioni della qualità dell’aria.
Il processo di verifica, cioè il Controllo della Qualità dei Dati (CQD) è definito come quell’insieme di procedure operative che devono essere seguite durante le normali operazioni del sistema di monitoraggio meteorologico per assicurare il corretto funzionamento del processo di misura. Il CQD consiste nell’esame dei dati –direttamente presso le stazioni o presso i centri di raccolta - per la ricerca di errori, in modo che essi possano essere corretti o cancellati. Tali procedure devono però includere anche attività di corretta gestione della strumentazione, come la calibrazione periodica degli strumenti, l’ispezione del sito ed infine la manutenzione ordinaria della stazione meteorologica.
L’utilizzo dei dati misurati come dati di partenza per la redazione di previsioni basate su modelli numerici è l’aspetto fondamentale che ha portato alla definizione di procedure di CQD. Infatti, nonostante in passato sia stata riposta poca attenzione al CQD privilegiando lo sviluppo dei modelli numerici, si è riconosciuto il fatto che
l’insufficienza dei controlli di qualità applicati ai dati osservativi fosse un ostacolo alla qualità dell’analisi dei dati, fattore cruciale per la precisione delle previsioni numeriche. A partire dagli anni Ottanta, sono state riposte molte attenzioni nello studio e nella formalizzazione di procedure per il CQD; come detto, la maggior parte del lavoro è stata svolta nell’ottica della raccolta di dati per l’inserimento di valori iniziali nei modelli numerici di previsione meteorologica, perciò l’interesse principale è stato rivolto alle osservazioni condivise attraverso il Global Telecommunication System (GTS) del WMO (WMO).(M. Salvati, 2008)
I dati raccolti per il GTS, normalmente raccolti su scala sinottica, hanno quindi parametri di qualità ben codificati, sia per quanto riguarda la posizione dello strumento –o della stazione- sia rispetto all’elaborazione dei dati. La codificazione dei parametri non è invece altrettanto precisa per quanto riguarda le reti meteorologiche su mesoscala, più dense e spesso gestite da istituzioni locali.(M. Salvati, 2008)
Anche limitandosi ad un orizzonte più ristretto rispetto alle reti locali su mesoscala, e focalizzandosi sulla definizione di metodologie e procedure di Controllo della Qualità dei Dati per il singolo strumento di acquisizione, o eventualmente per la singola stazione la soluzione non è banale.
Il WMO detta le procedure di analisi di qualità dei dati relative alla rete globale, ma alcune di esse possono essere adattate anche alla singola stazione e possono essere prese come indicazioni generali da seguire per la definizione di una procedura di CQD.
Il Controllo della Qualità dei Dati osservativi consiste nell’analisi dei dati direttamente presso le stazioni o presso i centri di raccolta per la ricerca di errori. I dati possono così essere corretti o etichettati. Nel sistema di CQD devono essere previste delle procedure che permettano di ritornare alla sorgente del dato per effettuarne una verifica e prevenire la ricorrenza di errori. (WMO, 2007) In modo particolare, per quanto riguarda le stazioni automatiche (AWS) l’obiettivo del CQD deve essere la minimizzazione del numero di osservazioni inaccurate o mancanti. Come già precedentemente evidenziato, questo scopo deve essere raggiunto in modo automatico utilizzando routine basate su hardware e software appositamente progettati. (WMO, 2008)
Queste indicazioni possono essere seguite anche per la definizione di una procedura per il CQD di un singolo strumento e di una singola stazione.
L’attenzione alla verifica di qualità del dato è di evidente importanza per i produttori degli strumenti e per i responsabili della stazione la fine di distinguere la causa di un eventuale cattiva qualità di un dato, infatti questa potrebbe dipendere da un malfunzionamento dello strumento o del sistema di acquisizione o dipendere da altri fattori, quali ad esempio fattori di carattere microclimatico.
Nell’ambito del Global Observing System (GOS) il CQD deve essere un’attività svolta in tempo reale, precedente alla trasmissione dei dati osservativi tramite il Global Telecommunication System (GTS), ma è necessario integrare questi controlli a posteriori, prima di archiviare definitivamente i dati per elaborazioni storiche. (WMO, 2003)
Il WMO stabilisce degli standard minimi di CQD che devono essere rispettati nell’ambito del Global Data Processing and Forecasting System (GDPFS) con gli obiettivi di:
- Assicurare la massima qualità possibile dei dati utilizzati in tempo
reale da parte del GDPFS;
- Proteggere e migliorare la qualità e l’integrità dei dati destinati
all’archiviazione e alla raccolta nel GDPFS;
- Provvedere le basi per il feedback delle informazioni riguardanti i
dati errati e sospetti verso la sorgente dei dati.
È infine da sottolineare, anche se non direttamente attinente agli obiettivi della definizione di procedure applicative, l’indicazione per cui il CQD è anche la raccolta di informazioni riguardanti la qualità di un insieme di osservazioni dal punto di vista dell’applicazione per cui queste sono raccolte (WMO, 2010). La qualità dei dati è cioè una misura della bontà con cui i dati soddisfano lo scopo per cui sono stati prodotti; tutte le osservazioni sono registrate con uno scopo e la loro qualità è direttamente legata alle esigenze dettate dall’obiettivo della raccolta (WMO, 2007). Pensiamo ad esempio alle caratteristiche dei dati registrati per scopi agrometeorologici, dove la base temporale di acquisizione è di norma giornaliera, rispetto alla base temporale dei dati per il monitoraggio di eventi estremi destinati alla Protezione Civile, dove ogni dato sensibile ha un passo temporale dell’ordine dei pochi minuti. Per definire una procedura di CQD bisogna aver quindi presente il motivo della raccolta dei dati e lo scopo che deve avere il controllo di qualità, è inoltre necessario fornire informazioni riguardanti tali controlli perché gli utilizzatori dei dati abbiano a disposizione tutti gli strumenti per trattare i dati nel modo corretto.
Il WMO indica come obiettivi del CQD la validazione dei dati, la loro pulizia la presenza di un sistema di monitoraggio del CQD stesso e indica in modo più dettagliato quali scopi è necessario raggiungere per i singoli punti citati. (WMO, 2007)
La validazione è un procedimento utilizzato per determinare se i dati sono inaccurati, incompleti, inconsistenti o irragionevoli. Il procedimento può includere controlli di completezza, controlli di plausibilità dei valori misurati e controlli sulla consistenza interna e temporale. Il risultato di questa procedura è la documentazione e l’aggiunta di un indicatore (flag) ai dati sospetti per ulteriori controlli successivi. La validazione può anche includere il confronto con standard, regole e convenzioni definite. Un aspetto fondamentale della validazione deve essere la possibilità di identificare le cause degli errori trovati per prevenire la ricorrenza degli stessi errori.
Per un livello di base di CQD per stazioni meteo climatiche automatiche, uno schema comprendente cinque categorie può essere sufficiente. Queste indicano il livello di confidenza con cui trattare il dato:
1- Buono: dato caratterizzato da errori inferiori o uguali ad un valore
di soglia;
2- Inconsistente: dato i cui parametri, o le relazioni fra essi, non
soddisfano i criteri definiti;
3- Sospetto;
4- Errato: dato con errori eccedenti i valori di soglia stabiliti;
5- Dato Mancante.
La qualità dei dati dovrebbe essere nota in ogni momento del processo di validazione e può cambiare nel tempo all’aumentare della quantità di informazioni disponibili.
Il procedimento di pulizia dei dati consiste nella ricostruzione dei dati errati trovati nel processo di validazione. È importante che i dati non vengano persi durante il processo e che le informazioni riguardanti le correzioni siano riportate con cura. È ragionevole archiviare fianco a fianco nel database il dato corretto con il dato originale per poter recuperare il dato realmente misurato per ogni evenienza.
La pulizia dei dati comprende la ricerca e l’identificazione delle tipologie di errore, la correzione degli errori, la documentazione delle tipologie di errore e la proposta di modifiche al sistema di acquisizione dati per una riduzione degli errori futuri.
Il monitoraggio deve includere controlli riguardanti i seguenti argomenti:
Completezza delle osservazioni presso la stazione;
Qualità dei dati trasmessi dalla stazione;
Completezza e linearità temporale dei dati osservativi presso il centro di raccolta.
Il monitoraggio del CQD deve identificare mancanze ed errori e quindi avviare le appropriate procedure di riparazione. Il monitoraggio del CQD dovrebbe comprendere la compilazione di resoconti e statistiche. È quindi necessario implementare un sistema per la raccolta di statistiche riguardanti gli errori osservativi delle singole variabili meteorologiche tramite una serie di indicatori che riportino i risultati dei singoli controlli per poi generare statistiche su diverse basi temporali. Il sistema di monitoraggio del CQD dovrebbe elaborare le statistiche delle singole stazioni riguardanti la frequenza, il valore e la qualità degli errori per raccogliere informazioni utili per la valutazione delle prestazioni della stazione, per la localizzazione di errori persistenti o di derive nelle osservazioni ed infine per valutare la necessità di opere di manutenzione.
L’uso di procedure automatiche per il CQD permette di ottenere dei vantaggi riguardanti:
Oggettività e ripetibilità;
Uniformità;
Utilizzo di parametri di controllo complessi;
Eliminazione di controlli su un gran numero di dati corretti.
I principi dell’organizzazione dei controlli automatici dipendono dai metodi e dagli algoritmi utilizzati, oltre che dal tipo di acquisizione automatica. (WMO, 2007)
Non esistono standard di CQD o procedure di riferimento predeterminate per le diverse piattaforme di stazioni meteo climatiche automatiche esistenti, queste devono essere sviluppate e implementate da ogni singolo centro di acquisizione dati, che deve inoltre produrre una documentazione esaustiva riguardo l’insieme di procedure seguite. (WMO, 2008)
I programmi di controllo devono essere progettati avendo come obiettivo primario la ricerca di errori grossolani e sostanziali o che si ripetano ciclicamente. È quindi importante tarare l’accuratezza dei test di controllo, avendo sempre la consapevolezza che non si può eliminare l’evenienza di non trovare un errore oppure di classificare un dato corretto come sospetto o errato.
Un metodo pratico per la ricerca di errori grossolani può essere l’osservazione di un diagramma dei valori misurati lungo un certo periodo di tempo per variabili quali la temperatura e la pressione atmosferica. (WMO, 2007)
Il WMO indica che la qualità dei dati deve essere controllata a diversi livelli di elaborazione, in tempo reale e a posteriori usando diverse procedure.
Esistono due livelli coinvolti nel CQD in tempo reale, o a posteriori:
1- Controllo della Qualità di Dati Grezzi: controllo base della qualità eseguito presso il sito osservativo, rilevante durante l’acquisizione dei dati e teso ad eliminare gli errori dei dispositivi tecnici, sensori inclusi, gli errori di misura sistematici o casuali e gli errori connessi ai processi di misura. In questa fase devono essere eseguiti controlli riguardanti gli errori grossolani, controlli di base riguardanti la sequenza temporale e la coerenza interna fra le diverse grandezze misurate nella stazione.
2- Controllo della Qualità dei Dati Elaborati: controllo esteso della qualità, eseguito in parte presso il sito osservativo e principalmente presso il centro di raccolta. Questo controllo è importante per la trasformazione da dato grezzo a dato elaborato, a questa fase devono appartenere i controlli comprensivi di coerenza temporale e interna, valutazione dello scarto rispetto alla taratura e alla deriva a lungo termine, oltre alla ricerca di malfunzionamenti dei sensori o degli apparati di acquisizione. (WMO, 2007)
I livelli di CQD proposti dal WMO sono i seguenti:
I - Controllo della Qualità automatico di Dati grezzi:
i - Controllo di valore plausibile: verifica della presenza di errori grossolani fra i valori misurati.
ii - Controllo di variazione plausibile: verifica della consistenza temporale dei dati misurati.
II - Controllo della Qualità automatico di Dati elaborati:
i - Controllo di valore plausibile.
ii - Controllo di consistenza temporale:
a- Step Test: Controllo della variazione fra due valori misurati consecutivi rispetto ad un valore di soglia massimo;
b- Test di Persistenza: Controllo della variazione fra due valori misurati consecutivi rispetto ad un valore di soglia minimo;
c- Calcolo della deviazione standard.
iii- Controllo della consistenza interna.
iv - Monitoraggio tecnico delle parti sensibili della stazione.
Questi controlli vanno eseguiti sia presso la stazione sia presso il centro di raccolta, dove i controlli devono essere eseguiti in forma più elaborata e sofisticata, comprendendo quelli riguardanti il non superamento di limiti fisici e climatologici, controlli di consistenza interna per periodi di tempo più estesi oltre alla compilazione di analisi statistiche dei dati e del CQD.
Di seguito sono esposte alcune parametrizzazioni suggerite da diversi autori applicabili ai test precedenti su dati relativi a zone temperate.
Controllo di Valore Plausibile
WMO – Guide to the GOS (WMO, 2007)
Temperatura: -90 – +70 °C;
Radiazione Solare: 0 – 1600 W/m2;
Velocità Vento: 0 – 75 m/s (dato medio su 2 minuti o su 10 minuti);
Direzione Vento: 0-360 gradi;
Precipitazione: 0-40 mm/min.
Zahumensky (Zahumensky, 2004)
Temperatura: -80 – +60 °C;
Radiazione Solare: 0 – 1600 W/m2;
Velocità Vento: 0 – 75 m/s (dato medio su 2 minuti o su 10 minuti);
Direzione Vento: 0-360 gradi;
Precipitazione: 0-40 mm/min.
Pavan, Tomozeiu, Selvini, Marchesi, Marsigli (Pavan V., 2003)
Tmin: -40.0 °C – 40.0 °C;
Tmax: -30.0 °C – 50.0 °C;
Precipitazione: dato non negativo.
Ranci, Lussana (Ranci M.)
Temperatura: -26 – 45 °C;
Radiazione Globale: 0 – 1500 W/m2;
Velocità Vento: 0 – 30 m/s (media oraria);
Direzione Vento: 0-360 gradi;
Precipitazione: 0-150 mm/h;
I range di plausibilità potrebbero essere resi più restrittivi basandosi su variabilità stagionali o sulla climatologia della singola stazione.
Step Test
WMO – Guide to the GOS (WMO, 2007)
Dati Istantanei Elaborati:
Temperatura: 3 °C;
Radiazione Solare: 800 W/m2;
Pressione Atmosferica: 0.5 hPa;
Velocità Vento: 10 m/s.
Zahumensky (Zahumensky, 2004)
Dati Istantanei Elaborati:
Temperatura: 3 °C;
Radiazione Solare: 1000 W/m2;
Velocità Vento: 20 m/s (dato medio su 2 minuti).
Pavan, Tomozeiu, Selvini, Marchesi, Marsigli (Pavan V., 2003)
Variazione Giornaliera:
Temperatura: confronto tra la variazione osservata e tre volte il valore quadratico medio della variazione climatologica per il giorno e la stazione in esame.
Ranci, Lussana (Ranci M.)
Variazione Dato Orario:
Temperatura: 11 °C;
Radiazione Globale: 575 W/m2;
Velocità Vento: 6 m/s (media oraria);
Precipitazione: 15 mm/h;
Precipitazione (estate): 60 mm/h.
Test di Persistenza
WMO – Guide to the GOS (WMO, 2007)
Temperatura: 0.1 °C nell’ultima ora;
Pressione Atmosferica: 0.1 hPa nell’ultima ora;
Velocità Vento: 0.5 m/s (per velocità media del vento nei 10 minuti >0.1 m/s);
Direzione Vento: 10 gradi nell’ultima ora.
Zahumensky
Temperatura: 0.1 °C nell’ultima ora. (Zahumensky, 2004);
Velocità Vento: 0.5 m/s (dato medio su 2 minuti);
Direzione Vento: 10 gradi nell’ultima ora.
Ranci, Lussana (Ranci M.)
Temperatura: 0.1 °C in 24h;
Radiazione Globale: 1 W/m2in 64h;
Velocità Vento: 0.1 m/s in 6h e in 24h.
Oltre a questi controlli, il WMO ed altri autori suggeriscono ulteriori metodi per l’implementazione di una procedura di CQD basati fondamentalmente sul confronto fra i dati misurati dalle stazioni appartenenti ad una rete locale, mentre altri sono basati sul confronto fra i dati misurati da una sonda meteorologica a diverse quote o basati su test di consistenza interna fra le misure di temperatura e geopotenziale sulle diverse superfici isobariche (WMO, 1993) (Uboldi F., 2008) (Gandin, 1989) (R. Steinacker, 2000).
Il controllo di qualità dei dati rimane uno degli ostacoli più erti da superare sia per i centri di raccolta dei dati, sia per i produttori di strumentazione meteorologica, sia tutti coloro che utilizzano i dati. È necessario sottolineare ancora che i dati meteorologici e climatologici rispondono ad esigenze diverse a seconda delle applicazioni per le quali sono stati raccolti e settati. Sebbene quindi sia auspicabile la piena e libera circolazione dei dati meteoclimatici, questi devono essere accompagnati da informazioni o metadati, che ne aiutino la piena e corretta utilizzazione anche da parte di utenti non preparati scientificamente.
Valeria Menichini, dapprima responsabile del Servizio Agrometeorologico di ERSAF - Regione Lombardia è ora responsabile marketing in LSI LASTEM Srl.
valeria.menichini@gmail.com