RICERCA ITALIANA     

Metodi numerici e grafici per l'analisi dei dati temporali

Università degli Studi di Udine

Abstract

L'obiettivo centrale della presente ricerca è la produzione di un programma software che raccolga i principali metodi computazionali di analisi delle serie temporali derivati dalla moderna teoria dei sistemi dinamici nonlineari (nel seguito semplicemente indicata con la sigla DST, "Dynamical Systems Theory"). Il programma avrà una piattaforma omogenea e sarà distribuito in rete con la formula "open source" che salvaguarda la paternità intellettuale dell'opera pur consentendone l'uso gratuito e lo sviluppo. Il materiale distribuito conterrà algoritmi per l'analisi di serie temporali e sperimentali, unitamente a istruzioni, materiale didattico (e.g., esercizi) e insiemi di dati necessari per l'utilizzo. Saranno anche allegati i links necessari all'impiego del programma e quelli utili per la sua comprensione ed espansione. Prodotti congiunti del progetto saranno anche: l'addestramento di alcuni giovani ricercatori all'applicazione dei metodi della DST; l'addestramento di alcuni programmatori all'uso dei protocolli "open source"; applicazioni del programma a dati provenienti dai settori economico-finanziario, geofisico, bio-ecologico; gli atti di un workshop.

Abbiamo organizzato il nostro lavoro come segue. Tutti i membri interni (e quelli esterni interessati) saranno coinvolti nelle discussioni riguardanti: i fenomeni economici, finanziari, biologici e geofisici di interesse per il progetto; identificazione delle banche-dati pertinenti; le caratteristiche di quelle che sono importanti per definire l'architettura del software; le funzioni di calcolo e rappresentazione grafica esistenti; le funzioni di calcolo e di rappresentazione grafica che al momento non esistono in forma utilizzabile; scelte riguardanti linguaggio di programmazione, gestione dei dati, interfaccia grafica. Un gruppo di lavoro dell'Unità Locale di Udine sarà impegnato nel reclutamento di almeno due programmatori (un esperto in Linux e un esperto in Windows) e nella direzione e supervisione dello sviluppo del programma. Quindi una versione preliminare abbastanza stabile e completa sarà collocata su un sito web provvisorio per permettere a tutti i membri di iniziare la fase dell'analisi. I partecipanti alla ricerca, con diverse esperienze nell'uso di programmi "open source", utilizzeranno il programma, verificandone la facilità di installazione su una varietà di computer che adottano diversi sistemi operativi, e applicandolo a una moltitudine di dati, provenienti da diverse aree di ricerca e che presentano specifiche difficoltà operative. Nel periodo successivo, intendiamo organizzare un convegno (o workshop) internazionale e interdisciplinare su applicazioni dei metodi, problemi non risolti, e questioni aperte, per tutti i ricercatori e studenti interessati, in modo da pubblicizzare il programma, presentare i risultati dell'analisi e raccogliere commenti e critiche. <<<

Coordinatore Scientifico del Programma di Ricerca

Marji LINES Università degli Studi di UDINE

Obiettivo del Programma di Ricerca

L'obiettivo centrale di questa ricerca è la produzione di un programma software integrato, con una piattaforma omogenea, disponibile gratuitamente in rete con la formula "open source", contenente algoritmi per l'analisi di serie temporali e sperimentali derivati dalla teoria dei sistemi dinamici (DST), unitamente a istruzioni, materiale didattico (e.g., esercizi) e insiemi di dati necessari per l'utilizzo. Saranno anche allegati i links necessari all'impiego del programma e quelli utili per la sua comprensione ed espansione. Prodotto congiunti del progetto saranno anche: l'addestramento di alcuni giovani ricercatori all'applicazione dei metodi della DST e all'uso dei protocolli "open source". Infine, ci proponiamo di organizzare, a ricerca compiuta, un workshop internazionale per presentarne i risultanti ed ricevere commenti, critiche e suggerimenti.

Le principali motivazioni della ricerca possono essere riassunte come segue.

1. Mentre i metodi DST sono stati ampiamente discussi nella letteratura specialistica da due o tre decenni, in generale ciascun ricercatore o gruppo di ricercatori operanti in questo settore ha creato il proprio insieme di algoritmi per uso locale, con scarsa attenzione per la documentazione, fungibilità e facilità d'uso. Una scopo primario di questa ricerca è quello di contribuire alla diffusione e all'efficienza di tali metodi per mezzo della produzione di un insieme di algoritmi integrato, e di facile uso, che sia computazionalmente efficiente e venga distribuito gratuitamente, con una licenza del tipo GNU "open source" alla comunità degli studiosi e degli studenti interessati. A nostra opinione, la scelta di tale forma di distribuzione presenta i seguenti fondamentali vantaggi: (i) consente e stimola la continua evoluzione del programma, così da includere nuove tecniche e metodi man mano che essi diventano disponibili; (ii) permette un controllo della qualità della ricerca da parte della comunità scientifica, consentendo di verificare i risultati pubblicati senza che a tale scopo sia necessario l'acquisto di costosi programmi messi in commercio o la produzione ad hoc di complessi algoritmi.

2. Con tutta evidenza, l'applicazione dei metodi statistici e computazionali derivati dalla DST non è limitata alle serie economiche o finanziarie, al contrario essa nel passato recente si è diffusa in gran parte delle scienze naturali e sociali. (ad esempio, Weigend e Gershenfeld (eds) 1994). Tuttavia, abbiamo l'impressione che, proprio a causa della loro multidisciplinarietà, i metodi in questione siano stati talvolta relegati alla periferia delle rispettive aree di applicazione, con la probabile eccezione della fisica. La disponibilità di programmi esplicitamente progettati per l'uso dei metodi DST, basati su una comune piattaforme e liberamente disponibili contribuirà compensare tale svantaggio per i giovani ricercatori impegnati nel loro uso e faciliterà considerevolmente la comunicazione fra praticanti nelle diverse discipline interessate. Al fine di massimizzare tali potenziali sinergie, ci è sembrato essenziale che la partecipazione al progetto, nato originariamente in area economico-statistica, fosse aperta a studiosi provenienti da altri campi di ricerca. Questi ultimi, crediamo, daranno un contributo indispensabile nella definizione dell'architettura generale del programma, nella scelta e controllo degli algoritmi, nella gestione dei dati e infine nella preparazione della parte didattica del programma stesso (esercizi, ecc.).

3. I metodi di analisi delle serie temporali derivati dalla DST non sono ancora giunti a costituire un ben definito campo d'indagine a differenza di quanto è accaduto nel settore economico per i metodi econometrici. I ricercatori con una formazione di tipo statistico classico e quelli specializzati nella DST , anche quando studiano i medesimi problemi e usano metodi d'indagine che, sia pure con nomi diversi, sono assolutamente simili, comunicano poco e male. Nel corso dell'ultimo decennio, vi sono stati alcuni importanti tentativi di superare queste divisioni ed incomprensioni. Fra i molti esempi possibili, vogliamo qui citare i lavori di Tong (1983, 1990), Granger (1990) e Cleveland (1979) fra altri). Ci pare che esistano ampi spazi di convergenza, soprattutto per quanto riguarda l'applicazione all'analisi dei dati di tecniche essenzialmente simili ma formulate con terminologia diversa, quali ad esempio il metodo cosiddetto dei "vicini più vicini", da un lato, e la "regressione lineare locale" (pesata o meno), dall'altro. Ancora una volta, la disponibilità di un programma software omogeneo e ben collaudato potrebbe contribuire alla comunicazione fra studiosi con differenti formazioni ciò che, a sua volta, avrebbe ricadute positive sullo sviluppo dello stesso programma.

4. La nascita e sviluppo di una "coscienza ambientale" nei Paesi industrializzati e la conseguente introduzione di crescenti forme di controllo sull'uso delle risorse naturali ha determinato un pari incremento della raccolta ed elaborazione di dati derivanti dall'osservazione o dalla sperimentazione. I ricercatori operanti nel settore delle scienze ambientali speso hanno una conoscenza limitata dei, ma un crescente interesse nei, metodi di analisi derivanti dalla DST. Riteniamo che anche in questo caso il programma che intendiamo produrre potrebbe dare un utile contributo all'analisi dei dati sulla quale si basano le politiche ambientali. Reciprocamente, il nostro lavoro risulterà arricchito in modo significativo dalla collaborazione multidisciplinare e in particolare dalla possibilità di verificare la flessibilità ed efficacia del nostro programma software nel suo utilizzo con insiemi di dati abbondanti e diversi dalla serie storiche consuete.

5. Il presente progetto è stato stimolato e reso possibile dall' esperienza accumulata dai suoi membri promotori nella realizzazione di altre ricerche ad esso collegate. In particolare, i due membri di area economico-statistica dell'Unità Locale di Udine (uno di essi coordinatore nazionale) stanno portando a termine un progetto cofinanziato dal MIUR (COFIN 20022132535) il cui risultato più importante è la produzione di un software "open source" per l'analisi di modelli dinamici nonlineari. Inoltre, il gruppo di ricerca collegato al Dipartimento di Scienze della Terra della stessa Università ha recentemente completato lo sviluppo di due software open source all'interno del Progetto Europeo MULTIMO (Contract EVG1-CT-2000-00021).

Il nostro gruppo dispone pertanto di una ben documentata competenza per la realizzazione di progetti come quello di cui si chiede il finanziamento (vedasi la lista di siti web citata sotto). Va inoltre osservato che, secondo il piano di lavoro descritto in questa domanda, una parte preponderante dei fondi richiesti verrà investita nell'assunzione, nell'una o l'altra delle forme previste dalla normativa vigente, di giovani ricercatori. Infine, se il progetto stesso verrà approvato, esso potrà avvalersi del sito web predisposto per il precedente progetto COFIN 2002, contenente software, documentazione, dati e materiale didattico, con evidenti economia di scala.

SITI WEB web di interesse per il presente progetto di ricerca:

Workshop on Nonlinear Dynamics in Economics, Trieste, June 2004
http://scienzemfn.units.it/wonde/

Advanced School on Nonlinear Dynamics in Economics, CISM-Udine June 2004 (coordinata da Lines)
http://www.cism.it/cgi/course.cgi?year=2004

Software in fase preliminaria Prin 2002
http://mio.discoremoto.virgilio.it/tsho/

Nonlinear Dynamics: A Primer (Cambridge University Press, 2001) libro e materiale associato (Medio e Lines)
http://www.dss.uniud.it/nonlinear/

Sito Stromboli (Carniel)
http://stromboli.net

Database e server site (Carniel)
http://multimo.dgt.uniud.it

Marine Biology Laboratory (direttore Fonda)
http://www.lbmtrieste.it <<<

Risultati parziali attesi

In conclusione: ci aspettiamo che dopo 16 mesi, la prima versione del programma sarà messa a disposizione dei membri dell'intero gruppo di ricerca ed eventualmente di altri ricercatori esterni, interessati al progetto ma che, a causa di impegni concorrenti, non hanno potuto farne parte.SOFTWARE E SITO INTERNET
Alla conclusione del progetto, ci aspettiamo di avere realizzato un articolato e moderno sito web che includa il programma di software, la relativa documentazione, nonché un certo numero di working papers contenenti applicazioni alle aree di ricerca coinvolte e, ove possibile, collezioni di esercizi ad uso didattico.

CONVEGNO/WORKSHOP
Nel periodo successivo, intendiamo organizzare un convegno (o workshop) internazionale e interdisciplinare su applicazioni dei metodi, problemi non risolti, e questioni aperte, per tutti i ricercatori e studenti interessati, in modo da pubblicizzare il programma, presentare i risultati dell'analisi e raccogliere commenti e critiche. <<<

Durata

24 mesi

Base di partenza scientifica nazionale o internazionale

Lo studio delle serie temporali costituisce un campo di studio relativamente nuovo nell'ambito delle scienze statistiche; molti indicano la fondamentale ricerca di Box e Jenkins (1970) come data d'inizio di tale studio, almeno nella sua forma moderna. Nei tre decenni successivi, esso è cresciuto a tassi fenomenali sia nella sua parte teorica che in quella applicata. Non c'è dubbio che questa crescita formidabile è almeno in parte stata stimolata dal contemporaneo progresso della tecnologia dei calcolatori che ha fornito a un numero sempre maggiore di ricercatori strumenti efficienti per l'elaborazione di calcoli sempre più complessi eseguiti a velocità crescente e a costi unitari decrescenti. Lo sviluppo della ricerca nel campo delle serie temporali ha seguito un sentiero abbastanza prevedibile, dapprima definendo la struttura teorica dei processi lineari, estendendone poi i risultati a processi nonlineari monotoni e ad altri che includono certe forme ben conosciute di nonlinearità. L'evidenza empirica sempre più notevole di elementi nonlineari nelle serie storiche e in quelle sperimentali ha attratto un'attenzione crescente da parte degli studiosi del settore. Lo studio di modelli nonparametrici, cioè che non includono forme funzionali specificate a priori, è diventato a pieno titolo parte integrante, sia pur minore, della teoria statistica soltanto da pochi anni.

Recentemente, lo studio delle serie temporali e sperimentali si è arricchito di un diverso insieme di tecniche di analisi, ispirato dalla teoria dei sistemi dinamici nonlineari, spesso denominata un po' approssimativamente "teoria del caos" e alla quale ci riferiremo qui con la sigla DST (dynamical system theory). In un senso generale, le applicazioni della DST allo studio delle serie temporali potrebbero essere assimilate ai modelli nonparametrici menzionati sopra, anche se esse sono state sviluppate in gran parte al di fuori e, almeno fino a tempi recenti, all'insaputa della maggioranza degli statistici.

Il risultato teorico fondamentale che ha ispirato le prime applicazioni sistematiche della DST alle serie temporali e sperimentali è stato senza dubbio il teorema prodotto simultaneamente ed indipendentemente da Takens e Mañé nel 1981, il quale definisce in modo rigoroso le condizioni sufficienti affinché la dinamica di un ignoto sistema possa essere ricostruita sulla base di informazioni incomplete derivate da serie temporali in ipotesi generate da esso. La ricostruzione dello spazio degli stati a partire dalle serie e l'uso della tecnica detta "dei vicini più vicini" per la previsione dei valori futuri delle variabili di stato (nota in econometria e nella letteratura statistica come "regressione lineare locale", vedasi il fondamentale lavoro di Cleveland (1979)) è uno dei metodi situati all'intersezione fra l'approccio statistico tradizionale e quello basato sulla DST. Anche in questo caso, la disponibilità di grandi capacità di calcolo a basso costo ha stimolato l'applicazione delle tecniche in questione a una varietà di problemi suggeriti dalle scienze naturali e sociali. Come abbiamo accennato sopra, il metodo della ricostruzione dello spazio degli stati è stato spesso favorito per il suo carattere "nonparametrico", vale a dire nella ricerca di struttura nei dati non si richiede di ipotizzare una forma funzionale nota ma, per così dire, si lascia che "i dati parlino da soli".

A rigori, il metodo di Takens-Mañé è valido soltanto in assenza di rumore, ma le sue applicazioni a serie reali hanno dato risultati molto incoraggianti. In pratica, la possibilità di estrarre da osservazioni parziali elementi della struttura di un ipotetico sistema generatore dei dati, dipende dalla qualità e quantità dei dati stessi. Per quanto riguarda il primo di questi fattori, è evidente che se il rapporto fra il segnale e il rumore è troppo basso, il primo verrà "sommerso", e il suo recupero risulterà impossibile. Per questa ragione, una parte importante della letteratura DST applicata alle serie temporali è dedicata al filtraggio del rumore, utilizzando in modo spesso creativo tecniche sviluppate nell'ambito della teoria della comunicazione. Ad esempio, il metodo di ricostruzione direttamente derivato dal teorema suesposto che tipicamente utilizza i valori ritardati di una o più variabili osservate, può essere convenientemente sostituito da uno basato sui cosiddetti "valori singolari" sui quali esiste un'importante letteratura matematico-statistica. Grosso modo, con tale metodo si calcolano gli autovalori (nonnegativi) della matrice di covarianza con la speranza di identificare un piccolo numero di direzioni privilegiate associate agli autovalori dominanti, mentre tutti gli altri sono sommersi da un "pavimento di rumore". Con quest'ultimo metodo pertanto si possono affrontare contestualmente il problema della ricostruzione e quello del filtraggio del rumore. Quando l'ipotetico attrattore sia stato ricostruito, per mezzo dell'uno o l'altro dei metodi disponibili, sarà possibile stimare un certo numero di invarianti statistici analizzati dalla DST e rilevanti per l'interpretazione e la previsione dei dati, quali gli esponenti caratteristici di Lyapunov, la dimensione di correlazione, l'entropia metrica, ecc. Per quanto riguarda il la quantità dei dati, occorre dire che i metodi basati sulla DST a fronte di una grande flessibilità d'impiego, per conseguire risultati affidabili necessitano però di dati assai abbondanti. Tuttavia, i diversi settori rappresentati nel presente progetto possono contare sulla disponibilità di serie temporali di lunghezza sufficiente per ottenere risultati interessanti e robusti.

Quando ci si muove dall'analisi lineare a quella non lineare, si comincia sovente considerando dei sistemi lineari a tratti ("piece-wise linear"). Nei lavori teorici sulle dinamiche caotiche generate da mappe nonlineari dell'intervallo, ha avuto una grande utilità lo studio della cosiddetta "mappa a tenda". Gli statistici hanno adottato una simile strategia con l'uso dei modelli autoregressivi a soglia ("threshold autoregressive models") nello studio dei quali ha avuto un ruolo pionieristico Tong. Questi modelli sono relativamente semplici e ben si adattano a situazioni in cui i dati mostrano bruschi cambiamenti di regime (cioè delle funzioni che determinano la dinamica). Tali modelli sono stati applicati con successo all'analisi della media e varianza condizionata di variabili finanziarie e nell'ambito del nostro progetto ci proponiamo di utilizzare algoritmi per la loro applicazione a dati finanziari e geofisici. Utilizzando una simile filosofia, la tecnica "dei vicini più vicini" cerca di prevedere il corso futuro delle variabili dividendo il ricostruito spazio degli stati in più regioni, all'interno delle quali è utilizzata una diversa struttura previsiva, che nel più semplice dei casi può ben essere una regressione lineare. In quest'ultimo caso, si parla di "regressione lineare locale", un metodo dunque che è lineare soltanto all'interno di ciascuna regione dello spazio, ma che globalmente è nonlineare.

L'eccezionale incremento degli studi sulle serie temporali non lineari che ha avuto luogo negli anni '80 "è stato reso possibile dalla diffusa disponibilità di potenti computer, che ha consentito la registrazione di serie temporali molto più lunghe, l'applicazione su queste di algoritmi più complessi e la visualizzazione interattiva dei dati e dei risultati di tali algoritmi" (cf. Weigend and Gershenfeld, 1993). Inoltre, negli ultimi decenni, la crescente sensibilità verso le problematiche legate alla gestione delle risorse naturali, ha determinato un costante aumento della raccolta di dati ambientali, e della loro archiviazione sistematica da parte di enti di ricerca pubblici e privati. Nel complesso, esiste ora una notevole disponibilità di dati economici, finanziari, biologici ed ecologici, costituiti da serie temporali pluridecennali speso di ottima qualità. Inoltre, gli studiosi che utilizzano i tradizionali strumenti di analisi statistica delle serie temporali, e in particolare quelli lineari, possono avvalersi di un insieme di metodi computazionali uniformi, ben articolati e collaudati da decenni di largo uso. Da l'altra parte, le applicazioni basate sulla DST, un settore di ricerca più recente e disomogeneo, soffrono di qualche ritardo. La conoscenza e il grado di approfondimento della DST varia notevolmente fra gli studiosi di diverse discipline o anche all'interno della stessa disciplina e questa difformità si riflette nella eterogeneità dei metodi computazionali usati. Questo fatto ritarda la disseminazione dei risultati, rende meno trasparenti le procedure di calcolo usate e, conseguentemente, più ardua la replica degli esperimenti numerici, e ciò rende difficoltoso utilizzare le conoscenze accumulate attraverso le precedenti esperienze come punto di partenza per le nuove ricerche teoriche e applicative.

Nell'applicazione di metodi che non sono basati su forme funzionali scelte a priori, i criteri di selezione e valutazione assumono una particolare importanza. Sarebbe dunque auspicabile che ci fosse una procedura di facile uso per fare previsioni dal modello nonlineare stimato, ciò che consentirebbe di dare un peso maggiore alla precisione previsiva fuori-campione nel criterio di scelta del modello. Nei metodi nonlineari menzionati sopra alcuni dei parametri che hanno un ruolo fondamentale nelle procedure di stima e previsione sono: (i) dimensione di "embedding"; (ii) criteri di vicinanza nelle applicazioni del metodo dei "vicini più vicini"; (iii) indici di errore; (iv) valutazione dei costi dell'errore. In questi ed altri casi analoghi una discussione fra ricercatori provenienti da diversi settori di ricerca può essere estremamente proficua, oltre a costituire una rara opportunità per uniformare terminologia e protocolli. Le difficoltà non sono poi specifiche ad una disciplina ma caratterizzano qualsiasi approccio all'analisi di serie temporali e dati sperimentali.

Un'importante condizione di progresso in questo campo, dove i metodi computazionali giocano un ruolo fondamentale, è la possibilità di verificare facilmente e rapidamente i risultati ottenuti, replicando le procedure di stima e gli esercizi di previsione. Ciò, a sua volta, richiede la disponibilità di strumenti di calcolo e rappresentazione grafica gratuiti, di facile utilizzo e larga diffusione. Per queste ragioni, un "pacchetto" di programmi "open source" e di facile utilizzazione, concepito e verificato all'interno di un gruppo di ricerca interdisciplinare, potrebbe essere un contributo non secondario al progresso scientifico nel settore che qui ci interessa.

Tale è lo scopo principale del nostro progetto. Riteniamo di avere qualche vantaggio comparato in questo campo, basato su esperienze recenti. In effetti, due dei membri dell' ULU stanno attualmente completando la produzione di un programma integrato di algoritmi per l'analisi numerico-grafica della dinamica generata da modelli nonlineari (PRIN2002132535). Inoltre, un terzo membro dell'ULU che si è aggiunto quest'anno al nostro gruppo di ricerca è stato responsabile scientifico per lo sviluppo di due programmi di tipo "open source", riguardanti lo stoccaggio dei dati e gli strumenti di previsione, nel Progetto Europeo MULTIMO. I vari membri interni ed esterni dell'ULU intendono applicare il software a dati finanziari ed geofisici. Il gruppo di ricerca di Trieste include biologi con grande esperienza nella raccolta e analisi di dati, matematici, teorici ed applicati, ed informatici esperti nella soluzione di problemi tecnici ed analitici rilevanti per il nostro progetto. <<<