RICERCA ITALIANA     

METODI E MODELLI STATISTICI PER LA VALUTAZIONE DEI PROCESSI FORMATIVI

Università degli Studi di Bologna

Abstract

Il progetto di ricerca si propone di sviluppare metodi e modelli statistici che possano utilmente supportare la
valutazione dei processi formativi universitari, con particolare riferimento agli aspetti legati alla valutazione dell'efficacia, interna ed esterna, anche attraverso la misura della soddisfazione degli studenti e dei laureati.
La valutazione nel settore dell'istruzione richiede la predisposizione di un'adeguata metodologia che sia in grado di cogliere appieno la complessità del fenomeno. La letteratura statistica offre molti utili strumenti di analisi, che però necessitano di adeguamenti e ulteriori sviluppi al fine di rispondere agli obiettivi della valutazione, tra i quali si deve certamente annoverare la predisposizione di informazioni direttamente utilizzabili nel governo dell'università.
Le diverse competenze delle unità locali facenti parte del gruppo di ricerca consentono di affrontare l'argomento seguendo il ciclo di vita dello studente da più punti di vista, valutando l'efficacia del processo con riferimento alle esigenze degli utenti (studenti), degli
amministratori e degli operatori economici.
Il gruppo di ricerca si propone in particolare di sviluppare metodologie statistiche adeguate all'analisi dei seguenti aspetti:
- apprendimento e acquisizione di competenze da parte degli studenti, anche in un'ottica di orientamento all'ingresso;
- efficacia interna ed esterna del processo di formazione, con la duplice finalità di comprendere i meccanismi che lo regolano e di predisporre graduatorie tra le unità che erogano il servizio (atenei, facoltà, corsi di laurea, insegnamenti);
- soddisfazione degli studenti e dei laureati in merito all'offerta didattica e alla formazione ricevuta, sia in un'ottica di customer satisfaction che in un'ottica di comprensione e rappresentazione del processo di formulazione dei giudizi di gradimento e di valutazione. La complessità dei fenomeni sopra richiamati richiede l'utilizzo di metodi statistici sempre più avanzati; il gruppo di ricerca si propone, quindi, di affrontare i principali problemi ancora non completamente risolti in questo campo. In particolare, verranno effettuati approfondimenti conoscitivi per quanto concerne le potenzialità e i limiti della classe, molto vasta, dei modelli lineari generalizzati misti e a variabili latenti, che include modelli ampiamente utilizzati nell'ambito dell'istruzione, tra cui i modelli multilivello, i modelli di analisi fattoriale, i modelli a equazioni strutturali. Inoltre, sempre in ottica modellistica, si considereranno proposte metodologiche rivolte in modo specifico all'analisi di dati di valutazione espressi nella forma di ranghi di gradimento.
Nuove procedure diagnostiche per modelli saranno studiate in un'ottica di inferenza robusta, anche al fine di identificare eventuali gruppi di osservazioni anomale.
L'approccio basato su modelli sarà integrato da altre metodologie statistiche utili in particolari ambiti applicativi: conjoint analysis,per l'identificazione degli attributi rilevanti del servizio offerto, e metodi statistici non parametrici, finalizzati all'ordinamento e alla classificazione delle unità sulla base di vettori di variabili/indicatori osservati.
I modelli statistici verranno sviluppati per lo più con riferimento a specifici problemi di valutazione, utilizzando archivi di dati a disposizione del gruppo di ricerca. <<<

Coordinatore Scientifico del Programma di Ricerca

Paola Monari Università degli Studi di BOLOGNA

Obiettivo del Programma di Ricerca

Il progetto di ricerca si incentra sullo sviluppo di metodi e modelli statistici che possano apportare contributi innovativi nelle procedure di valutazione dei processi formativi universitari e, più in generale, scolastici.
Il gruppo si propone di diffondere, nei modi e nelle sedi opportune, i risultati delle proprie ricerche, contribuendo allo sviluppo della cultura della valutazione, la cui necessità in Italia è prevista dalla normativa vigente in materia e ampiamente riconosciuta a livello politico-istituzionale.
Un sistema di valutazione, per essere affidabile, deve collocarsi in un contesto teorico di riferimento e proporre indicatori modelli statistici di valutazione coerenti con gli obiettivi che si vogliono perseguire.
Un interessante paradigma di riferimento si basa sul concetto di ciclo di vita dello studente e ne sottolinea la centralità in tutte le fasi che caratterizzano il suo status e che richiedono la presenza attiva del sistema università: nell'orientamento all'accesso (scelta dell'Ateneo, della Facoltà, del corso di studi), nel controllo in itinere (organizzazione della didattica e dei servizi di supporto alla didattica quali: orientamento in entrata, tutorato, biblioteche, mense, tirocini di formazione, ecc.), nell'orientamento in uscita verso il mondo del lavoro (tirocini, esperienze aziendali, placement, ecc.) e nella misura dei riflessi che la formazione acquisita ha nel mondo del lavoro (utilizzo delle competenze acquisite, soddisfazione del lavoro svolto, remunerazione e progressione nella carriera, ecc.).
Ogni atto di valutazione, secondo i canoni attuali, si fonda su modelli statistici che hanno come input il monitoraggio del particolare contesto di interesse e come output l'interpretazione dei risultati (performance) all'interno del sistema di valutazione previsto dal modello statistico.
La valutazione nel settore dell'istruzione universitaria richiede la predisposizione di adeguati metodi e modelli statistici che siano in grado di cogliere appieno la complessità del fenomeno. Tale complessità è imputabile ad aspetti quali: la natura non sperimentale del contesto, cui sono associati i ben noti problemi di distorsione da selezione e presenza di fattori di confondimento; la presenza di una struttura gerarchica delle osservazioni rilevante ai fini dell'analisi, che comporta problemi di correlazione e la considerazione di effetti a livelli diversi della gerarchia e delle loro interazioni (analisi multilivello); la natura multivariata e qualitativa delle variabili risposta che richiede l'utilizzo di metodologie statistiche 'ad hoc'; la presenza di fattori non osservabili, come ad esempio la soddisfazione, che richiede l'utilizzo di modelli a variabili latenti; la contemporanea presenza nell'esplicitazione dei giudizi di componenti di gradimento e componenti di incertezza, che richiede la specificazione e stima di modelli mistura.
In particolare, saranno esplorate le potenzialità dei modelli lineari generalizzati misti e a variabili latenti (GLLAMM), una classe generale che include molti modelli ampiamente utilizzati nell'ambito dell'istruzione, tra cui i modelli multilivello, i modelli di analisi fattoriale, i modelli a equazioni strutturali; i modelli GLLAMM saranno inoltre studiati in un'ottica di inferenza robusta, anche al fine di identificare l'eventuale presenza di singole osservazioni anomale o di gruppi di esse. L'approccio basato su modelli sarà integrato da specifiche metodologie statistiche utili in particolari ambiti investigativi: conjoint analysis, utile per identificare gli attributi rilevanti del servizio offerto e metodi statistici non parametrici, questi ultimi finalizzati alla classificazione e all'ordinamento delle unità sulla base di vettori di variabili/indicatori osservati.
I metodi statistici proposti verranno sviluppati per lo più con riferimento a specifici problemi di valutazione utilizzando archivi di dati a disposizione del gruppo di ricerca. E' infatti convinzione dei membri del gruppo che la ricerca metodologica in questo settore non si debba porre finalità troppo generali, ma debba prendere spunto da casi specifici per mettere a punto strumenti in grado di fornire risposte convincenti, dimostrando, in concreto, i vantaggi derivanti dall'impiego di procedure più sofisticate rispetto a quelle attualmente in uso.
In sintesi, il gruppo di ricerca si propone di sviluppare metodi e modelli statistici idonei all'analisi dei seguenti aspetti: apprendimento e acquisizione di competenze da parte degli studenti, anche in un'ottica di orientamento all'ingresso; efficacia interna ed esterna del processo di formazione, con la duplice finalità di comprendere i meccanismi che lo regolano e di disporre le unità erogatrici in graduatorie finalizzate all'innalzamento del livello qualitativo dei processi formativi; soddisfazione degli studenti
e dei laureati in merito all'offerta didattica e alla formazione ricevuta, sia in un'ottica di customer satisfaction che in un'ottica di comprensione e adeguata rappresentazione del processo di formulazione dei giudizi di gradimento e di valutazione.
I risultati derivanti dalle analisi effettuate e il sistema di indicatori che verrà proposto costituiscono la base informativa essenziale per l'attivazione di interventi mirati ai vari livelli decisionali, capaci di innalzare la qualità dei servizi formativi offerti. Il progetto di ricerca intende fornire indicazioni utili a questo scopo, evidenziando, nel contempo, le potenzialità informative e le limitazioni degli strumenti statistici proposti. <<<

Durata

24 mesi

Base di partenza scientifica nazionale o internazionale

A livello nazionale e internazionale da anni si discute sulle procedure da seguire per garantire l'efficienza, l'efficacia e la qualità nell'istruzione di terzo livello e di come effettuare le opportune valutazioni.
In Italia, la necessità di valutare le università e il sistema universitario nel suo complesso è stata riconosciuta dalla legge di istituzione 168/1989 del MIUR e dalla legge 370/1999 che ha disciplinato, più compiutamente, la valutazione del sistema universitario. Al di là delle norme legislative e della loro validità complessiva, non vi è dubbio che i cambiamenti in atto richiedono che le università pongano tra i loro obiettivi anche l'innalzamento dei livelli di efficacia dei servizi offerti; ciò al fine di garantire sia l'investimento pubblico, sia i diritti dei giovani, delle loro famiglie, e di tutti i portatori di interessi per i risultati che il sistema universitario riesce a conseguire, sia, infine, per riaffermare l'importanza di questa istituzione quale motore dello sviluppo culturale, sociale ed economico del Paese.
Il tema della valutazione risulta ancora più rilevante nella fase iniziale di attuazione della riforma dei cicli e degli ordinamenti didattici dell'istruzione universitaria (Monti e Briganti, 2002; Rebora et al., 2002; Bini e Chiandotto, 2003, Bini 2005), caratterizzata da una notevole incertezza sulle potenzialità del nuovo modello di realizzare l'obiettivo di maggiore efficienza-efficacia a cui era stato preordinato . Tale obiettivo dovrebbe tradursi nella risoluzione o nell'attenuazione delle criticità che sono propri del sistema universitario italiano: elevati tassi di abbandono, eccessiva durata degli studi, inadeguatezza della formazione universitaria rispetto alle esigenze espresse dal mondo del lavoro. Le operazioni di valutazione consentono di analizzare il processo di formazione e, mediante il feedback proveniente dagli utenti (studenti, laureati/diplomati, mondo del lavoro), possono fornire l'input per una continua revisione di tale processo. Questo obiettivo può essere perseguito implementando o modificando le attività di orientamento, le modalità di accertamento delle conoscenze, l'organizzazione della didattica.
Sebbene tutte le unità locali impegnate nel presente progetto di ricerca abbiano già trattato il tema della valutazione del sistema universitario, alcuni aspetti non sono stati affrontati e altri non sono stati sufficientemente analizzati. Appare quindi evidente la necessità di ulteriori approfondimenti conoscitivi soprattutto di ordine teorico-metodologico. In particolare:
-non è stato affrontato il tema della coerenza tra le abilità possedute all'ingresso e il corso di studi scelto (scarsa coerenza che può comportare difficoltà nell'apprendimento e fenomeni di abbandono degli studi), aspetto questo cui dedicherà particolare attenzione l'unità operativa dell'Università di Bologna;
-non sono stati approfonditi gli aspetti connessi alla misura della soddisfazione: tale argomento verrà affrontato dalle unità operative di Napoli, Firenze e Padova, basandosi su metodologie statistiche differenti e confrontando le potenzialità e i limiti dei diversi approcci; · non è stato sufficientemente evidenziato il ruolo che le variabili di contesto hanno nella formulazione dei giudizi di valutazione; tale aspetto verrà sviluppato in un'ottica modellistica dall'unità di Napoli;
-non sono state verificate le potenzialità dei metodi statistici non parametrici nella valutazione dei processi formativi; tale aspetto verrà sviluppato dall'unità operativa dell'Università di Padova.
Il progetto, come già sottolineato, si concentra in modo specifico su valutazioni di efficacia interna ed esterna del processo formativo universitario. Per quanto riguarda l'efficacia interna, essa si può considerare sia dal punto di vista dello studente, misurando il suo grado di soddisfazione rispetto ai servizi offerti, sia dal punto di vista dell'unità erogatrice del servizio, misurando il grado di raggiungimento degli obiettivi prefissati in termini di apprendimento durante il corso di studi, di tassi e tempi di laurea e di caratteristiche qualitative dei laureati. Con riferimento invece all'efficacia esterna della formazione universitaria, questa va misurata soprattutto rispetto al mercato del lavoro, anche in termini di valutazione del capitale umano rappresentato dai neo-laureati; vanno quindi definite misure di efficacia basate, ad esempio, sulla probabilità di occupazione, sui tempi di ingresso nel mercato del lavoro, sulla coerenza tra occupazione e formazione universitaria conseguita, sull'utilizzo delle competenze acquisite. In particolare, con riferimento agli ambiti sopra delineati, lo stato dell'arte è riassunto nei seguenti punti 1, 2 e 3.

1. APPRENDIMENTO
L'attività di valutazione deve basarsi su un apposito e pertinente sistema di indicatori e su adeguati metodi e modelli statistici di analisi dei dati (Chiandotto, 2002). L'interesse per la costruzione di indicatori utili per valutare i sistemi formativi è ormai diffuso in tutti gli organismi internazionali, tuttavia, nella generalità dei casi, gli indicatori proposti si basano su semplici statistiche descrittive, come gli indicatori OECD (2004), mentre nella letteratura scientifica si suggerisce ormai da anni l'utilizzo di metodologie statistiche più consone alla valutazione dei sistemi formativi (Goldstein e Spiegelhalter, 1996; Goldstein, 2004b). A questo proposito si segnala lo studio PISA dell'OECD sull'apprendimento degli studenti (Adams e Wu, 2002), che produce indicatori tramite una complessa procedura statistica di taglio psicometrico; tuttavia il dibattito sugli aspetti metodologici è tutt'ora aperto (si vedano ad esempio le critiche di Goldstein, 2004a, alle procedure PISA).
Se si vuole affrontare razionalmente il problema della verifica delle abilità e delle conoscenze acquisite dagli studenti, partendo dal presupposto che tale valutazione avvenga principalmente tramite prove e/o questionari costituiti da un insieme di domande (item) volte alla misurazione dell'abilità del discente, i dati raccolti possono essere trattati con le metodologie consolidate proposte dalla psicometria e dalla docimologia o anche attraverso l'impiego dei modelli statistici a variabili latenti (Mignani et al., 2005; Mignani e Ricci, 2005).
Numerose sono le proposte che hanno fatto seguito all'analisi fattoriale rivolte alla valutazione delle performance degli studenti durante il loro percorso formativo. Quando l'obiettivo è quello di valutare l'abilità di uno studente, assunta come tratto latente sottostante al processo di apprendimento, ci si riferisce ai modelli di Item Response Theory (IRT: Lord e Novick, 1968), di cui una estensione di particolare interesse è costituita dai test adattivi ( Glas e van der Linden, 2003). Se invece si vogliono valutare le competenze "in uscita", misurate attraverso indicatori che descrivono gli obiettivi raggiunti e le esperienze formative del percorso seguito, si può fare ricorso ai modelli lineari generalizzati per variabili latenti (Bartholomew e Knott, 1999) che rappresentano un'estensione dei modelli lineari generalizzati nel caso di variabili dipendenti non osservabili. L'interesse rivolto allo studio dei modelli a variabili latenti è cresciuto in questi ultimi anni; tuttavia, sono molti i problemi ancora irrisolti e gli aspetti che meritano ulteriori approfondimenti, sia sul piano prettamente metodologico che su quello applicativo (Mignani e Cagnone, 2004).
Nell'ottica dell'analisi dell'efficacia del sistema formativo universitario, particolare importanza è rivestita dai giudizi espressi dagli studenti e dai laureati, sia in termini di preferenze rispetto ad insiemi di alternative, sia come valutazioni del grado di soddisfazione per i servizi che sono loro forniti e per il percorso lavorativo successivo al conseguimento del titolo. In realtà, nella letteratura statistica, la diversità di contesti nei quali risulta utile l'analisi di dati di preferenze e/o valutazioni ha generato una corrispondente varietà delle metodologie sviluppate (D'Elia, 2003; D'Elia, Piccolo, 2005a, 2005b).

2. EFFICACIA
Riguardo alla misura dell'efficacia, è necessario distinguere tra misure di efficacia assoluta e relativa. Nel caso dell'efficacia assoluta, che attiene alla valutazione di impatto di singoli interventi (p.e. borse di studio), i metodi statistici da utilizzare sono quelli tipici dell'analisi causale, che sono oggetto di ampio dibattito nella letteratura internazionale (Angrist et al. 1996; Heckman et al., 1999). Tra i possibili approcci all'analisi causale, appare rilevante quello dei risultati potenziali (Rubin, 1974) specialmente nella versione estesa nota come principal strata. L'applicazione di tale metodologia in ambito non-sperimentale, come nel caso della valutazione dei processi formativi universitari, comporta la risoluzione di vari problemi metodologici; una prima proposta in tal senso è quella presentata da Grilli e Mealli (2004). In merito, invece, alle valutazioni di efficacia relativa, cioè valutazioni comparative delle unità eroganti uno stesso servizio, è fondamentale procedere a confronti tra unità (corsi, atenei, ecc.) in modo da ottenere graduatorie a parità di condizioni, in termini sia di composizione del corpo studentesco, sia di condizioni di contesto, quali la disponibilità di aule e laboratori, docenti, e altre risorse necessarie allo svolgimento dell'attività didattica. Tali confronti possono essere effettuati seguendo sostanzialmente due strade alternative: metodi statistici non parametrici basati su test di permutazione (Pesarin, 2001), opportunamente modificati per tener conto dei fattori di confondimento, attraverso metodi di stratificazione, quali il propensity score (Rosenbaum e Rubin, 1983; Arboretti e Bolzan, 2002); modelli di regressione multilivello (Goldstein e Spiegehalter, 1996; Raudenbush e Willms,1995; Gori e Vittadini, 1999; Goldstein, 2001).
Qualunque sia il procedimento utilizzato per la costruzione di indicatori di efficacia netti, cioè depurati dall'effetto dei fattori di confondimento, resta il problema di come procedere alla costruzione di una graduatoria tra unità basata su più indicatori congiuntamente considerati, quali, ad esempio il tasso di abbandono, il tasso di laureati in corso e la valutazione della didattica. In merito a questo problema sono state avanzate in letteratura diverse proposte, tra cui i metodi di analisi multicriterio (Brans et al., 1986), la metodologia di combinazione non parametrica di graduatorie dipendenti NPC ranking, la costruzione di indici sintetici come media opportunamente ponderata degli indici elementari (Rampichini et al., 2004).
Uno degli obiettivi delle analisi di efficacia è quello di mettere in luce alcune unità (atenei, corsi di studio) che risultano anomale sulla base degli indicatori costruiti; si tratta in prevalenza di unità anomale rispetto ad una pluralità di indicatori congiuntamente considerati e non individuabili mediante i metodi diagnostici tradizionali. A questo fine l'approccio della forward search si è rivelato particolarmente utile (Bini et al., 2004) e pertanto risulta opportuna una sua estensione ai modelli tipicamente utilizzati nell'ambito delle valutazioni di efficacia, quali i modelli multilivello e i modelli a equazioni strutturali. I metodi di forward search consentono, inoltre, di ottenere indicatori di sintesi robusti delle caratteristiche di ciascuna unità, non influenzati dai valori anomali e quindi utilizzabili senza distorsioni a fini di un processo di benchmarking di atenei e facoltà.

3. SODDISFAZIONE
Considerando che i giudizi di preferenza e di valutazione sono il risultato finale di un processo di ordinamento in graduatorie esplicite od implicite di gradimento, l'analisi della soddisfazione può essere condotta con metodi statistici per variabili ordinali o variabili rango (Fligner e Vrducci, 2003Marden, 1995). L'approccio metodologico maggiormente consolidato per l'analisi di dati ordinali o ranghi riferisce la scelta espressa dal soggetto ad una o più variabili latenti continue, delle quali il giudizio di preferenza o di valutazione costituisce una discretizzazione (Joreskog e Moustaki, 2001). In questo spirito, nell'ambito della customer satisfaction, sono stati proposti gli indici CSI (Customer Satisfaction Indexes), la cui caratteristica peculiare consiste nella descrizione del processo di formazione della soddisfazione tramite un sistema di relazioni tra costrutti latenti relativi al servizio offerto e all'atteggiamento dell'utente. Tra i vari indici proposti, il più adeguato nel contesto della valutazione del sistema universitario pare essere quello proposto nell'ambito dalla Comunità Europea (ECSI: European Customer Satisfaction Index, 1999). La metodologia più appropriata per la stima di questi indici, data l'articolazione della parte strutturale che li contraddistingue, è quella dei modelli ad equazioni strutturali (SEM: Structural Equation Models). Prime esplorazioni in tale direzione (Chiandotto et al., 2004) hanno condotto a risultati incoraggianti, ma restano ancora da risolvere problemi di specificazione dell'indice nell'ambito dell'istruzione e di adattamento del modello statistico.
Un diverso approccio, sempre basato su variabili latenti, che consente la misurazione congiunta della soddisfazione e della criticità dei vari aspetti del servizio in esame è rappresentato dall'applicazione del modello di Rasch. Tale modello, ampiamente utilizzato nell'ambito della valutazione delle abilità, necessita di opportuni adattamenti per essere applicato a problemi di customer satisfaction.
Un approccio alternativo all'analisi della soddisfazione si basa sull'utilizzo di modelli statistici per variabili ordinali e di rango, che tengono conto sia della natura discreta delle variabili che rappresentano i giudizi espressi, evitando così il ricorso a variabili latenti, che della possibilità di esplicitare il contributo delle covariate del soggetto. La caratteristica più interessante di tali modelli risiede nella loro attitudine a rappresentare in termini probabilistici il meccanismo psicologico della scelta che presiede all'elaborazione di giudizi di gradimento e di valutazione. Alcune proposte metodologiche in tale direzione sono state formulate da D'Elia (2003, 2004) e da Piccolo (2003) e D'Elia e Piccolo (2005a, 2005b). Rimangono questioni aperte relative alla specificazione e stima dei modelli in presenza di variabili esplicative.
Infine, l'analisi della soddisfazione di studenti e laureati può essere utilmente condotta con la conjoint analysis, una metodologia sviluppata nell'ambito della customer satisfaction con la finalità di individuare il contributo dei vari aspetti del servizio offerto nella determinazione della soddisfazione dell'utente, consentendo così interventi mirati volti al miglioramento del servizio. L'utilizzo della conjoint analysis nell'ambito dell'istruzione è ancora in una fase iniziale e richiede alcune modifiche metodologiche, con particolare attenzione alla definizione del piano degli esperimenti (Berni e Grassini, 2002; Arboretti, 2003). <<<