RICERCA ITALIANA     

Modelli, indicatori e metodi per rappresentare l’efficacia formativa di corsi di laurea ai fini dell’accreditamento e del miglioramento organizzativo

Università degli Studi di Padova

Abstract

Il progetto mira a definire modelli, indicatori e metodi per misurare e valutare l’efficacia esterna di singoli corsi di laurea nella prospettiva dell’accreditamento e del miglioramento delle attività dei corsi. L’efficacia esterna della formazione è il risultato che i laureati di un dato corso ottengono nel lavoro, nella produzione e nella più ampia società civile. I laureati assumono così la veste di testimoni delle competenze di alto livello acquisibili con la frequenza del corso di studio. Nel realizzare la ricerca, passeremo iterativamente da ideazioni teoriche a verifiche empiriche e svilupperemo criteri di rilevazione e analisi specifici. La ricerca si fonda sull’ipotesi che l’efficacia di un processo didattico è determinabile nei suoi molteplici aspetti e che il valore aggiunto in termini formativi di un corso può essere quantificato.
Gli obiettivi del progetto sono:
a) definizione di modelli per la misura delle competenze dei laureati e per la rappresentazione dell’efficacia formativa di un corso e della reputazione di una struttura formativa che propone corsi. Per ambedue gli scopi, si dovrà definire un insieme di indicatori idonei alla rappresentazione dell’efficacia nello spazio e nel tempo. Gli indicatori saranno opportunamente gerarchizzati.
b) Definizione, dopo un confronto tra metodi, di un criterio di aggregazione degli indicatori elementari che compongono l’efficacia in un indicatore complessivo, idoneo a stimare l’effetto di ciascun corso, nell’intento di offrire a chi opera nella valutazione comparativa uno strumento di misura dell’efficacia esterna credibile. Il confronto serve a definire il metodo più appropriato tra quelli in progetto. Si proporranno anche metodi di rilevazione ed analisi innovativi.
c) Realizzazione di indagini su testimoni privilegiati (in primis, esperti del mondo del lavoro e dell’università) per ottenere giudizi sulle relazioni tra indicatori di aspetti elementari (velocità nel trovare lavoro qualificato, progresso economico, contrattuale e professionale, ruoli svolti, realizzazione sociale, relazioni interne), al fine di aggregarli in indicatori complessi.
d) Realizzazione di più indagini su campioni di laureati per determinare l’applicabilità dei metodi ideati e poter definire, in modo particolare applicando metodi di analisi statistica multivariata:
. la scomponibilità matematica dell’effetto complessivo della frequenza di un corso di studi in una parte attribuibile esclusivamente alla frequenza del corso e in altre parti associabili alle componenti organizzative e culturali e all’ambiente socio-economico della struttura che eroga la formazione. Le parti sovraordinate possono condizionare gli orientamenti culturali e organizzativi di tutti i corsi in essa organizzati. Pertanto, questi effetti vanno computati a parte;
. la spiegazione statistica della variabilità dell’efficacia dei corsi e della variabilità dei contributi “netti” delle componenti sovraordinate in senso organizzativo (facoltà, università) o ambientale (regione geografica) di una pluralità di corsi di studi;
. la stima dell’effetto sinergico della formazione post lauream e di quella universitaria sul valore aggiunto dal laureato al mondo del lavoro e della produzione e alla società civile;
. l’analisi delle variazioni dell’efficacia esterna nei primi anni dopo la laurea al fine di comprendere entro quali tempi un titolo di studio sviluppa i propri effetti nel mondo del lavoro, in relazione all’ipotesi che l’assunzione dei laureati e le loro carriere hanno velocità e prospettive differenziate secondo il tipo di corso e le competenze che il laureato dimostra sul mercato del lavoro.
e) Analizzare le competenze e il valore aggiunto al lavoro dai laureati in alcune discipline (scienze statistiche, mediche, del servizio sociale) per le quali le Unità di ricerca locali possono raggiungere i propri laureati e altri testimoni privilegiati che sanno quali competenze danno frutti nel lavoro e nella società e quali sarebbero necessarie per svolgere le attività per le quali i laureati di una certa disciplina sono vocati.
f) Valutare la capacità dei metodi statistici di discriminare tra corsi riguardo alla stima dell’efficacia. I metodi devono stimare gli effetti dimostrando (i) capacità discriminatoria tra corsi che, in ragione dell’indirizzo formativo, hanno un diverso impatto sul lavoro e sulla vita sociale dei laureati, (ii) sensibilità anche a piccole variazioni nella qualità della formazione erogata, (iii) stabilità dei valori in tempi ravvicinati, in modo da rendere credibile il criterio di stima, sia ai fini dell’accreditamento del corso, sia per la ripartizione di risorse e sia per suggerire miglioramenti nei criteri di formazione degli studenti. <<<

Coordinatore Scientifico del Programma di Ricerca

Luigi Fabbris Università degli Studi di PADOVA

Obiettivo del Programma di Ricerca

Il progetto mira a definire modelli, indicatori e metodi per misurare e valutare l’efficacia esterna di singoli corsi di laurea dal punto di vista dell’accreditamento della struttura erogatrice e del miglioramento delle attività. La ricerca si fonda sull’ipotesi che l’efficacia di un processo didattico è determinabile nei suoi molteplici aspetti e che il valore aggiunto dalla formazione acquisibile in un corso può essere quantificato. L’efficacia esterna della formazione è il valore che i laureati aggiungono al mondo del lavoro e della produzione e alla più ampia società civile. I laureati assumono così il ruolo di principali, anche se non esclusivi, testimoni delle competenze di alto livello acquisibili con la frequenza del corso.
Il programma si sviluppa su tre fronti: uno definitorio, volto a identificare tramite varie fonti le componenti dell’efficacia, uno informativo, volto a raccogliere dati e informazioni sull’efficacia della formazione universitaria nei primi anni dopo il conseguimento del titolo, e uno metodologico, volto a finalizzare e selezionare i metodi idonei a sintetizzare la pluralità di componenti dell’efficacia in un indicatore complessivo evidenziando, in modo particolare, i meccanismi di costruzione dell’indicatore e le cause della variabilità tra le stime ottenibili applicando il metodo a dati reali.
La fase definitoria mira a riconoscere gli aspetti peculiari dell’efficacia esterna, a stabilire i relativi indicatori, le eventuali gerarchie e i criteri di combinazione degli indicatori elementari in indicatori complessivi. In questa fase si vuole dare un significato compiuto ai concetti basilari del progetto, vale a dire l’efficacia esterna e le sue componenti fondamentali, tra le quali assume un significato particolare, per i riflessi che può avere sul piano formativo, un indice di uso delle competenze nel lavoro. Le definizioni sono indispensabili per avviare la ricerca, tuttavia non è escluso che le analisi statistiche cambino in parte i primi orientamenti. Inoltre, una volta rese esplicite le relazioni tra indicatori, è anche possibile utilizzarne alcuni particolarmente espressivi come un “cruscotto” che i decisori della struttura erogatrice possono tenere sotto controllo per raggiungere livelli di efficacia superiori.
La fase di raccolta di informazioni consiste nello svolgimento di indagini su insiemi di laureati e di stakeholder dell’università. Le indagini riguardano: (a) i neolaureati che non lavoravano al momento della laurea e quelli che lavoravano e si sono riposizionati sul mercato per valorizzare il nuovo titolo, questi e quelli osservati longitudinalmente per valutare i percorsi, i tempi, le difficoltà della ricerca di un lavoro coerente con il profilo formativo acquisito; (b) laureati che hanno trovato lavoro e che saranno seguiti in varie occasioni per rilevare i tempi e le condizioni delle gratificazioni economiche, contrattuali e professionali, l’uso di competenze di rango elevato, la mobilità nel mercato del lavoro e il legame con le esperienze esistenziali (fare una famiglia propria, figli, ecc.), le ragioni della soddisfazione e dell’insoddisfazione; (c) laureati con specializzazione professionale post-lauream e con vari livelli di esperienza professionale, che saranno interpellati per una lettura retrospettiva dei percorsi formativi, professionali ed esistenziali e per avere suggerimenti su possibili integrazioni e ri-orientamenti della formazione; (d) stakeholder dell’università in grado di esprimere giudizi su un corso.
Le aree disciplinari sulle quali si svolgeranno ricerche, per rilevare suggerimenti e migliorare la formazione delle future leve di laureati, sono quelle delle scienze statistiche, delle scienze del servizio sociale ed alcune specializzazioni mediche. I laureati di area statistica sono un esempio di laureati in una disciplina tecnica trasversale a varie attività lavorative, con mobilità orizzontale e verticale nel lavoro. Gli operatori del servizio sociale sono un caso esemplare di laureati di area umanistica con caratteristiche tecniche (hanno un proprio albo e ordine professionale), attese di sviluppo verticale modesto e soddisfazione professionale ricercata nell’impiego di competenze qualificate e nello sviluppo di capacità progettuali e relazionali, in forza dell’esperienza lavorativa. I medici specialisti affermati sono un esempio di professionisti che hanno maturato esperienze su periodi lunghi e non univoci; tra l’altro, sarebbe poco indicativo svolgere rilevazioni su neolaureati in medicina.
Una componente basilare dell’efficacia esterna è l’impiego di competenze professionali qualificate. La rilevazione delle competenze seguirà modelli unitari al fine di poter ricondurre le competenze esercitate dai laureati ad uno o due indicatori sintetici che permettano il confronto tra le doti professionali e di personalità che il mondo del lavoro richiede e quelle che la scuola e l’università e altre istituzioni o occasioni formative riescono a creare nel laureato. Questo confronto permetterà sia di analizzarne l’uso, sia di stimarne la carenza.
L’analisi delle competenze deve permettere il confronto tra professionalità diverse e l’analisi dell’evoluzione delle professioni cui accedono i laureati e, di riflesso, può essere di supporto nel progettare i curricula universitari, determinando per tempo il dosaggio di conoscenze tecniche, capacità operative e sviluppo di altre doti che i laureati devono possedere per svolgere le attività professionali vocazionali.
L’analisi statistica multivariata è l’approccio obbligato per la sintesi di una pluralità di indicatori nessuno dei quali è sufficiente per rappresentare l’insieme e in cui tutti rappresentano aspetti di una stessa dimensione. L’analisi riguarda i fattori latenti nei dati rilevati presso i laureati. Non essendo disponibili dati a livello nazionale validi per lo scopo prefisso (le rilevazioni private riguardano realtà parziali e quella triennale dell’Istat, 2004, su campioni nazionali di laureati, non si spinge al livello di rappresentatività necessario per studi analitici), si effettueranno rilevazioni autonome su insiemi di ampie dimensioni di laureati di singole università e su laureati di singoli gruppi disciplinari appartenenti a varie università. Le applicazioni che si svolgeranno hanno valore esemplificativo, tuttavia hanno l’obiettivo di vagliare l’estendibilità dei metodi provati ad eventuali rilevazioni su scala nazionale ed europea per tutte le classi disciplinari.
Lo studio della prevedibilità dell’efficacia esterna in relazione all’efficacia interna della scuola superiore (voto al diploma di maturità) e della formazione universitaria (voto di laurea) può far capire se e come investire in termini formativi per arricchire la preparazione dei laureati.
I valori stimati devono aiutare nel prendere decisioni, nel senso che sia il valore di efficacia complessivamente manifestato da un’unità e sia i valori dei vari aspetti dell’efficacia devono poter aiutare il decisore nello scegliere le strategie di accreditamento e di miglioramento. È, quindi, importante che, per dati insiemi di unità, si definiscano dei criteri per determinare dei valori soglia. Tra questi, anche la tempestività del possesso delle informazioni di base e il loro basso costo di rilevazione. La ricerca si concluderà, quindi, con un ragionamento sulla semplicità e comprensibilità del metodo di calcolo perché le scelte in tema di misure della qualità dei corsi, soprattutto se possono avere conseguenze sulle strutture erogatrici, non possono prescindere dalla condivisione degli attori della formazione, almeno per quanto riguarda i princìpi generali. <<<

Risultati parziali attesi

The results predicted whether the research project will be accomplished are the following.
a) A unitary grid for the collection of data on higher-level competences on graduates of any discipline. The grid will be the ground upon which construct a complex index of technical competence use and compare the effects of study programmes belonging to disciplines characterized by specific technical competences. The grid will constitute, too, the basis for unifying the terminology for the analysis of superior jobs in Italy and writing the dictionary (see point b).
b) A dictionary (in Italian) of higher-level competences. Graduates’ competences, chiefly the technical ones, evolve day by day. So, it is necessary to construct a hierarchical system of terms for their collection and for the time and space comparison of estimates. Such a dictionary can help faculties and study programmes in writing with appropriate terms the study chart they put forward.
c) A dictionary of the professional profiles typical of graduates of the examined disciplines. A comparative study of the higher-level competences may help updating the Italian “dictionary of jobs” (Unioncamere–Ministero del Lavoro, 2004). Also this dictionary may help designing study programmes in the perspective of their effectiveness.
d) Computer-assisted questionnaires (CAWI and CATI) for follow-up surveys about the various aspects of a study programme’s effectiveness and for surveys on reputation of an educational structure. The questionnaires, refined according to the inferences drawn from the predicted analyses, will be made available to all concerned scholars and to the national and local bodies for university activities evaluation.
e) Computer-assisted questionnaires for iterative Delphi-Shang data collection surveys on key witnesses involved in effectiveness indicators’ selection. The questionnaires, in an electronic version, may be used by other research groups for remote data collection on effectiveness issues.
f) Criterion for measuring the reputation of a university structure which organizes study programmes. The reputation estimate will include even external effectiveness indicators. The transparency of the criteria for defining a structure’s reputation may be useful for ranking the structures according to both effectiveness and efficiency aspects.
g) A method for defining a panel of eloquent indicators. The panel may help a decision maker of an educational institution to diagnose the educational effectiveness of each organized programme.
h) A method suitable for merging, through weights reported from experts, a wide set of aspects of the external effectiveness in a unique indicator. The method is supposed to be applicable to any level and discipline of the Italian university system.
i) A method for the computation of a complex indicator of higher-level professional competence use. The method can be applied for the detection of the intensity of professionalism of graduates from Italian universities.
j) Methodological adaptation of current multivariate statistical methods to the real data measured on effectiveness which are on any measurement scale, whilst the majority of methods we would like to apply imply the computation with quantitative or dichotomous scales.
k) A criterion of multivariate statistical analysis suitable for estimating the level of external effectiveness of a study programme both inclusive of all effects and “neat” of the effect of the educational structures above the programmes. This criterion represents the very final result of the process for selecting the most adequate method within a competing set.
l) Essays on the differential effectiveness of study programmes in the statistics, social service, and medical fields. At least for this disciplines, we can mobilize teachers and responsible people of single discipline’s programmes for discussing about the differential effectiveness, the causes of successes and difficulties met by graduates in the labour market, the competences they exploited and those they desired but were unavailable.
m) A computer programme which, according to selected indicators, simulates scenarios on the effectiveness of a study programme years onward. The experimentation of the programme in a real context and/or simulating other possible situations may help political and technical decision makers in guessing the effectiveness of educational investments.
n) A database of qualified bibliographical references on the external effectiveness evaluation issue and, on separate bases, on methods for summarizing a set of elementary indicators into a unique indicator, and on indicators and criteria for ranking sets of educational structures at various levels. <<<

Durata

24 mesi

Base di partenza scientifica nazionale o internazionale

L’accreditamento di un corso di studio è legato all’efficacia delle attività che vi si svolgono. Affinché un corso sia accreditato a svolgere attività didattica, infatti, viene – sub judice – autorizzato ad erogare didattica e, alla fine di un periodo pluriennale, deve dimostrare di avere raggiunto gli obiettivi prestabiliti, vale a dire di aver aggiunto negli studenti valore nella forma di apprendimento (Fitz-Gibbon, 1997). Per questo, l’efficacia, ancor più che l’efficienza delle attività che vi si svolgono, indica il valore che il corso è in grado di generare ed è la premessa all’autorizzazione ad iterare le attività formative. Nel processo di accreditamento, l’efficacia è idealmente presente anche prima di avviare il processo formativo sotto forma di “reputazione”, nel senso che l’ente accreditante concede l’autorizzazione se reputa l’entità didattica idonea a svolgere il proprio ruolo. Si può dire che la reputazione di efficacia è il riflesso storicamente consolidato della capacità di produrre valore da parte della struttura. Questo concetto, non semplice da introdurre nella prassi, potrà essere considerato nel futuro in ragione delle possibilità di esprimerlo con espressioni quantitative o qualitative.
La propensione all’accreditamento dei corsi di studio discende dalla necessità di porre alle singole parti del sistema universitario vincoli di garanzia di qualità comparativa (ENQA, 2005; Fondazione CRUI, 2007). L’attività di accreditamento e, correlativamente, lo sviluppo di metodi appropriati per giungervi in modo condiviso si è da tempo avviata in Europa per le scuole di Ingegneria e di Business Administration e sta iniziando per quasi tutte le altre discipline (Shardlow e Cooper, 2001). L’accreditamento dei corsi universitari che preparano all’assistenza o alla cura delle persone è sia una garanzia di qualificazione professionale per i futuri operatori e sia una tutela per i potenziali utenti di quella professionalità (Sgroi et al., 2001). La necessità dell’efficacia formativa è, invece, più generale, dato che riguarda sia il mercato globale dell’istruzione superiore, che evidenzia le istituzioni capaci di erogare la migliore formazione, e sia le famiglie che iscrivono i propri figli ai corsi con la maggiore attesa di rendimento dopo la laurea. La propensione di un corso ad erogare formazione efficace è, pertanto, rivolta sia a garantirne l’accreditamento e sia a migliorarne le attività e l’immagine.
La propensione ad una formazione efficace è già presente negli obiettivi della Dichiarazione di Bologna del 1999, la quale costituisce il fondamento della politica di armonizzazione dei sistemi di formazione superiore nell’Unione Europea, e nel documento finale della Conferenza di Lisbona del 2000, dove si afferma la necessità di elevare il livello complessivo dei saperi superiori in Europa e si precisa anche che le attività formative devono essere orientate a generare nei discenti competenze consone alla realizzazione professionale. Ponendosi l’obiettivo dell’efficacia formativa, l’UE indica che i risultati delle attività formative non sono un problema di esclusiva pertinenza dell’università, bensì un compito strategico della società. Questi concetti pervadono i cosiddetti “descrittori di Dublino”, ossia gli indicatori di effetti a fini lavorativi che la formazione dopo la scuola superiore ha sull’apprendimento (“learning outcomes”), al fine di favorire l’interscambio professionale tra Paesi europei e lo sviluppo nella popolazione dell’Unione della capacità di apprendere lungo l’intero corso della vita (Commission of the European Communities, 2006).
L’Italia, che è stata uno dei primi Paesi a sperimentare il sistema del 3+2, indicato nella Dichiarazione di Bologna, sta per riformare l’offerta formativa (DM 270/2004) in un’ottica che prepara, o perlomeno predispone all’accreditamento dei corsi di studio. Ciò implica la necessità di misurare l’efficacia dei corsi durante o alla fine del periodo di studio, e in tal caso si parla di efficacia interna, oppure fuori dell’università, durante la ricerca e l’esercizio di un’attività di lavoro, e in tal caso si parla di efficacia esterna (Lockheed e Hanushek, 1994). L’efficacia esterna è un concetto simile a quello di capitale umano, ossia al tessuto di competenze che il laureato si porta appresso per produrre valore nel mondo del lavoro e della produzione e nella più vasta società civile (Becker, 1964).
Un altro termine ricorrente nella valutazione dell’efficacia è quello di competenze. Queste si possono definire “la parte della personalità di un individuo legata in un rapporto di causa-ed-effetto a risultati nelle attività professionali superiori” (Spencer e Spencer, 1993). Le competenze professionali comprendono le informazioni strutturate (il sapere), le capacità realizzative (il saper fare) e gli atteggiamenti favorevoli alla vita associata (il saper essere). Ai fini della rilevazione dei contenuti tecnici di una professione, si possono utilizzare indicatori specifici per ciascuna attività, e in tal caso viene a mancare la possibilità di analisi comparativa tra professioni, oppure indicatori generali (traibili, tra l’altro, dal sistema O*Net, adottato negli USA: Peterson et al., 1995) che però discriminano poco tra le professioni tipiche dei laureati, che sono generalmente elevate (secondo la terminologia del sistema Excelsior, sono, infatti, “da tecnico in su”: http://excelsior.unioncamere.net/).
Il processo per la valutazione dell’efficacia delle strutture formative – e in modo particolare dei corsi di studio – implica la costruzione di sistemi informativi specifici aventi come unità elementare il corso di studi (MIUR-CNVSU, 2004). Il sistema dovrà considerare ciò che serve per dare un giudizio previo all’avvio dei corsi, quindi anche dati sulle strutture formative di livello gerarchico superiore ai corsi di studio, sia misure dell’apprendimento durante lo svolgimento delle attività formative e dopo la conclusione degli studi. Tutto ciò per l’intero ciclo di attività di durata (poliennale) predefinita. Per chi valuta le strutture formative in un’ottica di sistema, l’efficacia prevale sull’efficienza della gestione delle attività, che diventa un problema delle strutture che erogano il servizio didattico e debbono procurarsi le relative risorse. Per chi valuta il sistema dall’esterno, l’efficacia esterna è preminente anche su quella interna, ossia sull’apprendimento misurato secondo gli standard di qualità delle discipline trattate nel corso, giacché questa riguarda la verifica degli aspetti conoscitivi delle discipline, ma con scarso o nullo confronto con l’esterno. Le verifiche di determinati standard di capacità professionale possono essere svolte anche durante la frequenza dei corsi, tuttavia, le competenze professionali sono accertabili senza dubbi solo nell’esercizio di attività lavorative pertinenti e qualificate. Nei corsi, lo studente può inoltre sviluppare doti civiche e relazionali che hanno valore nei contesti sociali reali, cioè nelle realtà in cui opera da cittadino e lavoratore.
Un’eventuale misura dell’efficacia formativa di un corso non è un’espressione immediatamente utilizzabile per tutti gli scopi. La possibilità che la frequenza di quel corso permetta ai laureati di aggiungere valore nella società dipende anche dalla qualità delle strutture didattiche sovraordinate al corso. Per esempio, un’università ben organizzata e orientata alla formazione di qualità contribuisce alla efficacia per tutti i corsi che eroga. Ciascuna facoltà e ciascun corso può aggiungere del proprio, ma una parte del merito va attribuita all’organizzazione sovraordinate. Non solo, ma l’essere l’università inserita in un contesto socio-culturale ed economico vivace offre maggiori opportunità di inserimento a tutti coloro che vi si insediano. Del contributo formativo di un corso interessa, pertanto, sia la misura globale e sia quella “netta” dell’effetto che sul corso esercitano le strutture didattiche sovraordinate. Per determinare l’effetto “netto”, gli esiti della ricerca di occupazione e dello sviluppo lavorativo vanno corretti in ragione dei differenziali di energia economica e organizzativa messa in campo dalle università e della ricettività dei mercati locali del lavoro (Scheerens e Bosker, 1997). Se sia l’effetto “globale” o uno di quelli “netti” ad essere la misura più appropriata dell’efficacia di un corso sarà materia di successiva discussione per i politici e per i tecnici della formazione.

Riferimenti bibliografici
Becker G.S. (1964) Human Capital, Columbia University Press and NBER, New York
Breiman L., Friedman J.H., Olshen R.A., Stone C.J. (1984) Classification and Regression Trees, Wadsworth Inc., Belmont CA
Bryk A.S., Thum Y.M., Easton J.Q., Luppescu S. (1998) Assessing school academic productivity: The case of Chicago School Reform, Social Psychology of Education, 2: 103-142
Bryk A.S., Raudenbush S.W. (1992) Hierarchical Linear Models: Applications and Data Analysis Methods, Sage Publications, Newbury Park, CA
Commission of the European Communities (2006) Implementing the Community Lisbon Programme. Proposal for a Recommendation of the European Parliament and the Council. Establishment of the European Qualification Framework for Lifelong Learning, COM(2006) 479, Brussels
Fondazione CRUI (2007) Linee guida per l’applicazione della riforma ex DM 270/2004 secondo criteri di qualità, Cabina di regia della Fondazione CRUI, Roma
ENQA – European Association for Quality Assurance in Higher Education (2005) Standards and Guidelines for Quality Assurance in the European Higher Education Area, ENQA, Helsinki
Fabbris L. (ed) (2006) Effectiveness of University Education in Italy: Employability, Competences, Human Capital, Physica-Verlag. Heidelberg
Fitz-Gibbon C.T. (1997) The Value Added National Project Final Report. Feasibility Studies for a National System of Value Added Indicators, SCAA Publications, London
Frawley W.J., Platetsky-Shapiro G., Mathews C.J. (1991) Knowledge Discovery in Databases, MIT Press, Boston
Gonzalez J., Wagenaar R. (eds) Tuning Educational Structures in Europe II: Universities’ contribution to the Bologna Process, University of Deusto, University of Groningen, Bilbao
Isfol (1999) Repertorio delle professioni. Modello e metodologia, Isfol, Commissione Europea DG-V, Ministero del Lavoro e della Previdenza sociale – Ufficio centrale OFPL, FSE, Roma
ISTAT (2004) Università e lavoro. Statistiche per orientarsi, www.istat.it
Jöreskog K.G., Wold H. (1982) The ML and PLS techniques or modelling with latent variables : historical and comparative aspects. In: Jöreskog K.G., Wold H. (eds) Systems Under Indirect Observation, Part 1, North-Holland, Amsterdam, 263-270
Lockheed M.E., Hanushek E.R. (1994) Concepts of educational efficiency and effectiveness. In: Husém T., Postlethwaite T.N. (eds) The International Encyclopedia of Education. II edition, Volume 3, Oxford, Pergamon: 1779-1784
MIUR-CNVSU (2004) Information Model for Degree Program Accreditation. RdR 01/04, CNVSU, Roma
Muthén B. (1991) Multilevel factor analysis of class and student achievement components, Journal of Educational Measurement, 28, 338-354
Muthén B. (1997) Latent variable growth modeling with multilevel data. In: Berkane M. (ed.) Latent Variable Modeling with Applications to Causality, Springer Verlag, New York: 149-161
Peterson N.G., Mumford M.D., Borman W.C., Jeanneret P.R., Fleishman E.A. (1995) O*Net. The Occupational Information Network. Content Model (3 volumes), Utah Department of Employment Security
Scheerens j., Bosker R.J. (1997) The Foundations of Educational Effectiveness, Pergamon Press, Oxford
Sgroi E., Rizzo G., Gui L. (a cura di) (2001) I rapporto sulla situazione del Servizio sociale, EISS, Roma
Shardlow S., Cooper S. (2001) A Bibliography of European Studies in Social Work, Russel House Publishing, Sheffield
Smith E.V., Smith R.M. (2004) Introduction to Rasch Measurement: Theory, Models and Applications, JAM Press, Maple Grove, USA
Spencer L.M., Spencer M.S. (1993) Competence at Work. Model for Superior Performance, Wiley, New York
Unioncamere – Ministero del Lavoro (2004) Sistema informativo Excelsior. Sintesi dei principali risultati – 2004, Unioncamere, Roma.
Wold H. (1985) Partial Least Squares. In : Kotz S., Johnson N.L. (eds) Encyclopedia of Statistical Sciences, Vol.6, John Wiley &amp; Sons, New York, 581-591 <<<