RICERCA ITALIANA     

Programma di ricerca

Guide Adattative, Context-aware e Multimediali su Dispositivi Mobili

Università di riferimento

Università di PISA - INFORMATICA - PISA(PI)

Responsabile dell'Unità di ricerca

Maria SIMI

Descrizione

L'attività di ricerca dell'unità di Pisa si concentrerà su due aspetti essenziali del framework integrato di guida mobile context-aware, che verrà congiuntamente realizzato dalle tre unità di ricerca durante il progetto: il primo riguarda il supporto alla cooperazione tra utenti che servirà a realizzare visite di gruppo e soluzioni di apprendimento collaborativo; il secondo riguarda la realizzazione di un modulo per la generazione di commenti in linguaggio naturale adattivi. Le soluzioni sviluppate saranno valutate sperimentalmente su campioni di utenti. Inoltre verrà considerato il dominio applicativo delle guide museali, su cui sperimentare le idee proposte e verrà realizzato un prototipo di guida mobile per un particolare museo (il Museo del Marmo di Carrara).

Questa ricerca sarà svolta nell'ambito di una collaborazione tra ricercatori dell'università di Pisa e ricercatori del gruppo di interazione-uomo macchina dell'ISTI-CNR (primo ricercatore Fabio Paternò).

I ricercatori universitari hanno competenze nei settori della rappresentazione della conoscenza, realizzazione di applicazioni Web, motori di ricerca, analisi e generazione del linguaggio naturale. Di particolare rilevanza per il progetto, è una attività di ricerca svolta in collaborazione con l'Accademia Navale di Livorno (Esuli, Cisternino, Pacini, Simi, 2002) , in cui è stato sviluppato un sistema per uso didattico nel dominio delle regate. Il sistema include una componente di analisi di scenari (un sistema esperto che si basa su regole e strategie codificate), un modulo di generazione automatica di commenti in tempo reale ed un visualizzatore tridimensionale. Il sistema è in grado di adattare il commento parlato al livello di competenza dello studente e ai tempi della visualizzazione tridimensionale dello scenario.

I ricercatori dell'ISTI portano al progetto competenze complementari nei settori della interazione uomo-macchina e valutazione di usabilità delle interfacce.
Nell'ambito di indagine del progetto, questi hanno già maturato esperienze nella generazione automatica di guide virtuali per la fruizione museale via Web (Marucci, Paternò, 2002). In questo precedente lavoro, a seconda del profilo dell'utente e degli accessi alle informazioni museali effettivamente realizzati nella navigazione, vengono generati commenti dinamici che arricchiscono le descrizioni standard con informazioni di vario genere (introduttive, confronto, differenze, riassunto, curiosità) seguendo uno stile tipico delle guide reali.
In un altro progetto è stato sviluppato un supporto per dispositivo palmare (Ciavarella, Paternò, 2004) capace di fornire informazione multimediale e servizi che dipendono dalla stanza in cui si trova l'utente, che viene identificata automaticamente. Il risultato è una guida palmare, disponibile per i visitatori del Museo del Marmo di Carrara, che è in grado di rilevare in quale stanza si trova il visitatore sfruttando dispositivi ad infrarossi. Essa attualmente fornisce commenti vocali predefiniti, oltre che testo, grafica, immagini e video.

La proposta è di estendere questa precedente esperienza in due direzioni:
- possibilità di generare commenti vocali dinamicamente tenendo conto degli spostamenti dell'utente e di quale informazione accede; analogamente a quanto è stato proposto con i commenti in tempo-reale degli scenari di regata, una dimensione nuova di adattività potrebbe essere lo stile di visita, il tempo disponibile e i vincoli che questo impone alla lunghezza del commento audio.
- supportare la possibilità di giochi cooperativi multi-utente allo scopo di rendere più gradevole l'esperienza di apprendimento, dando la possibilità anche di cooperare in gruppi.

Grazie alla collaborazione già in atto con il Museo del Marmo di Carrara sarà possibile sperimentare i risultati del progetto all'interno del museo per verificare la loro efficacia con visitatori reali.

Riferimenti

A. Esuli, A. Cisternino, G. Pacini, M. Simi, Adaptive Real Time Comment Generation for Sail Racing Scenarios, Adaptive Hypermedia and Adaptive Web-Based Systems, Second International Conference, AH 2002, vol. LNCS 2347, pp. 392-396, Malaga, Spain 2002.

Marucci L., F. Paternò, "Design and evaluation of an adaptive virtual guide for Web applications", Universal Access in the Information Society, Springer Verlag, Vol.1, N.3, June 2002, pp.163-175.

C.Ciavarella, F.Paternò, The design of a handheld, location-aware guide for indoor environments, Personal and Ubiquitous Computing, Vol.8 N.2, pp.82-81, Sprinter Verlag, May 2004.


Primo anno del progetto

L'unità di Pisa parteciperà con le altre unità alla definizione dei requisiti per l'architettura di guide mobili del progetto e realizzerà in particolare i moduli per le funzionalità multi-utente e di supporto alla comunità.

Nel corso del primo anno del progetto, l'unità di Pisa studierà la parte della infrastruttura software che riguarda la gestione della multi-utenza finalizzata alla realizzazione di visite in collaborazione.
Pisa studierà in particolare il dominio delle guide museali/culturali e i requisiti per una guida mobile in tale contesto. Per garantire la generalità delle proposte rispetto a diversi tipi di applicazione, acquisirà requisiti anche dalle unità di Torino e di Udine, che investigano rispettivamente le applicazioni turistiche e quelle sportive.
Per supportare l'apprendimento cooperativo mediante interazione tra i visitatori, si dovrà studiare in primo luogo l'architettura software e l'infrastruttura che abilita la comunicazione e l'interazione tra i partecipanti, individuare le tecniche e tecnologie più idonee per l'identificazione della posizione degli utenti e la comunicazione wireless, la generazione di interfacce intuitive su dispositivi mobili, il supporto alla context-awareness. Per quanto riguarda la localizzazione degli utenti si cercheranno soluzioni che abbiano un buon rapporto costo di installazione e precisione di localizzazione.
Questo compito sarà svolto in collaborazione con le altre unità e sarà compito specifico dell'unità di Pisa studiare come integrare nella piattaforma software aspetti di rilevamento e comunicazione delle attività svolte da altri utenti, coordinamento e gestione della cooperazione di gruppo, che in generale non sono richiesti per guide mobili ad uso individuale.

Per il supporto alla cooperazione il framework integrato per guide mobili dovrà includere e gestire i seguenti aspetti:
- la comunicazione a distanza tra i dispositivi mobili con il supporto di un server;
- la gestione delle informazioni relative agli accessi alle informazioni (opere d'arte, artisti, ...) ed alle attività (ad esempio giochi) effettuate da altri utenti, e quelle relative alla loro localizzazione;
- la generazione di interfacce multimediali specializzate in dipendenza dell'utente e del dispositivo, che in generale potrà essere di diverso tipo;
- il supporto alla cooperazione di gruppo;
- l'utilizzazione delle informazioni dedicate alla guida nel contesto delle attività collaborative.


Inoltre, durante il primo anno di progetto, l'unità di Pisa analizzerà in particolare l'applicazione del supporto alla multi-utenza nel contesto delle visite museali.
Verranno studiati i giochi cooperativi più idonei a migliorare l'esperienza museale con l'obiettivo di arrivare a definire scenari di utilizzo delle guide in giochi educativi da svolgere in collaborazione all'interno del museo. Saranno considerate due tipologie di giochi: quelli dove la cooperazione è diretta ed esplicita e quelli dove la cooperazione è implicita, tramite la comunicazione di informazioni relative alle attività individuali svolte da altri utenti. Nella prima forma di attività è richiesto che gli utenti condividano e discutano quello che hanno visto e imparato durante la visita, e sono chiamati a collaborare collettivamente alla risoluzione di un gioco condiviso. In alternativa sono possibili forme di cooperazione implicita in cui gli utenti sono invitati a esplorare il museo individualmente per risolvere parti di un gioco condiviso, per esempio un puzzle. A differenza di quanto avviene nel progetto di Nottingham in cui la collaborazione tra visitatori si verifica solo quando questi sono vicino ai display interattivi, la collaborazione dovrà essere supportata attraverso dispositivi mobili per l'intera visita, o per tutto il tempo che i visitatori decidono di essere coinvolti nel gioco e hanno uno scopo comune..

Sempre in relazione alle visite museali, si analizzeranno le varie tipologie di contenuti che la guida mobile dovrà fornire e le diverse dimensioni di adattività, arrivando a definire i requisiti per il modulo di generazione di commenti in linguaggio naturale per questo contesto applicativo.

Infine, l'unità di Pisa studierà e definirà i requisiti e le specifiche per una guida mobile museale con contenuti culturali e funzionalità di edutainment multi-utente.
Il campo applicativo sarà il Museo del Marmo di Carrara, un museo interdisciplinare che contiene un certo numero di sezioni collegate in vario modo al marmo (scultura, archeologia romana, tecniche di lavorazione, artigianato, ...). Questo materiale è stato usato per molte opere d'arte famose a livello mondiale e per questo motivo il museo ha un'ampia utenza straniera. Si trova a pochi chilometri dalle cave di marmo che sono spesso oggetto di visite turistiche.
L'obiettivo finale è di creare una guida che supporti gruppi di visitatori (alcuni potrebbero essere nel museo, altri alle cave) in modo da rendere piacevole e stimolante la loro esperienza.

Risultati attesi alla fine del primo anno:

- Modulo software dell'architettura per il supporto alla comunicazione e cooperazione tra utenti tramite dispositi mobili;
- Documento di descrizione del modulo software per il supporto alla comunicazione e cooperazione tra utenti;
- Documento di analisi e specifica dei requisiti per la realizzazione di una guida museale con commenti in linguaggio naturale adattivi e supporto a visite multi-utente e a giochi di gruppo.

Secondo anno del progetto

Durante il secondo anno del progetto l'unità di Pisa studierà e si occuperà di realizzare la parte di framework che riguarda la generazione di commenti adattivi, che serve per fornire spiegazioni in linguaggio naturale su dispositivi mobili, anche in forma audio.
L'idea generale è di sviluppare una metodologia e strumenti software che consentano di ottenere guide virtuali che si comportino in modo simile a quelle reali, usando tecniche simili per coinvolgere i visitatori e rendere interessante la loro visita. L'applicazione guida virtuale si affiancherà alla applicazione che consente di accedere ad informazioni relative alle opere d'arte e aspetti correlati, in modo da fornire informazioni aggiuntive dipendenti dal comportamento e le caratteristiche dell'utente. I commenti saranno essenzialmente forniti in modo vocale per evitare di disturbare la fruizione reale del museo solitamente svolta essenzialmente tramite il canale visuale.
Per supportare una funzionalità di generazione dinamica di commenti riutilizzabile in contesti applicativi diversi, oltre ad appoggiarsi su un livello di rappresentazione della conoscenza interoperabile (che sarà compito dell'unità di Torino produrre) si dovrà separare chiaramente, nella strategia di generazione dei commenti, la parte invariante da contesto, che potrebbe essere riutilizzata nelle altre applicazioni, dalla parte variabile.
Per arrivare a definire e realizzare il modulo di generazione dei commenti, si estenderà ad altri contesti applicativi l'analisi sulle tipologie di contenuti che si sono rivelate efficaci nel contesto delle guide museali (informazioni introduttive, di confronto, di approfondimento, sommarizzazione ...) e le dimensioni di adattività utili per la generazione dei commenti. Questo sarà fatto in un'ottica di generalità prendendo in considerazione il risultato di analisi parallele svolte in cooperazione con le altre unità sui domini di loro competenza, e con l'obiettivo di arrivare ad individuare le strutture di base del discorso che caratterizzano questo tipo di comunicazione, le loro varianti principali, e le regole per la loro composizione.
Si arriverà quindi alla definizione di un linguaggio basato su XML per la descrizione dei contenuti, in modo da rendere il sistema di generazione delle interfacce independente dall'applicazione.
Successivamente sarà definita una strategia di generazione dei commenti dinamici e si realizzerà un modulo per la generazione dinamica e adattiva dei commenti quanto più possibile generale o comunque facilmente adattabile ai diversi contesti d'uso.

Sempre in questo secondo anno l'unità di Pisa realizzerà un prototipo di guida mobile museale con contenuti culturali e funzionalità di edutainment multi-utente.
Le tecnologie sviluppate nell'ambito del progetto saranno validate sul campo estendendo la sperimentazione già in atto presso il Museo del Marmo al nuovo prototipo di guida museale. La nuova guida estenderà le funzionalità della precedente nella direzione dei commenti adattivi, generati dinamicamente in tempo reale, e includerà esperimenti di esplorazione mediante giochi da svolgere in collaborazione tra i visitatori.
La sperimentazione sul campo della guida consentirà di valutare l'efficacia delle soluzioni adottate con visitatori reali. Essa avverrà con strumenti di logging che possono fornire informazioni quantitative relativamente ai tempi di visita, di svolgimento dei giochi e dei vari compiti svolti. Inoltre si chiederà agli utenti di riempire questionari che possono essere utili per rilevare informazioni più soggettive relativamente alla soddisfazione e l'apprezzamento dell'esperienza museale.

Risultati attesi alla fine del secondo anno

- Modulo software per la generazione dinamica di commenti in linguaggio naturale
- Prototipo ingegnerizzato di guida per il Museo del Marmo di Carrara, con funzionalità di edutainement e generazione dinamica di commenti.
- Rapporto sul modulo di generazione di commenti e linee guida per la redazione di contenuti.
- Rapporto su valutazione dell'usabilità del prototipo ingegnerizzato, a seguito di test con visitatori del museo.