TAI-CHI "Interfacce acustiche per l'interazione tattile uomo-macchina"
Area di ricerca:
Linee di ricerca:
Linee di ricerca:
Responsabile:
Ricerca
-
Data inizio: 01/01/2004
Durata: 36 mesi
Sommario
E’ esperienza quotidiana l’uso di controlli tangibili per gestire i personal computer, gli sportelli automatici del bancomat o altri dispositivi elettronici (tastiere, mouse, touch pad, touch screen, etc.), mentre è meno frequente l’utilizzo di questi controlli per pilotare oggetti di uso comune (porte, finestre, tavoli, sedie, etc.). Questa possibilità è attualmente preclusa dal fatto che le interfacce uomo-macchina esistenti sul mercato si basano su metodi attivi per acquisire le informazioni derivanti dal tocco umano: in generale viene indotto un campo di qualche tipo (elettrico, magnetico, ad infrarossi, etc.) e la sollecitazione di tale campo da parte dell’interazione tattile viene interpretata come sorgente di informazione e quindi come un comando. I metodi attivi richiedono l’uso di apparati elettronici che limitano l’interazione ad alcuni punti o a piccole superfici, sono costosi e non sono utilizzabili nella maggior parte dei contesti applicativi. La nostra proposta è quella di sviluppare una tecnologia che si basi su un metodo passivo (la sorgente di informazione qui coincide con l’interazione tattile) e che trasformi l’oggetto da controllare in interfaccia tangibile. Il progetto si è concluso con una dimostrazione (final demo) e ha vinto il "Grand prize" in occasione dell'evento IST 2006 ad Helsinki.
Risultati del progetto ed eventuali pubblicazioni scientifiche/brevetti
Il prototipo sviluppato presso ISPG
E’ stato sviluppato, presso il gruppo di ricerca ISPG (Image and Sound Processing Group) del Politecnico di Milano, un sistema prototipo che rende interfacce tangibili alcuni pannelli sottili di diverso materiale: l’utilizzatore può interagire su tali pannelli con le sue dita o con altri utensili (bacchette di legno, penne, cacciaviti, gessetti, panni, etc.) ed il sistema riconosce automaticamente la posizione del tocco, anche in presenza di interazione continua (trascinamento del tocco sulla superficie della tavola). Si sono così progettate “lavagne virtuali”, funzionanti su tavole di materiali comuni (legno MDF, Medium Density Fiberboard, Plexiglass, vetro, etc.).
L’utilizzatore può disegnare o scrivere sul pannello ed il risultato viene proiettato in tempo reale su uno schermo o salvato nella memoria del PC. L’algoritmo relativo al localizzatore ed all’inseguitore dell’interazione tattile sulla superficie di un pannello sottile è attualmente in via di brevetto.
Le potenzialità di questa tecnologia, estesa ad oggetti di qualunque forma, sono enormi e le applicazioni svariate, non solo nei contesti più naturali della domotica, dell’informatica o dell’elettronica, ma in tutti quegli ambiti in cui si voglia rendere automatica l’interazione fra l’uomo ed un comune oggetto, a basso costo.
Eventi di pubblico interesse
Riassunto dei principali risultati tecnico-scientifici
Pubblicazioni
E’ stato sviluppato, presso il gruppo di ricerca ISPG (Image and Sound Processing Group) del Politecnico di Milano, un sistema prototipo che rende interfacce tangibili alcuni pannelli sottili di diverso materiale: l’utilizzatore può interagire su tali pannelli con le sue dita o con altri utensili (bacchette di legno, penne, cacciaviti, gessetti, panni, etc.) ed il sistema riconosce automaticamente la posizione del tocco, anche in presenza di interazione continua (trascinamento del tocco sulla superficie della tavola). Si sono così progettate “lavagne virtuali”, funzionanti su tavole di materiali comuni (legno MDF, Medium Density Fiberboard, Plexiglass, vetro, etc.).
L’utilizzatore può disegnare o scrivere sul pannello ed il risultato viene proiettato in tempo reale su uno schermo o salvato nella memoria del PC. L’algoritmo relativo al localizzatore ed all’inseguitore dell’interazione tattile sulla superficie di un pannello sottile è attualmente in via di brevetto.
Le potenzialità di questa tecnologia, estesa ad oggetti di qualunque forma, sono enormi e le applicazioni svariate, non solo nei contesti più naturali della domotica, dell’informatica o dell’elettronica, ma in tutti quegli ambiti in cui si voglia rendere automatica l’interazione fra l’uomo ed un comune oggetto, a basso costo.
Eventi di pubblico interesse
- Sviluppo di un’interfaccia utente per un’installazione presso il museo di Como (applicazione flash, funzionante in un sito internet, che incorpora giochi, quiz strumenti di navigazione, etc.).
- Sviluppo di un’interfaccia utente per un’esibizione dal vivo presso il Teatro d’Opera di Como (3 novembre 2005). Il concerto è stato organizzato in occasione della Conferenza Italiana di Ingegneria del Suono del 2005. L’interfaccia permette ad un musicista dapprima di progettare graficamente un insieme di percussioni, specificandone alcune caratteristiche fisiche come la rigidità, la densità, etc. ed in seguito di suonarle, utilizzando un’interfaccia acustica tattile specificatamente sviluppata per l’evento.
- Sviluppo di MUST-RD (MUlti-Sensor Tracking through the Reversal of Dispersion): un sistema real-time per la localizzazione ed il tracciamento di interazioni tattili in pannelli sottili.
Riassunto dei principali risultati tecnico-scientifici
- Studio della propagazione elastica in pannelli sottili e del fenomeno della dispersione.
- Sviluppo di tecniche attive (basate sull’uso di trasduttori) e passive (basate sull’analisi del segnale trasmesso dal tocco del dito) per la stima dei coefficienti elastici di una tavola sottile.
- Sviluppo di una tecnica per la stima del segnale trasmesso dal tocco di un dito su pannelli sottili.
- Modellizzazione della propagazione elastica in pannelli sottili, considerando gli effetti dovuti alle riflessioni di bordo per mezzo di un tracciatore di fasci di raggi acustici, operante in tempo reale.
- Localizzazione e tracciamento di un’interazione tattile in pannelli sottili utilizzando la teoria dei problemi inversi.
- Estensione ad apparato multi-sensore, volto a migliorare la robustezza e la precisione del sistema di localizzazione e tracciamento, anche in presenza di scatteratori indesiderati.
Pubblicazioni
- A. Crevoisier, P. Polotti, "Tangible Acoustic Interfaces and their Applications for the Design of New Musical Instruments", 2005 International Conference on New Interfaces for Musical Expression (NIME 2005), Dublin.
- D. Rovetta, A. Sarti, S. Tubaro, G. Colombo, “Modelling Elastic Wave Propagation in Thin Plates“, 2006 International Conference on Intelligent Productions Machines and Systems (IPROMS 2006), Virtual Conference.
- G. Ribay, D. Rovetta, S. Catheline, A. Sarti, G. De Sanctis, “Modelling Wave Propagation in Thin Plates for the Localization of Tactile Interactions“, 2006 International Congress on Sound and Vibration (ICSV13), Vienna.
- G. De Sanctis, D. Rovetta, A. Sarti, G. Scarparo, S. Tubaro, “Localization of Tactile Interactions through TDOA Analysis: Geometric Vs. Inversion-Based Method”, 2006 European Signal Processing Conference (EUSIPCO 2006), Florence.
- D. Rovetta, A. Sarti, G. De Sanctis, M. Fabiani, “Modelling Elastic Wave Propagation in Thin Plates”, 2006 European Signal Processing Conference (EUSIPCO 2006), Florence.
