Modellazione interattiva integrando realtà aumentata, morphing geometrico e interfacce aptiche

Introduzione

La continua crescita delle risorse computazionali e la diffusione di nuovi e sempre migliori strumenti di calcolo numerico stanno alimentando lo sviluppo di metodologie assistite dal calcolatore e stanno modificando profondamente il modo di affrontare i problemi ingegneristici. Tra i vari strumenti, le metodologie di disegno assistito dal calcolatore (CAD) rivestono un ruolo preminente e consentono un ampio supporto a molteplici attività dell’ingegneria, dell’architettura e della grafica computerizzata.

Grazie ai recenti sviluppi in questo settore, è adesso possibile costruire prototipi virtuali di complessi sistemi partendo dalla definizione delle geometrie tridimensionali e aggiungendo aspetti cinematici, dinamici, strutturali, fluidodinamici,elettromagnetici, ecc. per replicare comportamenti fisici e multi-fisici. Questi strumenti rappresentano un notevole aiuto per i disegnatori e gli ingegneri, permettendo un miglioramento della qualità e affidabilità dei prodotti progettati, riducendo il tempo di sviluppo e risparmiando in maniera sensibile i relativi costi. L’impiego dei prototipi virtuali sta diventando uno standard nell’intero processo ingegneristico. Il primo passo nella costruzione di tali prototipi riguarda la definizione delle geometrie tridimensionali, costruite combinando funzioni base per ottenere una forma finale complessa. L’approccio è particolarmente indicato per componenti meccanici, ma ha qualche limitazione per le forme complesse come le parti con funzionalità estetica o con geometria organica. Per la creazione di questi ultimi è possibile invece usare tecniche di sculpting virtuale. L’applicazione di queste tecniche per problemi ingegneristici è limitata perché richiede un addestramento prolungato, maggiori risorse computazionali e ha inoltre maggiori complessità applicative. Innanzitutto, richiede la presenza di strumenti di supporto alla modifica delle geometria che siano robusti ed efficienti. Le azioni di sculpting sono spesso limitate a semplici varianti che mal si adattano ad implementare i vincoli funzionali necessari alle applicazioni ingegneristiche. L’impiego di geometrie tessellate e di relativi operatori di deformazione (mesh morphing) è una possibile soluzione per superare queste limitazioni. Le applicazioni di Grafica Computerizzata impiegano comunemente le tecniche di deformazione per l’animazione fluida di personaggi e forme complesse per le quali è più importante l’aspetto di realismo rispetto all’affidabilità del comportamento fisico. Una di queste tecniche è basata sui morpher a forma libera (FFD) [1], attraverso cui è possibile modificare i volumi utilizzando i polinomi di Bernstein. Il metodo FFD non richiede la discretizzazione di superfici e volumi (metodo meshless) e produce forme molto regolari, ma manca di precisione e rende difficile prescrivere campi di deformazione esatta (molto spesso richiesto in ingegneria). Inoltre non si presta alla modellazione diretta toccando le superfici visto che i punti di controllo sono posizionati ai vertici dei box di deformazione. Un’altra tecnica che non richiede la discretizzazione si basa sull’interpolazione mediante radial basis functions (RBF) [2]. L’uso delle RBF come uno strumento di modellazione geometrica è ancora confinato ad applicazioni specifiche perché non sono disponibili procedure standard per la selezione dei punti delle RBF e il metodo risulta particolarmente attraente per problemi legati alla grafica computerizzata. Uno degli ostacoli alla diffusione dei morpher basati sulle RBF per applicazioni ingegneristiche è sempre stata l’elevata complessità computazionale dell’implementazione numerica. Le funzioni di supporto necessarie alla deformazione di discretizzazioni ad alto numero di elementi hanno costi computazionali che crescono con il cubo del numero dei centri scelti per la definizione del problema. La prima soluzione industriale di mesh morphing basata sulle RBF è stato introdotto nel 2009 [3] con l’applicativo software RBF Morph (http://www.rbf-morph.com). Originariamente concepito come un aggiunta per il solutore fluidodinamico ANSYS Fluent e successivamente implementato come applicativo stand-alone, è stato adottato come tecnologia di mesh morphing all’interno del progetto europeo RBF4AERO (http://www.rbf4aero.eu), finanziato nell’ambito del 7° Programma Quadro.
Il presente articolo intende discutere e dimostrare come le tecniche di deformazione delle geometrie tessellate possano essere utilizzate come strumento di rimodellazione di superfici. Tuttavia è opportuno considerare che i morpher RBF possono propagare la deformazione dalle superficie anche ai volumi con una minima distorsione specialmente se si impiegano spline bi-armoniche.
Il concetto sopraccitato, grazie alla possibilità di operare in modo indipendente dalla griglia del metodo RBF, rende l’approccio molto interessante per applicazioni di interazione fluido-struttura (FSI) che sono tipiche ad esempio nel campo aeronautico. In questo settore, RBF4AERO ha dimostrato come modelli CAE molto dettagliati (discretizzazioni con molti milioni di nodi) possono essere gestiti in modo efficace per analisi FSI, per le ottimizzazioni di forma [4] e per le ottimizzazioni multi-obiettivo con l’accoppiamento di più aspetti fisici. I morpher RBF sono stati anche adottati con successo in altri settori industriali, come quello nautico, automobilistico, biomeccanico e medico.
Nonostante la varietà di applicazioni CAE, è importante sottolineare che l’inserimento degli strumenti di deformazione in simulazioni ingegneristiche rimane un compito complicato e delicato. Mentre le funzionalità di modellazione standard (cioè estrusione, taglio, sweep e loft) seguono procedure rigide, un atto di deformazione ha molti più gradi di libertà. Inoltre l’esecuzione di operazioni di modellazione su un prototipo virtuale utilizzando un monitor 2D rende difficile la percezione dello spazio tridimensionale, limitandone le potenzialità e le applicabilità.
Partendo da queste premesse, lo scopo dell’articolo è quello di presentare e discutere i dettagli di una metodologia innovativa per ottenere uno strumento avanzato di modifica geometrica a fini ingegneristici, con elevate caratteristiche di interattività e prestazioni di calcolo (vedi Fig. 1). Per aumentare l’interazione, la metodologia è implementata in un ambiente di realtà aumentata (AR). L’AR è una metodologia emergente, in cui il mondo reale e i contenuti virtuali sono fusi insieme dando l’illusione all’utente di trovarsi di un mondo unico. Attualmente, la maggior parte della ricerca sulla AR riguarda l’uso di video che vengono acquisiti, processati in tempo reale ed aumentati mediante l’aggiunta di elementi grafici digitali. La letteratura scientifica riporta un crescente interesse per lo sviluppo di applicazioni di realtà aumentata in diversi settori tecnici e accademici. Grazie alla disponibilità di risorse hardware facilmente accessibili, negli ultimi anni c’è stato un aumento esponenziale di studi che dimostrano la capacità della AR per attività ingegneristiche dalla modellazione, all’assemblaggio e alla simulazione [5]. Per lo scopo specifico dello studio presentato, la realtà aumentata permette uno spazio coinvolgente in cui l’utente può esplorare la geometria in esame in modo più realistico e facilita quindi le operazioni di modifica e deformazione [6].
Il livello di interazione tra l’utente e la scena aumentata è incrementato anche dall’integrazione di un dispositivo aptico in grado di dare una forza di retroazione. Un dispositivo aptico può ricreare il senso del tatto applicando forze, vibrazioni o movimenti alla mano dell’utente. Questa stimolazione può essere utilizzata per aiutare nella creazione, nel controllo e nella modifica di oggetti virtuali all’interno di una simulazione computerizzata. In questo modo, l’utente può “toccare e sentire” le geometrie virtuali ed è guidato da forze reali opportunamente generate. La realtà aumentata e il dispositivo aptico sono inserite in un ambiente in cui è possibile eseguire le azioni di deformazione e modifica geometrica. La tecnica di deformazione si avvale della libreria Fast-RBF di RBF Morph. La libreria è concepita per la gestione di grandi modelli CAE (fino a 1 miliardo di nodi) e permette il calcolo in tempi ragionevolmente brevi. La versione adottata in questo progetto permette di gestire 240K centri e successivamente trasformare un modello tessellato di 580K nodi in circa 6 minuti su un computer portatile I7 con 4-core. Tali prestazioni, valutate senza l’abbinamento del calcoli necessari per la gestione della realtà aumentata e degli algoritmi per il ritorno di forza, garantiscono comunque un processo interattivo in tempo reale, anche in caso di geometrie di complessità media.
L’articolo è organizzato come segue. In una prima parte vengono descritti i dispositivi hardware e l’integrazione tra diverse interfacce di ingresso/uscita. In una seconda parte, vengono presentati i tre aspetti principali della metodologia (realtà aumentata, ritorno di forza e morpher RBF). Nell’ultima parte, viene discusso un esempio applicativo.

dettagli della metodologia

La metodologia proposta fa uso di dispositivi di input, elaborazione e output. Con riferimento alla figura 2, il dispositivo video di input è una fotocamera USB Microsoft LifeCam VX6000, in grado di catturare fotogrammi fino a 30 Hz con una risoluzione fino a 1024 × 768 pixel. Il display di uscita è un visore a casco dotato di display OLED (visore Z800 3D eMagin - http://www.emagin.com/); è in grado di supportare in stereovisione fino ad una risoluzione di 800 × 600 pixel per ogni occhio.

La fotocamera è rigidamente montata sul display al fine di riprodurre un casco completo per la Realtà Aumentata. Il dispositivo Geomagic Touch X è impiegato sia come periferica di ingresso sia come periferica di uscita e realizza le funzioni di interfaccia tattile; è in grado di monitorare e registrare la posizione spaziale del suo stilo. Può essere afferrato dall’utente e può essere utilizzato come un mouse spaziale. Allo stesso tempo, i tre motori in corrispondenza dei giunti principali forniscono coppie resistenti programmabili in grado di restituire all’utente una retroazione di forza lungo le tre direzioni spaziali.
 Tutte le procedure di calcolo necessarie per gestire le interfacce di input e output sono sviluppate in linguaggio C ++ utilizzando l’ambiente di sviluppo Microsoft Visual Studio 2010. Un marker stampato fa parte della scena per consentire la corretta registrazione in tempo reale della posizione nel mondo reale degli oggetti virtuali, come avviene nella maggior parte delle implementazioni di realtà aumentata basate su marker. Tutte le procedure per il riconoscimento del marker nella scena e il calcolo delle trasformazioni relative tra fotocamera e marker sono state programmate utilizzando le librerie open-source ARToolKit 2.73 che sono ampiamente utilizzate per applicazioni di realtà aumentata, soprattutto in ingegneria (liberamente scaricabili all’indirizzo https://artoolkit.org/). La comunicazione tra il dispositivo aptico e la scena aumentata è gestita mediante le librerie Geomagic OpenHaptic (scaricabili dal sito http://developer.geomagic.com/). L’intero calcolo è svolto utilizzando una workstation E4 dotata di due processori Xeon E5-2680v2, 128 GB di RAM e una scheda grafica NVIDIA Quadro K4000.

Realtà aumentata e interazione con ritorno di forza

Nella scena viene posto un marker stampato ed è saldamente montato su un supporto di cartone. L’utente può afferrare il marker e muoverlo nello spazio. Il processore del computer interpreta il flusso video proveniente dalla telecamera sul visore, riconosce il marker nella scena e calcola la trasformazione di coordinate tra la telecamera e il mondo reale. Questa informazione viene memorizzata e utilizzata per la resa grafica di tutti gli oggetti virtuali nella scena. Il calcolo della corretta trasformazione prospettica è molto importante per una corretta collimazione tra oggetto virtuale e mondo reale (vedi Fig. 3) per dare l’illusione di un unico mondo reale.

Poiché tutti gli oggetti virtuali della scena vengono rappresentati utilizzando la sopra menzionata trasformazione, la traslazione/rotazione del marker è tradotta in una traslazione/rotazione degli oggetti stessi, rendendo più naturale ed intuitiva l’esplorazione del mondo virtuale.
Al fine di raggiungere un elevato livello di realismo e interazione, il dispositivo aptico deve essere completamente integrato nel flusso di lavoro basato sulla realtà aumentata. Il Geomagic Touch X è un braccio robotico con un meccanismo a catena aperta composto da tre membri. La configurazione istantanea viene misurata grazie a degli encoder montati sulle articolazioni per calcolare l’angolo relativo tra membri adiacenti. Il meccanismo possiede sei gradi di libertà, per cui è possibile monitorare sia la posizione sia l’orientamento del suo end-effector (uno stilo simile ad una penna). Le tre principali articolazioni sono azionate da motori, dando la possibilità di esercitare una forza di reazione lungo le tre direzioni principali. È possibile accedere ai parametri di tracciamento (input) e impostare le forze esercitate dal dispositivo aptico (output) mediante le librerie OpenHaptic già descritte nel paragrafo precedente. Il sistema consente di acquisire la posizione e l’orientamento dello stilo e di imporre una forza di reazione.
Un elemento chiave per interagire con la scena aumentata è dato dalla capacità di poter avere una retroazione di forza. Come già accennato in precedenza, il Geomagic Touch X è anche in grado di esercitare una forza spaziale applicata allo stilo. Poiché lo stilo viene afferrato da parte dell’utente, la forza di reazione viene direttamente trasferita alla mano ed è quindi interpretata come una sensazione tattile. Poiché gli oggetti virtuali sono dei semplici contenuti grafici, come avviene nella maggior parte delle implementazioni in realtà aumentata, l’interazione con l’utente è limitata soltanto all’effetto visivi. Nel mondo reale, se si tocca un oggetto, se ne può intuire la forma fisica grazie al feedback tattile, che è generato dalla forza di contatto tra le dita e le superfici. Per questo motivo, ogni oggetto nella scena deve produrre una reazione nel momento in cui l’utente viene in contatto con la loro superficie. L’interfaccia tra il mondo reale e la scena aumentata è lo stilo del dispositivo aptico e pertanto il sistema deve verificare in tempo reale la condizione di contatto tra lo stilo e gli oggetti virtuali. A tale scopo è necessario monitorare in modo continuo la distanza tra la punta dello stilo e le superfici di tutti gli oggetti attivi nella scena.
Quando la distanza diventa negativa (cioè viene rilevata una penetrazione dc), il sistema genera una forza di reazione fc,n per prevenire la sovrapposizione tra le geometrie. La direzione della forza di reazione è parallela al vettore normale comune nc nel punto di contatto e l’ampiezza della forza è impostata proporzionale alla distanza di penetrazione moltiplicata per un fattore di penalità k:

Modellazione delle superfici mediante le radial basis function

Il concetto che sta dietro ai morpher basati sulle RBF è proprio l’uso di specifiche funzioni (Radial Basis Functions) per produrre una soluzione robusta e regolare del campo di deformazione a partire da un gruppo di punti di riferimento e dai loro spostamenti (punti sorgente). Le RBF sono uno strumento molto potente per interpolare punti discreti all’interno di uno spazio n-dimensionale. Esistono diverse tipologie di RBF che possono essere impiegate al fine di adattarsi al problema specifico. Le funzioni radiali possono essere a supporto completo o compatto e possono essere completate da una funzione polinomiale per garantire la compatibilità con lo spostamento richiesto. La funzione di interpolazione s(.) è quindi costituita da una funzione scalare radiale  e un polinomio correttivo h :

po di spostamento definito sulla nuvola di punti sorgente su una nuvola di punti bersaglio garantendo un andamento regolare. L’implementazione può essere specializzata in diversi modi e utilizza un approccio gerarchico in cui singoli punti controllano le curve, le curve controllano le superfici e quindi i volumi. Gli interpolanti RBF (lineari o cubici) gestiscono tali corrispondenze. Nell’esempio di Fig. 4, una centina di una struttura alare viene modificata controllando il diametro di un foro mediante la selezione di punti fissi e mobili.

Vale la pena notare che grazie alla natura meshless delle RBF, le operazioni di modifica possono eseguirsi nello stesso modo sia su superfici rappresentate con pochi punti, che ben si prestano all’interazione e alla visualizzazione in tempo reale, sia per griglie molto fitte necessarie per gli studi fluidodinamici o strutturali. Tale sincronizzazione viene realizzata mantenendo invariata la distribuzione dei punti sorgente (ed i relativi coefficienti della RBF) e utilizzando come target rispettivamente le posizioni nodali della griglia rada e fitta, entrambe riferite alla stessa superficie.

Un esempio applicativo

Per dimostrare l’approccio RBF4ARTIST si è considerata la modifica geometrica della superficie del cofano di un’autovettura. La geometria è introdotta nella scena come insieme di elementi quadrangolari (500 elementi in totale). L’immagine riporta alcuni fotogrammi catturati dalla videocamera sulla testa dell’utente nel corso delle fasi di l’interazione con la geometria. All’inizio della procedura (fotogramma A), l’utente afferra lo stilo del dispositivo aptico (sulla destra dell’immagine) e può muovere liberamente la sua replica virtuale nello spazio aumentato. La replica è raffigurata come un oggetto virtuale e la posizione e l’orientamento vengono aggiornati in base alla posizione e all’orientamento del dispositivo di input tattile ad ogni fotogramma. L’unico feedback tattile in questa fase è la forza dovuta al contatto tra la punta dello stilo e la geometria. La forza, che viene calcolata secondo l’algoritmo descritto nella sezione precedente, impedisce la compenetrazione tra la punta dello stilo e la geometria. Una volta a contatto, se l’utente sposta la punta lungo la superficie, può “sentire” la forma e le sue caratteristiche geometriche, con un elevato livello di dettaglio e realismo. D’altra parte, l’utente può anche decidere di staccarsi dalla superficie e in questo caso, il feedback tattile termina.
Premendo un pulsante sullo stilo tattile (fotogramma B), l’utente può disegnare i punti geometrici (i punti sorgente dell’algoritmo di morphing) sulla superficie. In questa fase, al fine di garantire un posizionamento corretto e preciso tra i punti e la superficie, il feedback tattile restituisce una forza bidirezionale che vincola la punta dello stilo sulla superficie. Mentre l’interazione di contatto unilaterale standard produce un forza di reazione solo per prevenire la penetrazione, le forze di attrazione sono in grado di prevenire anche il distacco. Da un punto di vista matematico questa interazione bidirezionale è ottenuta imponendo l’equazione (2) senza la condizione dc.nc<0.
Dopo lo spostamento dei punti, tutti i nodi della geometria iniziale vengono deformati utilizzando l’intero set di punti di schizzo come punti di controllo (fotogramma D); questa operazione si ottiene aggiornando il coefficiente dell’equazione (9) e quindi calcolando lo spostamento da assegnare a ciascun nodo della superficie. È possibile eseguire una deformazione sincrona (l’algoritmo RBF è risolto in tempo reale ad ogni fotogramma video) o asincrona (l’algoritmo è risolto solo dopo lo spostamento di tutti i punti di controllo).
Dopo un atto di deformazione, l’utente può rivedere e confrontare la geometria modificata rispetto a quella iniziale e predisporre un’altra procedura di modifica (fotogramma E). La configurazione ottenuta può essere quindi trasferita ad un ambiente di modellazione o simulazione specifico. Il tempo necessario al calcolo delle deformazioni dipende dalle risorse di calcolo disponibili (e dalle capacità HPC se presenti).

Conclusioni

Nell’articolo è stata presentata una metodologia innovativa per l’esecuzione di operazioni di modifica di superfici geometriche. La metodologia impiega l’uso combinato di realtà aumentata, del feedback aptico e di un algoritmo di morphing basato sulle RBF. L’applicazione proposta dimostra l’efficacia dell’integrazione tra diversi dispositivi e la fattibilità in termini di carico computazionale visto che il processo funziona in modo fluido su una workstation standard. L’uso della strategia di morphing basata sulle RBF dimostra che l’aggiornamento della geometria può essere realizzato in tempo reale e non influenza le prestazioni computazionali. L’aggiunta di un feedback tattile aumenta in maniera considerevole il livello di realismo. Un gruppo di 10 soggetti diversi ha testato la metodologia per avere un riscontro su prestazioni e usabilità. Nessuno dei soggetti aveva esperienza nel campo della realtà aumentata e della modellazione geometrica. Dopo pochi minuti di pratica tutti i soggetti sono stati in grado di utilizzare il sistema riferendo che il feedback tattile è molto realistico e il dispositivo aptico combinato alla proiezione aumentata rende molto intuitiva la gestione di forme tridimensionali. Inoltre, la maggioranza riferisce che le attività di deformazione risultano molto naturali. I riscontri positivi del sistema RBF4ARTIST, sia in termini di prestazioni che di esperienza d’uso sono molto incoraggianti per il proseguimento della ricerca sul tema e il perfezionamento del dispositivo. Le attività in corso riguardano i problemi di modellazione biomeccanica e gli studi di ottimizzazione geometrica. Un elemento chiave di questo tipo di workflow risiede nella capacità di tradurre le modifiche di forma definite per modelli semplici e gestibili quindi in tempo reale, su modelli complessi tipici di numerose applicazioni pratiche dell’ingegneria.

Bibliografia

[1]    T.W. Sederberg, S.R. Parry, “Free-form deformation of solid geometric models”, in of ACM SIGGRAPH ‘86, New York, NY, USA, 1986, pp. 151-160.
[2]    A. de Boer, M.S. van der Schoot, H. Bijl,  “Mesh deformation based on radial basis function interpolation”, Computers and Structures, vol 85, no. 11-14, pp. 784-795, 2007.
[3]    M.E. Biancolini, C. Biancolini, E. Costa, D. Gattamelata, P.P. Valentini. “Industrial Application of the Meshless Morpher RBF Morph to a Motorbike Windshield Optimisation”, in European Automotive Simulation Conference (EASC), Munich, Germany, 2009.
[4]    M.E. Biancolini, E. Costa, U. Cella, C. Groth, G. Veble, M. Andrejašič, “Glider fuselage-wing junction optimization using CFD and RBF mesh morphing”. Aircraft Engineering and Aerospace Technology, vol. 88, p. 740-752, 2016.
[5]    P.P. Valentini, “Augmented Reality and Reverse Engineering tools to support acquisition, processing and interactive study of archaeological heritage”, Virtual Reality, series “Computer Science, Technology and Applications”, Nova Publishing, 2012.
[6]    P.P. Valentini “Natural Interface in Augmented Reality Interactive Simulations”, Virtual and Physical Prototyping, vol 7, pp.137-151, 2012.

Pier Paolo Valentini e Marco Evangelos Biancolini

Dipartimento di Ingegneria dell’Impresa “Mario Lucertini”
Università degli Studi di Roma “Tor Vergata”
Via del Politecnico, 1 – 00133 Roma
{valentini, biancolini}@ing.uniroma2.it

« Indice del n. 78