Google MediaPipe leggerà i gesti manuali su Smartphone

Sappiamo che Google non si è mai particolarmente impegnata nello sviluppo di prodotti legati alla realtà virtuale e aumentata. Tuttavia, quasi ironicamente, ha creato tecnologie che potrebbero far avanzare proprio quei mercati.

In particolare, la società ha deciso di investire nel machine learning che non necessita di essere scaricato su potenti server in esecuzione sul cloud.

Se il suo ultimo progetto di ricerca dovesse decollare, il tracciamento di mani e dita potrebbe diventare accessibile a tutti, proprio come se stessimo semplicemente usando una fotocamera o uno smartphone.

Molti sistemi VR e AR si basano sul tracciamento della testa per posizionare e orientare l’utente all’interno del mondo digitale, e attualmente è il massimo che possono fare.

Quando si tratta di provare a riprodurre i movimenti delle mani nel mondo virtuale, la maggior parte dei sistemi richiede sensori, telecamere e attrezzature aggiuntive.

Il framework MediaPipe di Google Research, al contrario, non ha bisogno d’altro che di uno smartphone.

La potente innovazione tecnologica sfrutta l’apprendimento automatico e l’IA. Come funziona? Il sistema rileva e analizza prima il palmo della mano, poi tutto il resto, compresa la posizione delle dita, che viene calcolata in base al quadro iniziale.

MediaPipe è in grado di riconoscere numerosi gesti registrati nei 21 punti chiave 3D del sistema e prodotti dai processi precedenti.

Ciò che rende ancora più impressionante il processo è l’hardware necessario per fare tutto ciò. L’obiettivo di MediaPipe è quello di fornire un sistema di riconoscimento dei gesti delle mani in tempo reale sul dispositivo, in questo caso uno smartphone.

Oltre che a eliminare eventuali implicazioni con la privacy, in questo modo il procedimento semplifica i requisiti per ottenere un riconoscimento accurato della mano, su qualsiasi dispositivo.

Gli smartphone potranno leggere i gesti delle mani anche senza i sensori dedicati (come Project Soli). Le cuffie Smartglass e XR potranno utilizzare le stesse fotocamere e i processori che già posseggono.

Non resta che attendere che Google sviluppi un vero e proprio ecosistema VR e AR, potenziandolo negli anni a venire.