Seguiment manual en temps real
El llenguatge de signes l’utilitzen milions de persones a tot el món. Els investigadors han estat treballant per construir tecnologies que puguin entendre els gestos i convertir-los automàticament en un llenguatge comprensible per l’home. No obstant això, aquests projectes no han obtingut un gran èxit en termes de precisió.
Google ha desenvolupat recentment un algorisme que es pot utilitzar per al seguiment manual en temps real. El sistema intel·ligent aprofita l'aprenentatge automàtic per crear un mapa de la mà. El mapa es crea amb l'ajuda d'una càmera o un telèfon intel·ligent. No podem negar el fet que la majoria dels sistemes no aconsegueixen captar amb precisió moviments ràpids de les mans. Google ha abordat específicament aquest problema en aquesta investigació. Curiosament, han limitat la quantitat de dades que els algoritmes havien processat prèviament.
Com funciona el seguiment manual en temps real?
La majoria dels projectes existents tradueixen el llenguatge de signes detectant la mida i la posició de la mà completa. Amb aquesta investigació. els investigadors han eliminat la necessitat de manipular formes rectangulars de diferents mides. El sistema de Google només reconeix la palma de forma quadrada. En segon lloc, es fa un procés d’anàlisi separat per als dits.
Gestos de mans
Els investigadors van utilitzar al voltant de 30.000 imatges manuals per entrenar l'algorisme d'aprenentatge automàtic. Aquestes imatges es van capturar en diferents condicions d’al·luminació i posat. Aleshores, el sistema detecta el gest fent una comparació entre la postura de la mà i una llista d’entitats conegudes com una pilota o la felicitat. Google descriu el reconeixement de gestos a publicació al bloc .
A continuació, assignem el conjunt d’estats de dit a un conjunt de gestos predefinits. Aquesta tècnica senzilla i eficaç ens permet estimar gestos estàtics bàsics amb una qualitat raonable. El gasoducte existent admet el recompte de gestos de diverses cultures, per exemple. Americans, europeus i xinesos, i diversos cartells de mà inclosos 'Thumb up', puny tancat, 'OK', 'Rock' i 'Spiderman'.
L’algoritme final de seguiment manual produeix resultats d’última generació en termes de velocitat i precisió. L'algorisme utilitza el framework MediaPipe per executar-se. Aquesta tècnica sembla un avanç important en el domini de la llengua de signes. Tot i que encara hi ha molt marge de millora. per comprendre millor la llengua de signes. Qualsevol persona pot ampliar aquest treball per utilitzar expressions facials i ambdues mans per aconseguir millors resultats.
Tot i que Google no té cap paraula, hi ha la possibilitat que Google pugui millorar aquesta tecnologia de seguiment manual en temps real per utilitzar-la en els seus productes. Mentrestant, si voleu jugar amb el codi, és així disponible públicament a GitHub .
Etiquetes Google
