Una modificación de las gafas de realidad aumentada y virtual de Microsoft permite a personas con baja visión o ceguera poder conocer quién está a su lado y mejorar su interacción social.
La tecnología avanza rápida y exponencialmente. Lo que hace cinco años era una gran revolución, hoy parece incluso obsoleto o ha derivado en algo totalmente nuevo.
Así ha pasado con uno de los proyectos más interesantes de Microsoft: las HoloLens. De las que hablaremos en este artículo.
A medida que la tecnología ha exporado nuevos campos y posibilidades, la creciente cuestión de la accesibilidad se ha ido colando en los proyectos.
Antes, hacer un dispositivo accesible era un hito aislado y que apenas llegaba a los usuarios. Ahora, cada vez más, la implicación de las empresas y, por qué no decirlo, la inclusión de personas con discapacidad en los procesos de desarrollo, ha impulsado un boom integrador que agradecemos enormemente.
En este blog ya hemos hablado bastante de los asistentes de voz. Un ejemplo interesante de la Inteligencia Artificial. El más recurrido últimamente es Alexa con la que podemos interactuar simplemente con la voz.
Como siempre decimos, la accesibilidad nos beneficia a todos.
Índice
Socializar gracias a unas gafas
El dispositivo del que hablamos hoy destaca principalmente por ayudar a la socialización e integración de personas con baja visión o ceguera.
Un acto tan sencillo como una conversación puede resultar complicado si no distingues a quien tienes enfrente o a tu lado.
Es verdad que si alguien habla puedes reconocerle pero ¿y al resto de personas que están escuchando?
Una persona con discapacidad visual pierde mucha información tanto contextual como espacial. Identificar a una persona que no está hablando pero que participa en una reunión puede ser tarea imposible. Y más aún ubicarla espacialmente.
Sin vista también perdemos el lenguaje no verbal, muy importante la interacción social.
Solventar esa dificultad es lo que pretende Microsoft. Te contamos todo lo que sabemos del Proyecto Tokio y HoloLens.
HoloLens
Las gafas HoloLens (gafas holográficas) son un desarrollo de Microsoft que salió a la luz a finales de 2014. Combinaban la realidad aumentada y la realidad virtual. Actualmente (desde 2019) ya está disponible la versión HoloLens 2 mucho más avanzada y enfocada en su aplicación a ámbitos profesionales: medicina, educación, mecánica, etc.
La principal función de HoloLens original es crear hologramas o imágenes en 3D sólo visibles por la persona que las utiliza. De esta forma se pueden superponer objetos e imágenes en lugares reales y cotidianos.
El dispositivo crea imágenes virtuales emitiendo luz hacia nuestros ojos sin dañarlos. Incorpora una cámara que observa nuestro entorno y movimientos, con el fin de saber en qué lugar hay obstáculos o en que zonas puede ubicar las imágenes virtuales o los objetos en 3D. Además ofrece muchas aplicaciones y herramientas para poder explotar sus virtudes.
HoloLens no está vinculado a ningún ordenador, puesto que lo lleva integrado. También cuenta con sensores que facilitan la interacción del usuario con las animaciones virtuales, altavoces, micrófono y lentes en 3D. Esto proporciona gran libertad de movimiento y comodidad.
El cuerpo del dispositivo consta de una diadema ajustable que se apoya sobre la parte superior de la frente y la nuca. En la parte delantera se sitúan las gafas que quedan como flotando sin apoyarse en ningún otro lado más que en la diadema. Es bastante cómodo de utilizar.
El Proyecto Tokio
El Proyecto Tokio es una iniciativa de Microsoft creada en 2016 para investigar cómo las tecnologías como Inteligencia Artificial y Realidad Aumentada pueden ser útiles para todas las personas, especialmente aquellas que tienen discapacidad.
El principal objetivo de este proyecto es crear una tecnología que sea útil en el mundo real aumentando así las capacidades propias de las personas. No hacer algo específico para un colectivo sino para todos. Esa es la verdadera inclusión.
Su investigación se basa en la innovación técnica centrada en el ser humano contando para ello con la colaboración estrecha de los propios usuarios.
Se trata de personalizar el sistema para que el usuario pueda tener toda la información necesaria de su entorno más cercano: reconocer rostros, ubicar a las personas, poder mantener una conversación…
A cargo del proyecto se encuentran la investigadora Cecily Morrison y Ed Cutrell, investigador principal del Laboratorio de Investigación de Microsoft ubicado en Redmond, Washington.
Ambos cuentan con amplia experiencia en el diseño de tecnologías orientadas a personas con ceguera parcial o total y han trabajado con estos colectivos para conocer sus necesidades, intereses y habilidades. Y, de ese modo, poder crear un dispositivo que mejore sus condiciones de vida.
Desarrollo del proyecto
El primer paso en el proyecto fue conocer como interactúan las personas con discapacidad visual entre ellas, con personas videntes y con el entorno. Para ello hicieron un seguimiento de un grupo de atletas y espectadores con diferentes rangos de visión que formaron parte de la delegación de Reino Unido en los Juegos Paralímpicos de Brasil 2016.
Tras analizar los datos, definieron el tipo de experiencia de inteligencia artificial que necesitaban para poner en marcha su desarrollo.
Tomaron como referencia las HoloLens originales. Según Martín Grayson, miembro del proyecto, estas «tenían todo lo que ellos necesitaban para construir un agente de IA con el que una persona con deficiencia visual pudiese descifrar el entorno social en tiempo real».
De este modo, se decantaron por el diseño original con una serie de cámaras que proporcionan al usuario una «vista» de casi 180° del entorno y un reconocimiento facial con una gran precisión. Aprovecharon también los altavoces colocados sobre los oídos del usuario para generar un audio específico que solo él puede escuchar.
Cómo funcionan las Hololens para ver las personas de nuestro entorno
El dispositivo HoloLens modificado utiliza sus sensores para poder reconocer el entorno e identificar a las personas que se encuentran alrededor. Además dispone de sistemas de aprendizaje automático par mejorar la experiencia a base del uso.
Su funcionamiento es muy sencillo: el usuario solo tiene que mover ligeramente la cabeza para localizar a una persona y las HoloLens informarán mediante audio del nombre de la persona y el sitio en donde se encuentra en tiempo real.
Las HoloLens pueden funcionar a varios niveles: detección, identificación y aviso de recepción y siempre con sonidos y voz sólo audibles por el usuario gracias a los auriculares integrados en la diadema:
- Cuando detecta a una persona el auricular emite un clic que suena como si viniera de la ubicación de donde se encuentra: por ejemplo, un metro a la derecha.
- Si tiene registrada la cara de la persona, se emite un segundo sonido y se dice el nombre de la persona.
- Si no reconoce la cara reproduce un sonido como de estiramiento que se modula a medida que el usuario dirige su cabeza hacia la otra persona. Una vez que el usuario está frente a dicha persona y la cara centrada por los sensores oirá un clic.
Ademas, las HoloLens disponen de una tira LED que muestra una luz blanca para indicar que una persona que ha sido detectada, y una luz verde si ha sido identificada.
Educando y mejorando la interacción social. El caso de Theo
El proyecto se ha probado que es muy útil para lograr una mejor interacción social social entre adultos. Esto ha llevado a ampliar su ámbito de uso.
Actualmente, se está investigando cómo este dispositivo puede ayudar a desarrollar y potenciar las habilidades sociales en niños con discapacidad visual.
Para un niño ciego o con baja visión es complicado entender o poner en práctica ciertas habilidades sociales, sobre todo aquellas relacionadas con la interacción con otras personas.
Cualquier niño sin discapacidad visual aprende a interactuar socialmente imitando el comportamiento de otros niños o adultos. En el caso de aquellos que no ven aparecen lagunas en la socialización que podrían pasar desapercibidas e incluso derivan, en muchos casos, en tendencias antisociales o poco comunes. Gestos o comportamientos que resultan extraños a la vista de los demás y pueden interferir en las relaciones con persinas videntes.
Para desarrollar esta función de integración y aprendimiento social para niños se está llevando a cabo un estudio con un niño de 12 años llamado Theo.
Gracias a juegos y diferentes pruebas, Theode ha comenzado a manejar situaciones sociales utilizando señales utilizadas principalmente por personas videntes. Por ejemplo, cuando habla o escucha, dirige deliberadamente su atención hacia su interlocutor. También ha desarrollado su propio método de escanear la habitación y conocer quién está a su alrededor.
Si quieres saber más sobre la historia de Theo puedes leer este artículo de Microsoft sobre el Proyecto Tokio.
Un futuro prometedor
Como habrás podido comprobar, el Proyecto Tokio tiene muchas papeletas para revolucionar la manera en que las pwrsonas con discapacidad visual interactuamos con el mundo.
Además, no es un proyecto estancado sino que se siguen implementando mejoras. En muchos casos gracias a las aportaciones de voluntarios con baja visión o ceguera quw forman parte de sus grupos de trabajo.
Así, se han realizado varias mejoras como la retirada de las lentes que formaban parte de las HoloLens originales en aras de una interacción social más directa.
También se está trabajando en la opción de poder personalizar los sistemas de Inteligencia Artificial para ajustarlos a las necesidades concretas de cada usuario.
No todas las personas con discapacidad vemos igual y por ello no necesitamos el mismo tipo o cantidad de información cuando estamos ante una persona.
Se nos ocurre que una mezcla entre este dispositivo y la app Facing Emotions de Huawei estaría genial. Poder saber con quién hablas y también sus gestos o emociones ya sería la leche.
Mientras las investigaciones continúan cruzaremos los dedos para que este proyecto no se quede en el limbo (como ha ocurrido con muchos otros) y que podamos disfrutar pronto de las HoloLens en nuestro día a día