¿Quién no usa hoy en día las redes sociales y se encuentra a menudo con memes? Las personas con discapacidad visual también, pero muchas veces nos perdemos su significado por falta de accesibilidad. Esto va a cambiar.

Un grupo de investigadores de la CMUS (Carnegie Mellon University) en Estados Unidos está desarrollando una tecnología capaz de identificar los memes publicados en Internet y traducirlos a texto e incluso sonido.

Esta función, si se consigue implementar en toda la red, puede ser muy útil para las personas con discapacidad visual. También para aquellas que por alguna circunstancia no pueden cargar las imágenes (por velocidad de la conexión, por ejemplo)o no pueden acceder a ellas en un momento puntual.

Imágenes accesibles en internet

Hoy en día los lectores de pantalla son una de las herramientas más importantes que tienen las personas con ceguera o baja visión para poder acceder al contenido de Internet. Sin embargo, en muchas ocasiones estos lectores no pueden llegar a toda la información.

Normalmente la razón de esa falta de accesibilidad se debe a los propios creadores de productos visuales / audiovisuales que no tienen en cuenta las diferentes capacidades y necesidades de la sociedad. Otras, las menos, por las determinadas peculiaridades de los contenidos, es imposible transcribir lo que aparece en pantalla.

Sin embargo, esto último se puede deber más a una cuestión técnica con solución en un futuro más o menos lejano; Cuando la tecnología abarque más opciones útiles para la accesibilidad.

Si nos centramos en lo que tenemos ahora, el elemento más importante para describir la infinidad de imágenes que pueblan Internet es el texto alternativo.

El estudio previo de los investigadores de la CMU, se extrae que de 9 millones de tweets que examinaron, un millón incluía imágenes y, de ellas, solo el 0,1 % proporcionaba un texto alternativo.

El texto alternativo

El texto alternativo es la descripción en texto de la imagen que aparece en pantalla. Este texto puede aparecer visible junto a la imagen u oculto y adjuntado a la imagen mediante código.

Ya hemos comprobado que la mayoría de las redes sociales más importantes ya nos ofrecen la opción del texto alternativo cuando queremos subir una fotografía.

Algunas van más allá y se apoyan en la inteligencia artificial para detectar qué hay en la fotografía como es el caso de Instagram. Si no sabes como hacerlo puedes leer nuestro artículo Cómo hacer accesibles las imágenes de Instagram.

Mientras que en otras tenemos que ser nosotros, los que la publicamos, quienes pongamos la descripción como es el caso de Twitter.

Sin embargo, estas opciones de accesibilidad son difíciles de encontrar.

Los memes

Un tipo de imágenes que han aparecido en los últimos años y que se han viralizado son los memes.

Los memes son imágenes con contenido humorístico a las que generalmente les acompaña un texto para reforzar la gracia y sentido del conjunto.

Cuando una persona con discapacidad visual se encuentra con este tipo de imágenes suele perder gran parte o la totalidad del mensaje que quiere transmitir.

Es aquí donde entra en juego esta nueva tecnología de traducción de memes.

Una tecnología para hacer accesibles los memes

Este proyecto desarrollado en la Universidad de Carnegie Mellon, identifica automáticamente las imágenes y textos que aparecen en los memes y proporciona un texto alternativo con contexto adicional para entenderlos.

Obviamente, se trata de un proceso automatizado que se lleva a cabo a través de técnicas de visión computarizada.

Cómo funciona esta tecnología

El método utilizado por los investigadores de CMU se basa en aplicar plantillas preestablecidas para agregar texto alternativo descriptivo a las imágenes que identifica la inteligencia artificial o visión computerizada.

Con ese formato se estructurarían todas las descripciones para que sean compatibles con los lectores de pantalla. Es decir, que podamos tener memes accesibles.

El esquema básico de la plantilla sería:

• Descripción de la imagen
• Texto de la parte superior de la pantalla
• Texto de la parte inferior de la pantalla.

A continuación puedes ver un ejemplo del esquema utilizado.

En primer lugar el sistema describe la imagen del meme y después emplea el reconocimiento óptico de caracteres (OCR) para identificar el texto que se ha añadido a la imagen. El sistema indica también donde está ubicado este texto: si en la parte superior o en la inferior del meme.

Lo interesante de esta tecnología es que para cada tipo de meme sólo sería necesario hacer una plantilla que describa la imagen, y luego agregar la descripción del texto superpuesto cada vez que se comparta o se modifique.

Cómo traducir el humor y la subjetividad

A veces transmitir el sentido de una imagen o de un meme es tarea muy complicada. Y si entramos en el ámbito del humor mucho más aún.

Hay matices, convenciones culturales, idiomáticas, generacionales, etc. que son complicadas de descrbir con palabras. En eso inciden los investigadores.

Hay memes que son más fáciles que otros dependiendo de si el humor es más o menos explícito.

El desafío de implementar el sistema en Internet

Los investigadores, de todos modos, son cautos a la hora de poder implementar totalmente esta tecnología en Internet.

El principal problema es que cuando los usuarios crean un meme copian la imagen pero no el texto alternativo asociado. Por lo tanto se pierde toda accesibilidad.

Incluso si se integrara en un sitio web generador de memes, ese texto alternativo no se copiaría automáticamente cuando la imagen se compartiera en las redes sociales.

Investigaciones paralelas

El equipo de la Universidad de Carnegie Mellon no sólo se ha centrado en el texto descriptivo de los memes sino que ha ido más allá para traducirlos en forma de audio.

Crearon una plataforma en la que los usuarios pueden traducir memes existentes transmitiendo su significado a través de la música y los efectos de sonido. Buscan en una biblioteca de sonidos, aquellos que, según ellos representan el meme, y arrastran y sueltan los elementos en una plantilla.

Según Cole Gleason, uno de los investigadores:»Una de las razones por las que probamos los memes de audio fue porque pensamos que el texto alternativo podría eliminar el componente humorístico«.

Aunque, curiosamente, han descubierto que las personas que lo han probado prefieren sólo el texto. Quizá sea una cuestión de costumbre.

Además, el equipo de investigación de la CMU está trabajando en otros proyectos relacionados con la accesibilidad de imágenes. Entre ellos una extensión de navegador para agregar texto alternativo a las imágenes en Twitter y que podría incluir un sistema específico para los memes.

Otro proyecto pretende integrar texto alternativo en los metadatos de las imágenes lo que permitiría que se mantuviese siempre disponible aunque se publique en diferentes redes.

Si quieres saber más sobre la investigación puedes leer el artículo de la propia Universidad de Carnegie Mellon sobre este proyecto.