Una de las grandes revoluciones en la informática han sido las pantallas táctiles. Traían una nueva forma de interactuar con el ordenador, ya fuese con un puntero especial o con el dedo. En 2011, Microsoft fue más allá con la presentación de OmniTouch, un proyecto que convertía cualquier superficie en táctil.
La idea básica es montar un dispositivo de cámara y proyector en el hombro, que proyecta la pantalla y lee las pulsaciones del usuario. Las posibilidades son infinitas, permitiéndonos convertir nuestra mano, la pared, una hoja o cualquier otra superficie en una pantalla táctil.
Cómo funciona OmniTouch: reconociendo las pulsaciones
La parte más relevante del proyecto OmniTouch es el seguimiento de la posición y profundidad de los dedos, para saber dónde está tocando el usuario. Para ello, en el prototipo se usó una cámara PrimeSense sensible a la profundidad. A diferencia de una cámara normal que mide colores, PrimeSense mide la distancia de cada punto de la imagen a la lente de la cámara. La precisión de 1mm y el rango mínimo de 20 cm son las principales ventajas sobre la cámara Kinect, que se usó en un principio en el proyecto.
Para localizar los dedos, OmniTouch captura primero el mapa de profundidad (A). Después, se calcula el "mapa de inclinación" (B), o como ellos llaman la derivada del mapa de profundidad. Básicamente, lo que hacen es coger pequeños cuadrados de 5 píxeles de lado y ver en qué dirección disminuye más rápido la profundidad.
En (B) veis ese mapa traducido a colores: el rojo significa que hay menos profundidad en la dirección positiva del eje X ó Y (hacia arriba o hacia la derecha) y el azul que hay menos profundidad en la dirección negativa del eje X ó Y(hacia abajo o hacia la izquierda). El morado significa que apenas hay cambio en la profundidad.
Con este mapa, el software busca secciones cilíndricas verticales, una superficie que se acerque a la cámara, después se mantenga, y por último se aleje. Lo que viene siendo un dedo si lo recorréis de un lado a otro, vaya. En el mapa de colores, busca una sección roja, después una morada y después una azul, todo en el mismo eje vertical.
A los posibles candidatos se les aplica un filtro de altura, para descartar todo lo que no pueda ser un dedo (por ejemplo, un cilindro de 2 milímetros de alto no puede ser reconocido como un dedo, así que se descarta). En la figura (C) veis todas las secciones de dedo identificadas.
Una vez hecho esto, se juntan todas las secciones verticales para formar el dedo (figura D). Se descartan los dedos que puedan ser demasiado cortos, y se asume que como el usuario es diestro la parte más a la izquierda del dedo es la punta. Y voilá, ya sabemos dónde está apuntando el usuario.
Ahora bien, ¿cómo sabemos si el dedo está tocando la superficie? Ellos lo llaman relleno de inundación, pero nos resultará más familiar si os digo que es como rellenar con el cubo de pintura de Paint.
La técnica es sencilla: localizan el punto medio del dedo, y empiezan a rellenar píxeles hacia arriba, izquierda y derecha, con una tolerancia de 13 milímetros. Es decir, que sólo rellenan un píxel si la diferencia entre su profundidad y la del punto medio del dedo es menor que 13 milímetros.
De esta forma, si el dedo no está tocando nada, sólo se rellenarán los píxeles correspondientes al dedo. Si está tocando la mano, se rellenarán muchos más. En la imagen podéis ver lo que ocurre si el dedo están en el aire (izquierda) o tocando la mano (derecha). Cuando se pasa un determinado margen de píxeles rellenados, el software enviará una pulsación o clic en el lugar correspondiente.
Cómo funciona OmniTouch: proyectando la imagen
Aunque el reconocimiento de los dedos es la parte central, no podemos olvidarnos de que OmniTouch también tiene que proyectar una imagen sobre cualquier superficie. Para esto se usa también la cámara de profundidad. Se detectan todas las superficies en la imagen usando un algoritmo de componentes conectadas, que detecta de forma muy eficiente los puntos conectados entre sí en la imagen.
Una vez descartadas las superficies más pequeñas que una mano, se procede a fijar un centro o punto de referencia para proyectar la imagen. Este punto ayuda a la hora de detectar la orientación de la superficie y por lo tanto permite crear una imagen que no se vea distorsionada.
El siguiente punto difícil viene a la hora de detectar el tamaño de la superficie. Dado que no se pueden reconocer suficientemente bien los bordes de las superficies, OmniTouch usa la media y desviación estándar de los puntos que las componen para clasificarla en cinco puntos: mano, brazo, cuaderno, pared y mesa. Cada uno de ellos tiene un tamaño determinado y un centro para la imagen.
El software genera la imagen a proyectar con todos los datos, distorsionándola para que aparezca correctamente en la superficie. Después, pasa la imagen al proyector, que mostrará la imagen en la superficie que sea.
Una tecnología precisa y con muchas posibilidades
Tests usados para medir la precisión de OmniTouch.
En las pruebas que se hicieron, OmniTouch demostró ser una tecnología muy precisa. 96,5% de precisión a la hora de reconocer un clic, una cifra muy buena y más aún teniendo en cuenta que es un prototipo. En cuanto al tamaño de la interfaz, con botones de 2 centímetros de diámetro se reconocerían el 95% de las pulsaciones.
Ese tamaño máximo es el necesario para una interfaz proyectada en la mano. En otras superficies más alejadas, como una mesa o una pared, se podría disminuir hasta 15 milímetros, más o menos el mismo tamaño recomendado para un botón en una pantalla táctil convencional.
En cuanto a las posibilidades, son infinitas. Con el prototipo se creó un atril para pintar: en la pared dibujabas y en la mano izquierda escogías los colores. También se usó como un "subrayador" virtual, dibujando y anotando sobre un papel sujeto con la mano. No podía faltar el teclado en la mesa o el marcador de teléfono en la mano, todo muy futurista.
Pero lo más interesante es lo que mencionan al final del documento: las posibilidades que abre OmniTouch cuando dejemos de considerar superficies en dos dimensiones, aprovechar las formas del cuerpo para cambiar cómo interactuamos con el ordenador.
OmniTouch es un proyecto realmente apasionante, tanto en su técnica como en sus posibilidades. Volveremos a hablar de él pronto en el especial "El futuro según Microsoft" con LightSpace, un proyecto que convierte toda una habitación en un espacio interactivo.
En Xataka Windows | El futuro según Microsoft Más información | OmniTouch
Ver 5 comentarios