Sensorielles, 3D, haptiques, gestuelles…: les interfaces se démultiplient

Pratique
Par · 27/11/2013

Tout matériau, toute surface qui nous entoure, peut potentiellement servir d’interface. C’était là l’un des fils rouges de l’exposé que faisait Ivan Poupyrev de Disney Research lors de son passage au Festival KIKK 2013 (voir l’article que nous y consacrons dans notre dossier “Créativité numérique”). Le principe qu’il était venu démontrer est en fait celui de l’interprétation des fréquences électromagnétiques ou acoustiques qui sont produites de manière caractéristique lorsqu’un objet entre en contact avec une surface.

Dès le début des années 2000, des recherches menées par exemple en France au CNRS avaient donné naissance à la technologie APR (Acoustic Pulse Recognition) et au concept de RTOA (retournement temporel des ondes acoustiques).

L’onde acoustique, la vibration tridimensionnelle, générée par le contact est spécifique à chaque zone et sert dès lors de signature que l’on peut singulariser par une fonction ou action particulière, quel que soit le matériau que l’on rend “interactif”: verre, bois, plastique… La propagation se fait en trois dimensions, au sein même du matériau. La technique APR exploite ce qu’on appelle les “ondes de flexion”. Autrement dit les signaux acoustiques qui se propagent au sein de la structure moléculaire du matériau. Par opposition aux “ondes de surface” qui peuvent être influencées par des “obstacles” se trouvant à la surface: un objet posé sur elle, de l’eau renversée…

Toute surface peut donc se muer en panneau de contrôle. Il suffit de “capter” l’onde pour en interpréter les caractéristiques. Et cela se fait par exemple par insertion de capteurs piézo-électriques qui, en vibrant, génèrent un signal électrique de faible amplitude. Ce signal, une fois numérisé, est transmis à un processeur qui le traite via triangulation des coordonnées d’impact. Le point d’impact est ainsi identifié, comparé à une base de références et peut être associé à une fonction. Le degré de précision de l’identification du point d’impact varie d’un matériau à l’autre (de l’ordre du millimètre pour certains).

Une longue préparation

Le principal problème se situe au niveau de la constitution de la base de références. Il s’agit en effet de répertorier de manière hyper-précise chaque micro-point de la surface de contact et de documenter les multiples signatures potentielles selon le type ou la nature des “objets” qui rentreront en contact avec la surface. Chaque surface de contact doit donc être pré-calibrée et scénarisée.

L’“objet” utilisé pour le contact peut tout simplement être le doigt ou un objet quelconque. La fréquence de l’onde générée variant selon les particularités de l’“objet”, il devient possible de moduler plus finement les actions qui sont demandées à l’ordinateur ou au logiciel. Exemple: l’effet produit sera différent selon que l’on touche la surface qui sert d’interface avec le bout de l’ongle, la pulpe du doigt, avec la pointe d’un objet, son arête…

Outre-Atlantique, l’Institut HCI (Human Computer Interaction) de l’université de Carnegie Mellon s’est lancé dans des travaux de recherche afin de pouvoir associer différentes fonctions à la partie du doigt que l’on utilise pour piloter une interface tactile. Le projet, baptisé TapSense, vise à faire varier les commandes (insertion de texte, zoom, changement de couleurs d’une zone….) selon la partie du doigt qu’on utilise: bout de l’ongle, articulation entre deux phalanges, pulpe du doigt…

Autre projet de recherche: l’utilisation d’objets de pointage (stylets) réalisés dans des matières différentes (bois, acrylique, polystyrène…) pour varier, là aussi, les commandes et fonctions qu’y seraient associées ou encore pour associer chaque stylet à un utilisateur. Objectif: du multi-touch multi-utilisateurs.

L’INRIA, en France, travaille lui aussi sur le développement de systèmes de pointage dont les formes influeraient l’interaction. Un pointeur de forme parallélépipédique pourra par exemple être posé ou mis en contact de diverses manières avec une surface de contrôle. Chacune de ses faces est dotée d’émetteurs infra-rouges. Chaque type de positionnement (arrête, pointe, face carrée, côté…) génère donc une “signature” IR spécifique, déclenchant une action ou fonction particulière…

Retour sensoriel

D’autres recherches travaillent sur diverses formes de “retour sensoriel” en utilisant des écrans. La technique demeure alors l’insertion de céramiques piézo-électriques située en-dessous de l’écran. Selon l’endroit où elles se trouvent, elles génèrent, lors d’un toucher, diverses vibrations à très haute fréquence et de faible amplitude. Résultat: le doigt sentira plus ou moins de résistance. Il pourra ainsi repérer les zones correspondant à des touches ou fonctions et passera plus vite sur les parties de l’écran ne donnant pas lieu à interaction.

Cette technique peut s’avérer intéressante pour les personnes souffrant de déficience visuelle mais aussi pour tout utilisateur lambda voulant par exemple piloter son smartphone “à l’aveugle” sans le sortir de sa poche. Des vibrations et résistances de différentes intensités peuvent également permettre de repérer des couleurs.

Une idée semblable mais basée sur une autre technique (principe de la force électrique attractive) a été mise en oeuvre par la société finlandaise Senseg. Un revêtement spécial d’écran, baptisé Tixel, intègre un réseau d’électrodes. En faisant passer un très faible courant électrique dans les électrodes, il est possible de produire un effet d’attraction sur la peau du doigt.

En modulant cette force d’attraction, on crée tout un registre de sensations, l’utilisateur ayant l’impression de passer le doigt sur des matières différentes, lisses ou rugueuses. Chaque texture est associée à une fonction, à un bouton virtuel spécifique, à un type de contenu…