Vers le site Automates Intelilgents
La Revue mensuelle n° 58
Robotique, vie artificielle, réalité virtuelle

Information, réflexion, discussion
logo admiroutes

Tous les numéros


Archives
(classement par rubriques)

Image animée




 

Retour au sommaire

Du côté des labos

La tête parlante (Speech2Graphite),
logiciel d'aide aux sourds et malentendants

par christophe Jacquemin (17/10/2004)

Des chercheurs des équipes ISA(1) et Parole(2) de l'Institut national de recherche en informatique et automatique (INRIA) Lorraine/LORIA, développent actuellement le logiciel Speech2Graphite qui permet d'augmenter l'autonomie des sourds et des malentendants.
Le prototype, qui a été présenté au grand public dans les jardins du Luxembourg lors de la Fête de la Science, est développé en collaboration avec DATHA(3), association impliquée dans le développement des aides technologiques aux personnes handicapées.

Speech2 utilise la reconnaissance de phonèmes pour animer en temps réel une tête de synthèse produisant des mouvements de lèvres hyper-réalistes, permettant ainsi aux sourds (lecteurs labiaux) de recevoir les message parlés.

Comment fonctionne Speech2 ?

Durant un discours parlé, le système procède tout d'abord à la reconnaissance des phonèmes, via le moteur de reconnaissance ESPERE.

Reconnaissance de phonèmes par le moteur de reconnaissance ESPERE

Conversion des phonèmes en visèmesUn automate convertit ensuite chaque phonème en visème (c'est à dire en l'expression faciale du phonème lorsqu'il est prononcé) et anime en temps réel les lèvres d'un avatar (tête de synthèse). Le système peut aussi être couplé par la vision du mouvement de la main de l'avatar (langage parlé complété, ou LPC), supprimant d'éventuelles ambiguités inhérentes à la lecture sur les lèvres.

Il est également possible d'afficher un sous-titrage, le système comprenant également un automate permettant de passer de la reconnaissance des phonèmes par le moteur ESPERE à leur transcription en mots.

Sous titrage à partir de la reconnaissance des phonèmes


Ce prototype viendra compléter utilement les aides médicales déjà disponibles (prothèses, implants) qui, parfois ne permettent pas une réception optimale de l'information.
Ce lociel présente aussi le fort intérêt de ne pas obliger les personne entendantes à acquérir des compétences particulières pour pouvoir communiquer avec les sourds.

Notes
(1) Modèles, algorithmes et géométrie pour l’informatique graphique et la vision : http://www.inria.fr/recherche/equipes/isa.fr.html
(2) Analyse, perception et reconnaissance de la parole http://www.inria.fr/recherche/equipes/parole.fr.html
(3) Développement d'Aides Technologiques pour les personnes Handicappées
http://datha.free.fr

Retour au sommaire