Retour au sommaire
Du côté des labos
La
tête parlante (Speech2Graphite),
logiciel d'aide aux sourds et malentendants
par christophe Jacquemin (17/10/2004)
Des
chercheurs des équipes ISA(1)
et Parole(2)
de l'Institut national de recherche en informatique et automatique
(INRIA) Lorraine/LORIA, développent actuellement le logiciel
Speech2Graphite qui permet d'augmenter l'autonomie des sourds
et des malentendants.
Le prototype, qui a été présenté
au grand public dans les jardins du Luxembourg lors de la Fête
de la Science, est développé en collaboration
avec DATHA(3),
association impliquée dans le développement
des aides technologiques aux personnes handicapées.
Speech2
utilise la reconnaissance de phonèmes pour animer en
temps réel une tête de synthèse produisant
des mouvements de lèvres hyper-réalistes, permettant
ainsi aux sourds (lecteurs labiaux) de recevoir les message
parlés.
Comment
fonctionne Speech2 ?
Durant
un discours parlé, le système procède tout
d'abord à la reconnaissance des phonèmes, via
le moteur de reconnaissance ESPERE.
Un
automate convertit ensuite chaque phonème en visème
(c'est à dire en l'expression faciale du phonème
lorsqu'il est prononcé) et anime en temps réel
les lèvres d'un avatar (tête de synthèse).
Le système peut aussi être couplé par la
vision du mouvement de la main de l'avatar (langage parlé
complété, ou LPC), supprimant d'éventuelles
ambiguités inhérentes à la lecture sur
les lèvres.
Il
est également possible d'afficher un sous-titrage, le
système comprenant également un automate permettant
de passer de la reconnaissance des phonèmes par le moteur
ESPERE à leur transcription en mots.
Ce prototype viendra compléter utilement les aides médicales
déjà disponibles (prothèses, implants)
qui, parfois ne permettent pas une réception optimale
de l'information.
Ce lociel présente aussi le fort intérêt
de ne pas obliger les personne entendantes à acquérir
des compétences particulières pour pouvoir communiquer
avec les sourds.
Notes
(1) Modèles, algorithmes et géométrie
pour l’informatique graphique et la vision : http://www.inria.fr/recherche/equipes/isa.fr.html
(2) Analyse, perception et reconnaissance
de la parole http://www.inria.fr/recherche/equipes/parole.fr.html
(3)
Développement d'Aides Technologiques pour les personnes
Handicappées
http://datha.free.fr
