Langue des signes et informatique
Les recherches en informatique sur la langue des signes sont nombreuses : captation, avatar, dictionnaires…
Quelques thèses de doctorat…
Guylhem Aznar, Informatisation d’une forme écrite de la langue des signes française
Thèse de doctorat en Informatique. Soutenue en 2008 à Toulouse 3
Résumé : Cette thèse étudie les moyens pour informatiser une forme écrite de la langue des signes. L’état de l’art étudie respectivement l’écriture, l’encodage, la localisation des systèmes d’exploitation à travers l’exemple de linux, les langues signées, et l’informatisation des langues signées. Il est suivi par une observation au Brésil d’une classe d’enfants utilisant les logiciels existants. Suite à ces éléments, une nouvelle approche, basée sur une segmentation du problème en couches fonctionelles intégrables au système d’exploitation, est proposée. Le fonctionnement des couches est étudié, ce qui permet d’identifier des problèmes de variabilités. Un algorithme pour gérer ces variabilités est proposé. La problématique de l’encodage est alors étudiée plus en détail, en comparant les méthodes qu’il est possible de mettre en œuvre, et en proposant une approche intermédiaire entre les objectifs de vitesse et de place, vu les impératifs d’Unicode.
https://www.theses.fr/2008TOU30312
Mohamed-El-Fatah Benchiheub, Contribution à l’analyse des mouvements 3D de la Langue des Signes Française (LSF) en Action et en Perception
Thèse de doctorat en Sciences du sport et du mouvement humain. Soutenue le 08-11-2017 à l’Université Paris-Saclay
https://www.theses.fr/2017SACLS559
Résumé : La langue des signes (LS) est encore une langue peu décrite, en particulier ce qui concerne le mouvement des articulateurs. La recherche sur la LS s’est concentrée sur la compréhension et la modélisation des propretés linguistiques. Peu d’études ont essayé de comprendre la cinématique et la dynamique du mouvement en lui-même et ce que cela apporte à compréhensibilité de la LS générée par des modèles. Cette thèse porte sur l’analyse du mouvement en Langue des Signes Française (LSF) tant des points de vue de sa production et de sa compréhension par les individus sourds.Mieux appréhender le mouvement en LS nécessite la création de nouvelles ressources pour la communauté scientifique étudiant les LSF. Dans cette perspective, nous avons créé et annoté un corpus de données de mouvements 3D de la partie supérieure du corps et du visage, à l’aide du système de capture de mouvement. Le traitement de ce corpus a permis de spécifier la cinématique du mouvement en LSF durant les signes et les transitions.La question posée dans la première partie de cette thèse était de quantifier dans quelle mesure certaines lois classiques connues en contrôle moteur restaient valides durant les mouvements de LS, afin de savoir si les connaissances acquises en contrôle moteur pouvaient être réutilisées en LS.Trouver quelles informations du mouvement sont cruciales pour la compréhension de la LS a constitué la deuxième partie de cette thèse. L’intérêt était de savoir quels aspects du mouvement des modèles de production de LS devraient reproduire en priorité. Dans cette démarche, nous avons étudié dans quelle mesure des individus sourds, signeurs ou non, parvenaient à comprendre la LS en fonction de la quantité d’informations qui leur est disponible.
https://theses.hal.science/tel-01839676
Emilie Chételat-Pelé, Les Gestes Non Manuels en Langue des Signes Française ; Annotation, analyse et formalisation : application aux mouvements des sourcils et aux clignements des yeux
Université de Provence – Aix-Marseille I, 2010
Résumé : Cette thèse s’inscrit dans le cadre de la génération automatique de Langue des Signes Française et plus particulièrement la génération des Gestes Non Manuels (GNM). La génération nécessite une description précise des GNM. Actuellement, nous ne disposons que de notations de nature symbolique. Nous proposons une nouvelle méthodologie d’annotation permettant une description fine et précise des mouvements, tout en tenant compte de la structure temporelle des GNM. Cette méthodologie comporte une annotation qualitative et une annotation quantitative. Nous avons appliqué notre méthodologie aux mouvements des sourcils et aux clignements des yeux et obtenons ainsi des données numériques et symboliques à partir desquelles nous menons l’analyse. Celle-ci permet de dégager une typologie de ces mouvements. Pour chaque catégorie nous précisons son rôle, l’emplacement du mouvement par rapport aux signes avoisinants et sa structure. Nous formalisons chacune des catégories pour une génération ultérieure et proposons des perspectives de poursuites de l’étude.
https://hal.science/tel-00547777v1
Maxime Delorme, Modélisation du squelette pour la génération réaliste de postures de la langue des signes française
Université Paris Sud – Paris XI, 2011
Résumé : Les avancées récentes en matière d’animation ont permis le déploiement de personnages virtuels à des fins diverses et variées. Les signeurs virtuels sont des personnages en trois dimension s’exprimant en langue des signes et permettant la diffusion de messages aux personnes sourdes et malentendantes signantes de manière anonyme et modulaire. Cependant, la génération d’animations pour ces personnages dépend de la description lexicale des signes, modèle linguistique dépendant du système de génération. Les signes décrits par ces modèles sont généralement des réalisations parfaites et géométriques menant à des mouvements robotiques et peu naturels de la part du signeur. Cette thèse s’intéresse à l’addition d’informations anatomiques au squelette de contrôle du personnage virtuel de manière à le faire signer de manière plus humaine et réaliste. Ces informations supplémentaires sont regroupées sous l’appellation de « modèle anatomique » et sont divisées en cinq contributions principales : une nouvelle représentation informatique du squelette, une étude anthropométrique sur la main, l’unification de dépendances articulatoires, un nouveau modèle de complexe carpo-métacarpien permettant l’opposition aisée du pouce et enfin un modèle calculant le confort d’une posture. Ces apports sont intégrés à une plateforme de génération au moyen de techniques adaptées aux contraintes imposées par les modèles linguistiques. Les travaux sont conclus par une évaluation du système ainsi qu’une réflexion sur les travaux futurs pouvant être élaborés à partir de cette thèse.
https://hal.science/tel-00672085v1
Michael Filhol, Modèle descriptif des signes pour un traitement automatique des langues des signes
Thèse de doctorat en Informatique. Soutenue en 2008 à Paris 11
Résumé : Les approches formelles de représentation des signes des langues des signes sont majoritairement paramétriques et nous montrons en quoi celles-ci ne sont pas suffisantes dans l’optique d’une utilisation informatique. Les plus fortes raisons sont le caractère ni nécessaire ni suffisant de l’ensemble de paramètres traditionnellement utilisé, leur nature fixe alors qu’un signe est dynamique et évolue au cours du temps, et le fait que les descriptions ne rendent pas compte de l’adaptabilité des signes décrits à différents contextes, pourtant à l’origine de leur réutilisabilité et de la force de concision des langues des signes. Nous proposons Zebedee, un modèle de description en séquence d’unités temporelles décrivant chacune un ensemble de contraintes nécessaires et suffisantes, appliquées à un squelette. L’espace de signation est vu comme un espace euclidien dans lequel toute construction géométrique annexe est possible. Les dépendances entre éléments des descriptions ou sur des valeurs contextuelles sont non seulement possibles mais pertinentes, et reposent sur des considérations à la fois articulatoires, cognitives et sémantiques. Nous donnons ensuite deux processus complémentaires d’évaluation : en informatique où nous discutons l’implantation de Zebedee dans une plateforme d’animation de signeur virtuel et son utilisation pour la diffusion d’informations en gare, et en linguistique où nous décrivons l’avantage d’une base de données et les nouvelles possibilités de requêtes offertes au linguiste. En perspectives, nous citons plusieurs domaines informatiques où Zebedee sera utile et plusieurs questionnements linguistiques actuels auxquels il offre des pistes de réponse.
https://www.theses.fr/2008PA112082
Mohammed Hadjadj, Modélisation de la Langue des Signes Française : Proposition d’un système à compositionalité sémantique
Thèse de doctorat en Informatique. Soutenue le 17-11-2017 à l’Université Paris-Saclay
Résumé : La reconnaissance de la langue des signes française (LSF) comme une langue à part entière en 2005 a créé un besoin important de développement d’outils informatiques pour rendre l’information accessible au public sourd. Dans cette perspective, cette thèse a pour cadre la modélisation linguistique pour un système de génération de la LSF. Nous présentons dans un premier temps les différentes approches linguistiques ayant pour but la description linguistique des langues des signes (LS). Nous présentons ensuite les travaux effectués en informatique pour les modéliser.Dans un deuxième temps, nous proposons une approche permettant de prendre en compte les caractéristiques linguistiques propres au LS tout en respectant les contraintes d’un processus de formalisation. En étudiant des liens entre des fonctions sémantiques et leurs formes observées dans les corpus LSF, nous avons identifié plusieurs règles de production. Nous présentons finalement le fonctionnement des règles comme étant un système susceptible de modéliser un énoncé entier en LSF.
https://theses.hal.science/tel-02002364
Marion Kaczmarek, Spécification d’un logiciel de traduction assistée par ordinateur à destination des langues signées
Thèse de doctorat en Informatique. Soutenue le 26-09-2022 à université Paris-Saclay
https://www.theses.fr/2022UPASG065
Résumé : Les logiciels Traduction Assistée par Ordinateur (TAO) proposent des outils variés pour faciliter la pratique professionnelle des traducteurs, en termes de gain de temps ou de confort. Cependant, et ce malgré la demande croissante de contenu traduit et accessible en LSF, on ne compte aujourd’hui aucune tentative pour équiper les traducteurs français/LSF avec un logiciel de TAO. Le problème qui nous intéresse ici consiste en la spécification d’un tel logiciel. Les langues des signes sont visuelles et iconiques, elles disposent de leur grammaire propre tout comme d’une organisation du discours particulière, mais d’aucune forme écrite. Cette absence d’écrit constitue un noeud problématique en termes de TAO, puisque les logiciels reposent actuellement sur des structures écrites éditables, et sur le fait que la concaténation des segments traduits correspond à la traduction de la concaténation des segments source (ce que nous appelons principe de linéarité). Nous cherchons à identifier les points de conflit entre les LS et le modèle actuel de la TAO de sorte à pouvoir y proposer des solutions. Les travaux impliquent tant l’adaptation de modules déjà existants que la création de nouveaux outils à intégrer dans un logiciel, en nous basant sur la pratique des professionnels.
https://theses.hal.science/tel-03889967
Loïc Kervajan, Contribution à la traduction automatique Français/Langue des Signes Française (LSF) au moyen de personnages virtuels
Linguistique. Université de Provence – Aix-Marseille I, 2011
Résumé : Depuis la loi du 11-02-2005 pour l’égalité des droits et des chances, les lieux ouverts au public doivent accueillir les Sourds en Langue des Signes Française (LSF). C’est dans le cadre du développement d’outils technologiques de diffusion de LSF que nous avons travaillé, plus particulièrement au niveau de la traduction automatique du français écrit vers la LSF. Notre thèse commence par un état de l’art relatif aux connaissances sur la LSF (ressources disponibles et supports d’expression de la LSF) avant d’approfondir des notions de grammaire descriptive. Notre hypothèse de travail est la suivant : la LSF est une langue et, à ce titre, la traduction automatique lui est applicable. Nous décrivons ensuite les spécifications linguistiques pour le traitement automatique, en fonction des observations mises en avant dans l’état de l’art et des propositions de nos informateurs. Nous détaillons notre méthodologie et présentons l’avancée de nos travaux autour de la formalisation des données linguistiques à partir des spécificités de la LSF dont certaines (model verbal, modification adjectivale et adverbiale, organisation des substantifs, problématiques de l’accord) ont nécessité un traitement plus approfondi. Nous présentons le cadre applicatif dans lequel nous avons travaillé : les systèmes de traduction automatique et d’animation de personnage virtuel de France Telecom R&D. Puis, après un rapide état de l’art sur les technologies avatar nous décrivons nos modalités de contrôle du moteur de synthèse de geste grâce au format d’échange mis au point. Enfin, nous terminons par nos évaluations et perspectives de recherche et de développements qui pourront suivre cette Thèse. Notre approche a donné ses premiers résultats puisque nous avons atteint notre objectif de faire fonctionner la chaîne complète de traduction : de la saisie d’un énoncé en français jusqu’à la réalisation de l’énoncé correspondant en LSF par un personnage de synthèse.
https://hal.science/tel-00697726v1
François Lefebvre-Albaret, Traitement automatique de vidéos en LSF : modélisation et exploitation des contraintes phonologiques du mouvement
Thèse de doctorat en Informatique. Soutenue en 2010 à Toulouse 3
Résumé : Dans le domaine du Traitement automatique des langues naturelles, l’exploitation d’énoncés en langues des signes occupe une place à part. En raison des spécificités propres à la Langue des Signes Française (LSF) comme la simultanéité de plusieurs paramètres, le fort rôle de l’expression du visage, le recours massif à des unités gestuelles iconiques et l’utilisation de l’espace pour structurer l’énoncé, de nouvelles méthodes de traitement doivent êtres adaptées à cette langue. Nous exposons d’abord une méthode de suivi basée sur un filtre particulaire, permettant de déterminer à tout moment la position de la tête, des coudes, du buste et des mains d’un signeur dans une vidéo monovue. Cette méthode a été adaptée à la LSF pour la rendre plus robuste aux occultations, aux sorties de cadre et aux inversions des mains du signeur. Ensuite, l’analyse de données issues de capture de mouvements nous permet d’aboutir à une catégorisation de différents mouvements fréquemment utilisés dans la production de signes. Nous en proposons un modèle paramétrique que nous utilisons dans le cadre de la recherche de signes dans une vidéo, à partir d’un exemple vidéo de signe. Ces modèles de mouvement sont enfin réutilisés dans des applications permettant d’assister un utilisateur dans la création d’images de signe et la segmentation d’une vidéo en signes.
https://www.theses.fr/2010TOU30193
Fanch Lejeune, Analyse sémantico-cognitive d’énoncés en langue des signes française pour une génération automatique de séquences gestuelles
Thèse de doctorat en Informatique. Soutenue en 2004 à Paris 11
Résumé : La thèse propose un cadre d’étude permettant d’envisager la génération de séquences gestuelles en Langue des Signes Française à partir d’une analyse opératoire qui accorde une place privilégiée à la sémantique cognitive. Cette étude est indispensable dans la mesure où la LSF s’appuie sur des procédés impliquant une relation plus étroite entre forme et sens. Le chapitre 1 présente un état de l’art des différents systèmes dédiés aux langues des signes en montrant comment la sémantique des LS y est envisagée et le modèle retenu qui conçoit la traduction automatique par l’intermédiaire de transfert de représentations. La génération y repose sur- une description du niveau sémantique sous forme de représentations construites à partir des hypothèses postulées par la Grammaire Applicative et Cognitive (Desclés J. P, 1990) (chap. 2). – une analyse opératoire intégrant les modélisations précédentes dans l’espace énonciatif dialogique du signeur. Dans cette perspective, deux paramètres essentiels sont mieux caractérisés : la configuration manuelle et le mouvement (Chap. 3). La thèse se focalise sur l’analyse de formes verbales centrées autour du repérage, d’actions de mouvement ou de transfert d’une entité et décrit des réseaux de signification de quelques verbes polysémiques exprimés en LSF (chap. 4). Les perspectives d’un tel travail sont multiples : envisager des systèmes IHM s’inspirant de l’analyse opératoire présentée ici, des dictionnaires multimédias Français – LSF intégrant un module de génération tel qu’il est envisagé ici. , des systèmes d’aide à l’apprentissage du français ou de la LSF.
https://www.theses.fr/2004PA112325
Olivier Losson, Modélisation du geste communicatif et réalisation d’un signeur virtuel de phrases en langue des signes française
Interface homme-machine [cs.HC]. Université des Sciences et Technologie de Lille – Lille I, 2000
Résumé : Dans le cadre du geste communicatif, la langue des signes française (LSF) constitue un sujet d’étude privilégié, par la richesse que lui confère précisément son statut de langue. Notre étude vise à obtenir un système de synthèse de phrases en LSF à partir d’une représentation textuelle intermédiaire, dans l’optique d’une traduction globale du français en signes. Issue des traits linguistiquement pertinents, une grammaire formelle est proposée pour spécifier le signe, avec pour principe la décomposition en primitives formationnelles (configurations manuelles, mouvement, …). La description hiérarchique obtenue inclut des caractéristiques spatio-temporelles (points corporels, symétrie des articulateurs, répétition); une étude poussée des profils de vitesse a par ailleurs été effectuée pour représenter finement la dynamique du mouvement. Au niveau du discours interviennent les processus grammaticaux propres aux langues gestuelles : le paramétrage des signes permet, outre de décrire des items lexicaux génériques, de prendre en charge les mécanismes de localisation ou de référence pronominale. Afin de marquer le type de clause, l’expressivité non-manuelle – notamment faciale – est de première importance. Le système a été intégralement implanté pour aboutir à l’animation d’un signeur virtuel. L’exigence de configurations naturelles pour les chaînes articulaires a nécessité le développement d’un modèle réaliste pour l’avatar, et de méthodes spécifiques de cinématique inverse pour l’orientation et le positionnement manuels. L’ensemble, de l’analyseur syntaxique au module de génération graphique tridimensionnelle, constitue un prototype performant d’obtention de phrases signées. Doté d’une interface graphique, il laisse entrevoir (comme le prouve un exemple illustratif) toute une gamme d’applications pour lesquelles la vidéo n’est pas adaptée, tirant principalement profit de la compacité de l’encodage et de la rapidité avec laquelle sont produits les signes.
https://hal.science/tel-00003332v1
Hugo Mercier, Modélisation et suivi des déformations faciales : applications à la description des expressions du visage dans le contexte de la langue des signes
Interface homme-machine [cs.HC]. Université Paul Sabatier – Toulouse III, 2007
Résumé : Le visage joue un rôle prépondérant en langue des signes, notamment par le sens porté par ses expressions. Peu d’études existent sur les expressions faciales en langue des signes ; cela est dû au manque d’outil de description. Dans cette thèse, il s’agit de développer des méthodes permettant la description la plus précise et exhaustive possible des différents mouvements faciaux observables au cours d’une séquence vidéo de langue des signes.
Le formalisme des modèles à apparence active (Active Appearance Models – AAM) est utilisé ici pour modéliser le visage en termes de déplacements d’un certain nombre de points d’intérêt et en termes de variations de texture. Quand il est associé à une méthode d’optimisation, ce formalisme permet de trouver les coordonnées des points d’intérêt sur un visage. Nous utilisons ici une méthode d’optimisation dite « à composition inverse », qui permet une implémentation efficace et l’obtention de résultats précis.
Dans le contexte de la langue des signes, les rotations hors-plan et les occultations manuelles sont fréquentes. Il est donc nécessaire de développer des méthodes robustes à ces conditions. Il existe pour cela une variante robuste des méthodes d’optimisation d’AAM qui permet de considérer une image d’entrée éventuellement bruitée.
Nous avons étendu cette variante de façon à ce que la détection des occultations puisse se faire de manière automatique, en supposant connu le comportement de l’algorithme dans le cas non-occulté.
Le résultat de l’algorithme est alors constitué des coordonnées 2D de chacun des points d’intérêt du modèle en chaque image d’une séquence vidéo, associées éventuellement à un score de confiance. Ces données brutes peuvent ensuite être exploitées dans plusieurs applications.
Nous proposons ainsi comme première application de décrire une séquence vidéo expressive en chaque instant par une combinaison de déformations unitaires activées à des intensités différentes. Une autre application originale consiste à traiter une vidéo de manière à empêcher l’identification d’un visage sans perturber la reconnaissance de ses expressions.
https://hal.science/tel-00185084v1
Clément Reverdy, Annotation et synthèse basée données des expressions faciales de la Langue des Signes Française
Intelligence artificielle [cs.AI]. Université de Bretagne Sud, 2019
Résumé : La Langue des Signes Française (LSF) représente une part de l’identité et de la culture de la communauté des sourds en France. L’un des moyens permettant de promouvoir cette langue est la génération de contenu par le biais de personnages virtuels appelés avatars signeurs. Le système que nous proposons s’intègre dans un projet plus général de synthèse gestuelle de la LSF par concaténation qui permet de générer de nouvelles phrases à partir d’un corpus de données de mouvements annotées et capturées via un dispositif de capture de mouvement basé marqueurs (MoCap) en éditant les données existantes. En LSF, l’expressivité faciale est le vecteur de nombreuses informations (e.g., affectives, clausales ou adjectivales), d’où son importance. Cette thèse a pour but d’intégrer l’aspect facial de la LSF au système de synthèse concaténative décrit précédemment. Ainsi, nous proposons une chaîne de traitement de l’information allant de la capture des données via un dispositif de MoCap jusqu’à l’animation faciale de l’avatar à partir de ces données et l’annotation automatique des corpus ainsi constitués. La première contribution de cette thèse concerne la méthodologie employée et la représentation par blendshapes à la fois pour la synthèse d’animations faciales et pour l’annotation automatique. Elle permet de traiter le système d’analyse / synthèse à un certain niveau d’abstraction, avec des descripteurs homogènes et signifiants. La seconde contribution concerne le développement d’une approche d’annotation automatique qui s’appuie sur la reconnaissance d’expressions faciales émotionnelles par des techniques d’apprentissage automatique. La dernière contribution réside dans la méthode de synthèse qui s’exprime comme un problème d’optimisation assez classique mais au sein duquel nous avons inclus une énergie basée laplacien quantifiant les déformations d’une surface en tant qu’énergie de régularisation.
https://hal.science/tel-03100925v1
Jérémie Segouat, Modélisation de la coarticulation en Langue des Signes Française pour la diffusion automatique d’informations en gare ferroviaire à l’aide d’un signeur virtuel
Informatique. Université Paris Sud – Paris XI, 2010
Résumé : Le cadre de nos recherches est la diffusion d’informations en Langue des Signes Française via un signeur virtuel, par combinaison de segments d’énoncés préenregistrés. Notre étude porte sur une proposition de modèle de coarticulation pour ce système de diffusion. Le phénomène de coarticulation est encore très peu étudié dans le domaine des langues des signes : en puisant dans différents domaines (langues vocales, gestes) nous proposons une définition de ce qu’est la coarticulation en langue des signes, et nous présentons une méthodologie d’analyse de ce phénomène, en nous focalisant sur les configurations des mains et la direction du regard. Nous détaillons les différents aspects de la création et de l’annotation de corpus, et de l’analyse de ces annotations. Des calculs statistiques quantitatifs et qualitatifs nous permettent de proposer un modèle de coarticulation, basé sur des relâchements et des tensions de configurations des mains. Nous proposons et mettons en œuvre une méthodologie d’évaluation de notre modèle. Enfin nous proposons des perspectives autour des utilisations potentielles de ce modèle pour des recherches en traitement d’image et en animation de personnages 3d s’exprimant en langue des signes française.
https://hal.science/tel-00602117v1
Mohammed Zbakh, Apports du numérique dans les outils de communication des personnes handicapées : développement d’un dictionnaire inversé : Langue des Signes Françaises -> Français
Thèse de doctorat en Informatique. Soutenue le 17-12-2014 à Paris 8
Résumé : Les dictionnaires sont considérés comme des passerelles entre les langues. Au cours des dernières décennies, ils se sont rapidement adaptés aux nouvelles technologies. En effet, ils ont dépassé leur aspect classique de livres, pour conquérir le nouveau monde d’Internet. Ce développement leur a permis d’avoir plus d’accessibilité et plus de réactivité grâce à l’utilisation de différents systèmes d’indexation et de classification adéquats. Malgré la différence de structure entre la langue vocale et la langue des signes, cette dernière ne fait pas exception.Lors de ce travail, nous avons développé un système de recherche intelligent, capable de trouver la signification d’un signe de la langue des signes française à partir des paramètres du signe lui-même. Toutefois, la structure visuo-gestuelle de la langue des signes pose des difficultés pratiques à la mise en œuvre informatique de cette langue. La particularité de sa grammaire, d’être pratiquée dans l’espace, nous a encouragée à travailler sur une approche pragmatique, qui facilite l’accès à son vocabulaire pour toute personne s’intéressant à la langue des signes française.Lors de nos expérimentations, nous avons mis en place une plate-forme web de recherche des signes, puis nous avons analysé les requêtes des utilisateurs connectés à cette plate-forme. Cette analyse avait pour but d’identifier les paramètres nécessaires au développement d’un système léger, capable de trouver facilement la signification d’un signe en langue française.
https://www.theses.fr/2014PA080044
LISN (Laboratoire interdisciplinaire des sciences du numérique)
Les Langues des Signes (LS) sont des langues naturelles pratiquées au sein des communautés de Sourds et la Langue des Signes Française (LSF) est celle utilisée en France. Ce sont des langues visuo-gestuelles : une personne s’exprime en LS en utilisant de nombreuses composantes corporelles (les mains et les bras, mais aussi les expressions du visage, le regard, le buste, etc.) et son interlocuteur perçoit le message par le canal visuel. Le système linguistique des LS exploite ces canaux spécifiques : de nombreuses informations sont exprimées simultanément et s’organisent dans l’espace, et l’iconicité joue un rôle central. À ce jour, les LS n’ont pas de système d’écriture ni de système graphique standard pour la transcription. Elles sont encore peu décrites et peu dotées (très peu d’ouvrages de référence, lexiques limités, connaissances partielles sur la grammaire, peu de ressources en général). La modélisation informatique des LS nécessite de concevoir des représentations dans un domaine où peu de données sont disponibles et où les modèles pré-existants, essentiellement linéaires, ont été développés pour les langues écrites ou parlées et ne couvrent pas tous les aspects des LS. À travers des projets et collaborations nationales et internationales, nous produisons des ressources linguistiques et nous abordons des problématiques d’analyse, de représentation et de traitement de la LSF de manière interdisciplinaire, avec des points de vue de plusieurs domaines de l’informatique (TAL, traitement du signal, vision par ordinateur, informatique graphique), ainsi que des sciences du langage, du mouvement et de la perception.
Les corpus produits ou co-produits par le LISN sont accessibles pour la recherche publique sur le site Ortolang.
https://tals.lisn.upsaclay.fr/
MEDIAPI-SKEL
MEDIAPI-SKEL est un corpus bilingue de Langue des Signes Française (LSF) sous forme de données de pose (coordonnées de points du squelette) et de Français sous forme de sous-titres. Il peut être utilisé pour la recherche académique.
Pour constituer ce corpus, nous avons utilisé 368 vidéos correspondant à 27h de LSF produites par Média’Pi!, un média en ligne bilingue qui produit du contenu en LSF ensuite sous-titré en français.
Nous ne pouvons pas fournir les vidéos originales qui sont accessibles via un abonnement chez Média’Pi!. Nous fournissons les sous-titres en français alignés avec ces données au format WebVTT, ainsi que deux types de données : openpose et mediapipe holistic (dans la version 2 du dépôt), calculées à partir de chacune des vidéos.
Bull, H., Braffort, A. and Gouiffès, M. (2020). MEDIAPI-SKEL – A 2D-Skeleton Video Database of French Sign Language With Aligned French Subtitles. In Proceedings of the Twelfth International Conference on Language Resources and Evaluation (LREC’2020), Marseille, France, May.
Laboratoire Interdisciplinaire des Sciences du Numérique – UMR 9015 (LISN) (2023). MEDIAPI-SKEL [Corpus]. ORTOLANG (Open Resources and TOols for LANGuage) – www.ortolang.fr, v2, https://hdl.handle.net/11403/mediapi-skel/v2.
Depuis son lancement en 2021, le projet SignON, financé par l’UE, développe une application mobile qui assure la traduction automatique entre des langues signées et orales. Il entend faciliter l’échange d’informations entre les personnes sourdes, malentendantes et entendantes à travers l’Europe en utilisant les langues des signes irlandaise, britannique, néerlandaise, flamande et espagnole, ainsi que les langues parlées anglaise, irlandaise, néerlandaise et espagnole.