{"id":76,"date":"2021-04-21T15:24:11","date_gmt":"2021-04-21T13:24:11","guid":{"rendered":"https:\/\/digital.hfh.ch\/forschungsbericht-2021\/?post_type=chapter&p=76"},"modified":"2021-05-28T13:35:11","modified_gmt":"2021-05-28T11:35:11","slug":"10-ueberprufen-von-gebaerdensprachkompetenz-mittels-automatischer-gebaerdenspracherkennung","status":"publish","type":"chapter","link":"https:\/\/digital.hfh.ch\/forschungsbericht-2021\/chapter\/10-ueberprufen-von-gebaerdensprachkompetenz-mittels-automatischer-gebaerdenspracherkennung\/","title":{"raw":"10. \u00dcberpr\u00fcfen von Geb\u00e4rdensprachkompetenz mittels automatischer Geb\u00e4rdenspracherkennung","rendered":"10. \u00dcberpr\u00fcfen von Geb\u00e4rdensprachkompetenz mittels automatischer Geb\u00e4rdenspracherkennung"},"content":{"raw":"Im Rahmen des SNF-Sinergia-Projektes SMILE2<\/sup><\/a> wurde ein automatisches Assessment- und Feedbacksystem f\u00fcr die Deutschschweizerische Geb\u00e4rdensprache (DSGS) entwickelt. Das Projekt bestand aus einem Konsortium von drei Hochschulen bzw. Forschungsinstitutionen. In diesem Beitrag wird die Forschung vorgestellt, die an der Interkantonalen Hochschule f\u00fcr Heilp\u00e4dagogik<\/em> (HfH) in Z\u00fcrich durchgef\u00fchrt wurde. Diese bestand aus (a) einer Erhebung und linguistischen Analyse von Daten der DSGS von geh\u00f6rlosen und h\u00f6renden Geb\u00e4rdensprachbenutzer*innen, (b) einer Untersuchung zum Entscheidungsprozess von geh\u00f6rlosen Auswerter*innen bei der Beurteilung eines Vokabelproduktionstests, (c) einer Analyse von Fehlern in den DSGS-Produktionen erwachsener Lernender und (d) der Entwicklung und Evaluation eines webbasierten Vokabelverst\u00e4ndnistests.\r\n
\r\n

Einleitung<\/h2>\r\nDie Modalit\u00e4t von Geb\u00e4rdensprachen, die Rezeption \u00fcber das Auge und die Produktion unter Verwendung der H\u00e4nde, der Kopfstellung, der Mimik, und des Oberk\u00f6rpers erfordert sowohl f\u00fcr das Erlernen als auch f\u00fcr das Erforschen von Geb\u00e4rdensprachen ein Minimum an technischer Infrastruktur. W\u00e4hrend vor rund 20 Jahren VHS-Videokassetten das Standardspeichermedium f\u00fcr Geb\u00e4rdensprachdaten in der Lehre waren, wird heute im Studienalltag prim\u00e4r mit Laptopkameras aufgenommen. Die Daten werden lokal oder auf externen Speichermedien gesichert. Der technische Fortschritt der letzten 20 Jahre hat nicht nur dazu beigetragen, dass z. B. Speicherplatz f\u00fcr Daten g\u00fcnstiger geworden ist, sondern auch, dass Webcams von Laptops oder Smartphones auch bei ung\u00fcnstigen Lichtverh\u00e4ltnissen zufriedenstellende Videoaufnahmen liefern \u2013 eine wichtige Grundlage f\u00fcr die Praxis und Forschung, um die es in diesem Beitrag geht. Geb\u00e4rdensprachtechnologien, d. h. die automatische Erkennung, \u00dcbersetzung und Animation von Geb\u00e4rdensprache (Ebling, Camg\u00f6z & Bowden, 2021<\/a>)<\/span> sind nicht nur ein Thema im Hinblick auf die Entwicklung assistiver Technologien, sondern werden auch f\u00fcr die Geb\u00e4rdensprachlehre und das \u00dcberpr\u00fcfen von Geb\u00e4rdensprachkompetenz immer relevanter.\r\n\r\nIn diesem Beitrag werde ich den Fokus auf Studien legen, die zu einem automatischen Assessment- und Feedbacksystem beigetragen haben. Des Weiteren werde ich auf die Verwendung der Open-Source-Software LimeSurvey<\/em> f\u00fcr die (Selbst-)\u00dcberpr\u00fcfung von Geb\u00e4rdensprachkompetenz eingehen. Beide Themen wurden in dem vom Schweizerischen Nationalfonds gef\u00f6rderten SNF-Sinergia-Projekt SMILE (S<\/strong>calable M<\/strong>ultimodal sign language Technology for sI<\/strong>gn language L<\/strong>earning and assessmE<\/strong>nt<\/em>) bearbeitet. Das SMILE-Projekt wurde von einem Konsortium von drei Hochschulen bzw. Forschungsinstitution (Idiap Research Institute<\/em>, Martigny; University of Surrey<\/em>, GB; HfH) von 2016 bis 2020 durchgef\u00fchrt. Zielgruppen des Assessment- und Feedbacksystems sind erwachsene h\u00f6rende, geh\u00f6rlose und h\u00f6rbehinderte Lernende der DSGS, die diese Sprache als Zweit- bzw. Fremdsprache erwerben.\r\n\r\n<\/div>\r\n
\r\n

Ergebnisse und Diskussion<\/h2>\r\nEine allgemeine Geb\u00e4rdensprachkompetenz kann in einem Kompetenzmodell wie in dem Gemeinsamen Europ\u00e4ischen Referenzrahmen f\u00fcr Sprachen<\/em> (GER, Council of Europe, 2020<\/a>)<\/span> abgebildet oder in Modellen zur kommunikativen Sprachkompetenz (z. B. Bachman, 1990<\/a>)<\/span> beschrieben werden. Sprachkompetenz, unabh\u00e4ngig davon, ob es sich um Geb\u00e4rden- oder Lautsprachen handelt, setzt sich in der Regel aus unterschiedlichen Teilkompetenzen zusammen, wie beispielsweise der Grammatik, dem Vokabular, der Aussprache, oder dem Redefluss. F\u00fcr das SMILE-Projekt haben wir uns auf die Teilkompetenz des Vokabulars (Einzelgeb\u00e4rden) konzentriert, genauer gesagt: nur auf die manuellen Komponenten von Einzelgeb\u00e4rden3<\/sup><\/a>). Wir haben uns f\u00fcr diese linguistische Ebene entschieden, da die automatische Geb\u00e4rdenspracherkennung zu Beginn des Projekts noch nicht so weit entwickelt war, um z. B. auf Satzebene Geb\u00e4rden erkennen zu k\u00f6nnen. Ein weiterer Grund war, dass das Wortschatzwissen ein wichtiger Bestandteil einer allgemeinen Sprachkompetenz ist (Read, 2000<\/a>)<\/span>. Unseres Wissens nach ist SMILE das erste Projekt weltweit, das automatische Geb\u00e4rdenspracherkennung f\u00fcr die \u00dcberpr\u00fcfung von Teilaspekten einer allgemeinen Geb\u00e4rdensprachkompetenz angewendet hat.\r\n\r\nDas Assessment- und -Feedbacksystem von SMILE musste mit realen Daten \u00abtrainiert\u00bb werden, um automatisch eine Entscheidung treffen zu k\u00f6nnen, ob eine von einer oder einem Lernenden produzierte Geb\u00e4rde \u00abrichtig\u00bb oder \u00abfalsch\u00bb ist. Diese Trainingsdaten bestanden aus Videoaufnahmen (von ca. 100 Geb\u00e4rden) von 11 geh\u00f6rlosen und 19 h\u00f6renden Geb\u00e4rdensprachbenutzer*innen (Ebling et al., 2018<\/a>)<\/span>. Die Proband*innen f\u00fchrten jede der ungef\u00e4hr 100 Geb\u00e4rden dreimal aus. Die Aufnahmen wurden im Anschluss von zwei geh\u00f6rlosen und einer h\u00f6renden linguistisch geschulten Expert*innen analysiert und sechs verschiedenen Kategorien zugeordnet (s. Tabelle 10.1<\/a>). Diese sechs Kategorien wiederum wurden einer Testentscheidung (richtig oder falsch) zugewiesen. Parallel dazu wurde die Information festgehalten, welche der manuellen Komponenten nicht korrekt produziert wurde(n) (z. B. Handform oder Ausf\u00fchrungsstelle einer Geb\u00e4rde).\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n
Tabelle 10.1: Beispiele der sechs Kategorien (vgl. Ebling et al., 2018<\/a>)<\/span><\/caption>\r\n
<\/th>\r\nGleiches Lexem wie Zielgeb\u00e4rde<\/th>\r\nBedeutung gleich?<\/th>\r\nForm gleich?<\/th>\r\nEinsch\u00e4tzung Test<\/th>\r\nBeispiel<\/th>\r\n<\/tr>\r\n<\/thead>\r\n
1<\/td>\r\nja<\/td>\r\nja<\/td>\r\nja<\/td>\r\nkorrekt<\/td>\r\nSPRACHE_1A<\/td>\r\n<\/tr>\r\n
2<\/td>\r\nja<\/td>\r\nja<\/td>\r\nleicht anders<\/td>\r\nkorrekt, kleine (erlaubte Variation)<\/td>\r\nSPRACHE_1A\u2019loc<\/td>\r\n<\/tr>\r\n
3<\/td>\r\nja<\/td>\r\nja<\/td>\r\nnein<\/td>\r\ninkorrekt<\/td>\r\nSPRACHE_1A\u2019hdf (Handform inakzeptabel)<\/td>\r\n<\/tr>\r\n
4<\/td>\r\nja<\/td>\r\nleicht anders<\/td>\r\nleicht anders<\/td>\r\nkorrekt, morphophonemische\/semantische Variante<\/td>\r\nSPRACHE_1A\u2019mov|fnkt:plural, ICH-FRAGE-DICH, DU-FRAGST-MICH<\/td>\r\n<\/tr>\r\n
5<\/td>\r\nnein<\/td>\r\nja<\/td>\r\nnein<\/td>\r\nkorrekt, Dialektvariante<\/td>\r\nSPRACHE_2B (andere Geb\u00e4rde f\u00fcr Sprache)<\/td>\r\n<\/tr>\r\n
6<\/td>\r\nnein<\/td>\r\nnein<\/td>\r\nnein<\/td>\r\ninkorrekt<\/td>\r\nBAUM_1A (Geb\u00e4rde f\u00fcr anderes Konzept)<\/td>\r\n<\/tr>\r\n<\/tbody>\r\n<\/table>\r\nDiese Grundlagen, die im Rahmen des SMILE-Projekts erarbeitet wurden, haben nicht nur unseren analytischen Blick auf die DSGS gesch\u00e4rft, sondern auch gezeigt, dass dieses Wissen relevant ist f\u00fcr die Schulung von Auswerter*innen. In einer Anschlussstudie wurden die Produktionen von zus\u00e4tzlich 20 erwachsenen DSGS-Lernenden durch zwei Auswerter*innen evaluiert (Haug, Ebling, Boyes Braem, Tissi & Sidler-Miserez, 2019<\/a>)<\/span>. Eine statistische Auswertung zeigte, dass die \u00dcbereinstimmung zwischen den beiden Auswerter*innen grunds\u00e4tzlich sehr hoch war. Es gab allerdings auch einzelne F\u00e4lle, in denen sie die DSGS-Produktionen unterschiedlich beurteilten (Batty & Haug, 2020<\/a>)<\/span>. In einem nachfolgenden Interview wurden diese F\u00e4lle thematisiert. Die Ergebnisse zeigen, dass beide Auswerter*innen das Kriterium, ob eine Geb\u00e4rde als richtig oder falsch zu beurteilen ist, unterschiedlich streng angewendet hatten. Im Laufe des Interviews zeigte sich, wie wichtig es ist, zu verstehen, wie dieses Kriterium zu interpretieren und anzuwenden ist. Solches Wissen muss in Zukunft vermehrt in Schulungen f\u00fcr Auswerter*innen einfliessen.\r\n\r\nEine weitere Studie des SMILE-Projektes besch\u00e4ftigte sich mit der Frage, welche der manuellen Komponenten (Handform, Ausf\u00fchrungsstelle, Bewegung, Handstellung) von Geb\u00e4rden die gr\u00f6sste Herausforderung f\u00fcr erwachsene DSGS-Lernende darstellt (Ebling, Tissi, Sidler-Miserez, Schlumpf & Boyes-Braem, 2021<\/a>)<\/span>. Um dieser Frage nachzugehen, wurden die Daten der 19 h\u00f6renden Geb\u00e4rdensprachbenutzer*innen aus der oben beschriebenen Studie bez\u00fcglich der Fehlerarten in den manuellen Komponenten analysiert. Am meisten Fehler fanden sich im Zusammenhang mit der manuellen Komponente Bewegung<\/em>, gefolgt von Ausf\u00fchrungsstelle<\/em>, Handstellung<\/em> und Handform<\/em>. Warum ist Bewegung am schwierigsten zu produzieren bzw. warum treten dort die meisten Fehler auf? Ebling, Tissi, Sidler-Miserez, Schlumpf und Boyes-Braem<\/a><\/span> (2021<\/a>)<\/span> geben als m\u00f6gliche Erkl\u00e4rung die Komplexit\u00e4t von Bewegungen an, d.\u00a0h. das gleichzeitige Zusammenspiel von mehreren Faktoren wie Gr\u00f6sse, Form (z. B. kreisend, geradeaus) und Richtung (vom K\u00f6rper weg, zum K\u00f6rper hin). Forschungen wie diese helfen uns, besser zu verstehen, welche Schwierigkeiten beim Erlernen einer Sprache in einer neuen Modalit\u00e4t auftreten k\u00f6nnen. Aspekte des Erwerbs der DSGS als Zweit- oder Fremdsprache werden wir im Rahmen des SMILE-II-Projekts, welches Anfang 2021 startet, weiter verfolgen, indem wir die Sprachdaten von Lernenden der DSGS systematisch sammeln und damit einen Korpus aufbauen.\r\n\r\nIn einer weiteren Studie im Rahmen des SMILE-Projekts wurde ein sogenannter Ja-Nein-Vokabelverst\u00e4ndnistest online mit der Open-Source-Software LimeSurvey<\/em> umgesetzt (Haug & Ebling, 2019<\/a>)<\/span>. Grundlage f\u00fcr die Aufgaben dieses Tests waren die rund 100 Geb\u00e4rden, die auch f\u00fcr das automatische Assessment- und Feedbacksystem verwendet wurden. Die Methode eines Ja-Nein-Tests stammt aus der Sprachtestforschung f\u00fcr gesprochene Sprachen (Beglar & Nation, 2013<\/a>)<\/span> und wurde im Rahmen des SMILE-Projekts zum ersten Mal auf Geb\u00e4rdensprachen \u00fcbertragen (Haug, Ebling, Boyes Braem, Tissi & Sidler-Miserez, 2019<\/a>)<\/span>. Bei einem Ja-Nein-Test werden erwachsenen Lernenden DSGS-Geb\u00e4rden gezeigt (Abbildung 10.1<\/a>). Sie sollen angeben, ob sie die Geb\u00e4rden kennen oder nicht.\r\n
\r\n\r\n[caption id=\"figure-1-haug\" align=\"aligncenter\" width=\"3080\"]\"Darstellung Abbildung 10.1: Darstellung der Benutzeroberfl\u00e4che des Ja-Nein-Tests f\u00fcr DSGS-Vokabeln[\/caption]\r\n\r\n<\/div>\r\nJa-Nein-Tests werden h\u00e4ufig eingesetzt, um das Vokabelverst\u00e4ndnis einer Sprache zu \u00fcberpr\u00fcfen. Diese Testmethode ist in der Fachliteratur daf\u00fcr kritisiert worden, dass sie nicht valide ist. Diese Kritik ist ein St\u00fcck weit nachvollziehbar: Es kann sein, dass Lernende Geb\u00e4rden, die sie nicht kennen, als bekannt angeben und damit ihr Wissen \u00fcbersch\u00e4tzen (Read, 2000<\/a>)<\/span>. Um dieses Argument etwas zu entkr\u00e4ften, werden sogenannte \u00abPseudo-W\u00f6rter\u00bb in Ja-Nein-Tests f\u00fcr gesprochene Sprachen hinzugef\u00fcgt (z. B. f\u00fcr Englisch: Mochida & Harrington, 2006<\/a>)<\/span>, d.\u00a0h. W\u00f6rter, die eine phonetisch plausible Form im Englischen haben, aber keine Bedeutung tragen. Das gleiche Konzept l\u00e4sst sich auf Geb\u00e4rden \u00fcbertragen: Es werden Geb\u00e4rden mit einer phonetisch plausiblen Form verwendet, die aber keine Bedeutung haben. Der Ja-Nein-Test f\u00fcr die DSGS bestand aus rund 100 echten Geb\u00e4rden und etwas mehr als 20 Non-Sense-Geb\u00e4rden, dem geb\u00e4rdensprachlichen \u00c4quivalent zu Pseudo-W\u00f6rtern (Mann, Marshall, Mason & Morgan, 2010<\/a>)<\/span>. F\u00fcr den Kontext der Studie von Haug, Ebling, Boyes-Braem, Tissi und Sidler-Miserez<\/a><\/span> (2019<\/a>)<\/span> wurde der Test von Lernenden zur Selbst\u00fcberpr\u00fcfung eingesetzt. Er diente nicht dem Ziel, das Vokabularverst\u00e4ndnis der Lernenden zu \u00fcberpr\u00fcfen. Der Ja-Nein-Test zeigte in einer ersten Auswertung gute Ergebnisse, u. a. gab es eine starke Korrelation (\\(r >.50\\)<\/span>, s. Tabelle 10.2<\/a>) mit einem Vokabelproduktionstest, bei dem die gleichen Geb\u00e4rden \u00fcberpr\u00fcft wurden (Haug, Ebling, Boyes Braem, Tissi & Sidler-Miserez, 2019<\/a>)<\/span>.\r\n\r\n\r\n\r\n\r\n\r\n
Tabelle 10.2: Korrelation der Ergebnisse von dem Ja-Nein-Tests mit den Ergebnissen eines Vokabelproduktionstests, beurteilt von zwei Auswerter*innen (\\(n = 19\\)<\/span>)<\/caption>\r\n
Auswerter*innen<\/th>\r\nPearson\u2019s r<\/em> (r<\/em>)<\/th>\r\np<\/em><\/th>\r\n<\/tr>\r\n<\/thead>\r\n
Auswerter*in 1<\/td>\r\n0.811<\/td>\r\n.001<\/td>\r\n<\/tr>\r\n
Auswerter*in 2<\/td>\r\n0.867<\/td>\r\n.001<\/td>\r\n<\/tr>\r\n<\/tbody>\r\n<\/table>\r\nVon grossem Interesse f\u00fcr uns war die Verwendung eines webbasierten Testformats, umgesetzt mit der Open-Source-Software LimeSurvey<\/em> (Haug & Ebling, 2019<\/a>)<\/span>. LimeSurvey<\/em> ist eigentlich ein Instrument f\u00fcr die Erstellung von Umfragen und ist nicht f\u00fcr das Testen ausgelegt. F\u00fcr den Zweck dieser Studie wurden aus den vorhandenen Frageformaten von LimeSurvey<\/em> Ja-Nein-Fragen verwendet. Die Einbindung von Videos ist bei LimeSurvey<\/em> ab der Version 2.7 unproblematisch (LimeSurvey<\/em> wurde k\u00fcrzlich auch bei einem Multiple-Choice-Test f\u00fcr die DSGS verwendet, Haug & Mann, 2020<\/a>)<\/span>. Die Teilnehmenden nahmen unter anderem am Ja-Nein-Test teil und f\u00fcllten anschliessend noch einen Feedback-Fragebogen aus. Wir erhofften uns dadurch, Informationen \u00fcber die Testmethode (Ja-Nein-Test) und das webbasierte Format zu erlangen. Die R\u00fcckmeldungen werden dazu beitragen, dass in Zukunft folgende \u00c4nderungen beim webbasierten Ja-Nein-Test umgesetzt werden:\r\n