Multimodale Modelle in der Gestenforschung

? Frau Prof. Mittelberg, Sie sind seit April 2009 Juniorprofessorin für Sprachwissenschaft und kognitive Semiotik an der RWTH Aachen und Spezialistin auf dem Gebiet der Gestenforschung. Was haben Gestik und Sprache miteinander zu tun?

Sprecher kommunizieren nicht nur durch laut- oder gebärdensprachliche Äußerungen. Sie benutzen auch andere natürliche Medien (wie Gesichtsausdrücke, Körperhaltungen u. manuelle Gesten), um Gefühlen, Erinnerungen, Ideen und Einstellungen Ausdruck zu geben. Die menschliche Sprache ist, so erkennen immer mehr Linguisten an, multimodal. Dabei können sich die Rede und die sie begleitenden Gesten semantisch wie strukturell ergänzen, indem jede Modalität die Aspekte einer Idee oder eines Ereignisses darstellt, die sie aufgrund ihrer medialen Eigenschaften besonders effizient mitteilen kann.

Spontane Gesten entfalten sich dynamisch in Raum und Zeit und verfügen so über ein spezielles, visuell-motorisches Darstellungs- und Ausdruckpotenzial: Sie können flüchtige Bilder von abstrakten Dingen in die Luft zeichnen, Handlungen nachahmen, hierarchische Relationen räumlich abbilden, oder die soziale Ordnung von Gesprächen interaktiv aushandeln. Andererseits vermögen Gesten, das Gesagte inhaltlich zu untermalen, Referenzbezüge eindeutig herzustellen, Redesegmente rhythmisch zu betonen oder für einen Moment die gesamte kommunikative Last zu tragen.

? Zur Erklärung von normaler und gestörter Sprachverarbeitung werden kognitive Modelle genutzt. Was wollen Gestenforscher mit ihren Modellen abbilden?

In der modernen Gestenforschung lag der Fokus bisher stärker auf dem Modellieren von Sprachproduktionsprozessen. Gesten wurden zunächst hinsichtlich ihrer Rolle in Wortfindungs- und Reparaturprozessen beschrieben – bei Sprachgesunden wie bei Aphasikern. Seitdem rückte die kognitivsemiotische Arbeitsteilung bei der Verfertigung von Äußerungen und Diskursen in das Zentrum des Interesses: Welche semantischen Facetten einer Idee, oder einer Proposition, kommen eher sprachlich und welche gestisch zum Ausdruck?

Psycholinguisten gehen davon aus, dass Gesten die bildhaften, handlungsbedingten und räumlichen Komponenten einer mentalen Repräsentation wiedergeben und die Lautsprache die symbolischen, konventionalisierten Komponenten. Diese Arbeiten haben bereits wertvolle Einblicke in sprachtypologisch bedingte Kodierungsprozesse gewährt. Neuropsychologische Studien konnten zudem zeigen, dass sprachliche und gestische Zeichen in einem so hohen Maße integriert werden, dass Rezipienten nicht unbedingt angeben können, welche Inhalte ihnen in welcher Modalität vermittelt wurden.

? Gibt es Parallelen bei der Modellierung von Sprache und Gestik? Sind die Verarbeitungsprozesse der beiden Medien miteinander verwoben?

Sprach- und Gestenproduktion zeigen einige Parallelen. Je nach den jeweiligen physischen Begebenheiten produzieren orale Artikulatoren bestimmte Lautmuster im Mundraum und gestische Artikulatoren bestimmte Form- und Bewegungsmuster im Gestenraum. So wie es im Redefluss zu Koartikulation, Angleichung und zum Überlappen von Lauten kommt, verschmelzen Handformen und -bewegungen in aufeinander folgenden Gesten.

Da freie Gesten auf der phonologischen, morphologischen, lexikalischen und syntaktischen Ebene einen geringeren Systemcharakter aufweisen als Laut- oder Gebärdensprachen, lässt sich auf dem Modell von Levelt jedoch nur bedingt aufbauen (vgl. de Ruiters "Sketch Modell"). Es gilt also, multimodale Modelle zu entwickeln, die der komplexen temporalen, semantischen und syntaktischen Integration von Sprache und Gestik gerecht werden. Bedenken wir zudem, dass metaphorische Gesten abstrakte Dinge und Denkprozesse greifbar machen können, wird die Multidimensionalität der zu modellierenden Faktoren umso deutlicher.

? Welche Fragen sind in der Gestenforschung von besonderem Interesse?

Gesten, so flüchtig, vieldeutig und multifunktional sie sein mögen, zeigen nicht nur formale und strukturelle Regelmäßigkeiten, sondern auch wiederkehrende Form-Bedeutung-Korrelationen. Ein fortbestehendes Interesse liegt in der systematischen Ergründung der kognitiven, semiotischen und interaktiven Prozesse, die solche Bewegungs- und Bedeutungsmuster motivieren.

Fragen der Motivation sind auch in unserem Projekt "Natural Media & Engineering" zentral, und zwar im Hinblick auf gesundes Kommunikationsverhalten, neurologische und psychiatrische Störungen und auf Mensch-Maschine-Interaktionen.

Wir arbeiten mit Bildgebungsverfahren, multimodalen Diskursanalysemethoden, experimentellem Design und Motion-Capture-Technologie, um Produktionsund Rezeptionsprozesse besser zu verstehen und einen empirisch fundierten Theorierahmen zu entwickeln. Allgemein stellen besonders die Spiegelneuronen auch die Gestenforschung vor neue Möglichkeiten und Herausforderungen.

Das Interview führte Dr. phil. Stefanie Abel, Aachen.