Multimodalität
Der vorliegende Beitrag stellt dar, inwiefern sich eine multimodale Perspektivierung von Kommunikaten von der traditionellen Perspektive der Sprachwissenschaft unterscheidet und inwieweit Multimodalität eine Ausweitung des analytischen Blickes darstellt.
Die sprachwissenschaftliche Perspektive
Sprachwissenschaft (auch: Linguistik) kann definiert werden als die „wissenschaftliche Untersuchung menschlicher Sprache, ihrer Struktur, ihrer Geschichte, ihres Erwerbs und ihres Gebrauchs in der Kommunikation.“[1] In der linguistischen Fachtradition stellt schriftliche oder mündliche Sprache als Abstraktum den primären und zentralen Erkenntnisgegenstand dar. Diese Fachtradition stößt allerdings dann an ihre Grenzen, wenn in den analysierten Kommunikaten (schriftlichen Texte, Aufnahmen mündlicher Sprache, Videoaufnahmen) auch nicht-sprachliche Zeichen zur Bedeutungskonstitution beitragen.[2] Die daraus resultierende Perspektiverweiterung ist vor allem auf zwei zentrale Veränderung in Kommunikation und Forschung zurückzuführen, nämlich einerseits, dass aufgrund von medialem Wandel, technischen Innovationen – insbesondere der Digitalisierung – sowie von Veränderungen in den Bereichen Gestaltung und Design Kommunikate unter zeichentheoretischen Gesichtspunkten komplexer und vielschichtiger geworden sind. Andererseits folgt sie daraus, dass auch die Sprachwissenschaft von technischer Innovation profitiert und heute leichter und kostengünstiger als noch vor wenigen Jahrzehnten Bilder, Audio- und Videoaufnahmen erfassen und analysieren kann.
Multimodalität als Perspektiverweiterung
Multimodalität (hier: im weiteren Sinne) hat sich – terminologisch durchaus verwirrend – als Überbegriff für Multikodalität und Multimodalität (hier: im engeren Sinne) etabliert. Deshalb werden im Folgenden zwar Multikodalität und Multimodalität (im engeren Sinne) getrennt voneinander vorgestellt, im gesamten Living Handbook wird aber, soweit es nicht explizit erforderlich ist, verallgemeinernd und vereinfachend nur „Multimodalität“/“multimodal“ verwendet.
Multikodalität
Als multikodal werden solche Kommunikate bezeichnet, in denen Bedeutung durch mehr als einen Zeichentyp (Kode) konstituiert ist. Dies ist augenscheinlich dann der Fall, wenn z.B. in Pressetexten neben Buchstaben ein Bild abgedruckt ist oder wenn eine Sprecherin ihre Stimmlage variiert. In diesen Beispielen erschöpft sich allerdings nicht die Vielzahl der möglichen Zeichentypen. In einer Powerpoint-gestützten Präsentation, um nur ein Beispiel zu nennen, können neben Zeichen der gesprochenen und der geschrieben Sprache „mindestens auch der gattungsspezifische Einsatz von Layout, Bildern, Diagrammen und andere grafische Darstellungen, Proxemik, Gestik, Mimik, Prosodie, Lautstärke, Animation, Film, Tonaufnahmen und Musik“ [3] für die Bedeutung und die Analyse der Präsentation relevant sein. „Ein Teil davon, etwa die gesprochene Sprache, stellt ein definitorisches Element der Präsentation dar, ein anderer Teil nur ein fakultatives.“[4] Deshalb und aufgrund der prinzipiellen Vielzahl an möglichen Zeichentypen ist es im Rahmen sprachwissenschaftlicher multimodaler Analysen immer entscheidend, die relevanten Zeichentypen zu identifizieren.
In einer multimodalen Analyse des Aufklebers (rechts) als politisches Kommunikat ließe sich z.B. fragen, ob und inwiefern die verschiedenen Farben, die Schriftart, die Varianz der Schriftgröße, die Platzierung der Wörter auf der Fläche und die Verbindung von Schrift und Bild die politische Aussage „Climate Justice is Racial Justice“ unterstützen, ergänzen oder stören.
Multimodalität
Als multimodal (im engeren Sinne) werden solche Kommunikate bezeichnet, die in der Rezeption mehr als einen Sinn ansprechen. Dies ist nicht bei gedruckten Büchern, Radiofeatures oder dem gezeigten Aufkleber der Fall, dafür aber bei audiovisuellen Medien wie Dokumentarfilmen, Computerspielen oder auch in der Face-to-Face-Interaktion, in der neben gesprochener Sprache (hörbar) auch Mimik, Gestik etc. (sehbar) zusammenkommen. Ein einschlägiges Beispiel hierfür aus dem Diskurs über den Klimawandel is das Youtube-Video „Die Zerstörung der CDU.“ des Influencers Rezo:
Für alle multimodalen (im engeren Sinne) Kommunikate gilt, dass sie auch multikodal sind. Der Umkehrschluss, dass alle multikodalen Kommunikate auch multimodal (im engeren Sinne) sind, trifft hingegen nicht zu. Ein bebilderter Pressetext in einer gedruckten Zeitung wird beispielsweise nur mit dem Sehsinn rezipiert.
Die Orchestrierung der Zeichen
Wenn die Grundannahme der multimodal ausgerichteten Sprachwissenschaft darin besteht, dass neben sprachlichen auch nicht-sprachliche Zeichen zur Bedeutungskonstitution von Kommunikaten beitragen, dann stellt sich die Frage, wie die verschiedenen Zeichentypen miteinander in Beziehung stehen. In diesem Zusammenhang spricht man von einer ‚Orchestrierung‘ von Zeichen[5] – in Anlehnung an ein Orchester, in dem verschiedene Instrumente im aufeinander abgestimmten Zusammenspiel ein komplexes Musikstück hervorbringen. In einer sehr groben Unterscheidung lassen sich vier Verfahren der Orchestrierung unterscheiden:[6]
- Rhythm: Verschiedene Zeichentypen werden im Zeitverlauf rhythmisiert, etwa mittels Pausen oder anderer zeitlicher Gliederungseinheiten. Dies kann in zeitlich organisierten Kommunikaten wie Radiofeatures, Filmen oder auch Theaterstücken der Fall sein.
- Composition: Verschiedene Zeichentypen werden auf einer flächigen Ebene, zum Beispiel einer Buchseite, oder in einem dreidimensionalen Raum, zum Beispiel einer Ausstellung, in einer bedeutungstragenden Weise zueinander aufgebaut und räumlich arrangiert.
- Information Linking: Zeichentypen werden implizit oder explizit miteinander in Beziehung gesetzt, etwa durch Zeigegesten, Pfeile oder sprachliche Äußerungen wie „oben sieht man“/“gerade war zu hören“.
- Dialogue: In dialogisch konstituierten Kommunikaten kann Bedeutung in der sequentiell wechselseitigen Interaktion zwischen teilnehmenden Interaktionspartner*innen und den von ihnen verwendeten Zeichen entstehen. Dies kann in Alltagsgesprächen, TV-Debatten oder Jam-Sessions beobachtet werden.
Weiterführendes
- Böhm, Felix (2021): Präsentieren als Prozess. Multimodale Kohärenz in softwaregestützten Schülerpräsentationen der Oberstufe. Tübingen: Stauffenburg.
- Bucher, Hans-Jürgen (2015): Multimodalität in der Wissenschaftskommunikation. Theorien, Methoden, Befunde. Online, zuletzt abgerufen am 12.03.2021.
- Klug, Nina-Maria; Stöckl, Hartmut (Hrsg.) (2016): Handbuch Sprache im multimodalen Kontext. Berlin; Boston: De Gruyter.
- Kress, Gunther (2010): Multimodality. A Social Semiotic Approach to Contemporary Communication. London: Routledge.
- Wildfeuer, Janina; Bateman, John A.; Hiippala, Tuomo (2020): Multimodalität. Grundlagen, Forschung und Analyse – eine problemorientierte Einführung. Berlin; Boston: De Gruyter.
Belege
- ↑ TU Braunschweig (o. J.): Was ist Linguistik?. Online, zuletzt abgerufen am 12.03.2021.
- ↑ Fix, Ulla (2001): Zugänge zu Stil als semiotisch komplexer Einheit. Thesen, Erläuterungen und Beispiele. In: Jakobs, Eva-Maria; Rothkegel, Annely (Hrsg.): Perspektiven auf Stil, Tübingen: Niemeyer, S. 113–126, hier: S. 114.
- ↑ Böhm, Felix (2021): Präsentieren als Prozess. Multimodale Kohärenz in softwaregestützten Schülerpräsentationen der Oberstufe. Tübingen: Stauffenburg, S. 91.
- ↑ Vgl. Böhm, Felix (2021): Präsentieren als Prozess. Multimodale Kohärenz in softwaregestützten Schülerpräsentationen der Oberstufe. Tübingen: Stauffenburg, S. 91.
- ↑ Vgl. Schnettler, Bernt (2007): Zur Orchestrierung von Listen. Eine Videoperformanzanalyse. In: Schnettler, Bernt; Knoblacuh, Hubert (Hrsg.): Powerpoint-Präsentationen. Neue Formen der gesellschaftlichen Kommunikation von Wissen, Konstanz: UVK, S. 139–159.
- ↑ Vgl. Leeuwen, Theo van (2005): Introducing Social Semiotics. London: Routlegde, S. 179.
Autor*innen
Erstfassung: Felix Böhm am 23.03.2021. Den genauen Verlauf aller Bearbeitungsschritte können Sie der Versionsgeschichte des Artikels entnehmen; mögliche inhaltliche Diskussionen sind auf der Diskussionsseite einsehbar.
Zitiervorlage:
Böhm, Felix (2021): Multimodalität. In: Böhm, Felix; Böhnert, Martin; Reszke, Paul (Hrsg.): Climate Thinking – Ein Living Handbook. Kassel: Universität Kassel. URL=https://wiki.climate-thinking.de/index.php?title=Multimodalität, zuletzt abgerufen am 01.11.2024.