Publikationsserver
Multimodality and Semiotic Complexity from a Linguistic Point of View Processes of Code Integration and Code Manifestation
If language is examined also in regard to its mediality and the use of different semiotic resources, then the fundamental question arises as to what extent categories developed for linguistic analyses of monomodal spoken or written language are still sustainable for the description of multimodal utt...
Gespeichert in:
| Veröffentlicht in: | Osnabrücker Beiträge zur Sprachtheorie |
|---|---|
| 1. Verfasser: | |
| Format: | Artikel (Zeitschrift) |
| Sprache: | Deutsch |
| Veröffentlicht: |
Philipps-Universität Marburg
2021
|
| Schlagworte: | |
| Online Zugang: | Online Zugang |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Zusammenfassung: | If language is examined also in regard to its mediality and the use of different semiotic resources, then the fundamental question arises as to what extent categories developed for linguistic analyses of monomodal spoken or written language are still sustainable for the description of multimodal utterances. If such concepts are neutral with regard to the particular materiality of signs, then they can basically be adapted to any modality and provide a potential tertium comparationis, also for comparative analyses. Firstly, this enables us to expand the subject area under investigation and, secondly, to explore further dimensions of comparison between different types of multimodal complexity. The potential for such a comparative perspective on multimodality from a decidedly linguistic-semiotic point of view is demonstrated by analyses of abstract deictic relations that can manifest themselves, for example, in gesture-speech ensembles, language-image ensembles as well as in multimodal video sequences (speech, gesture, sequential arrangement of shots). In order to capture the interplay between different semiotic resources, the approach presented in this article assumes two basic processes to be at the core of the definition of linguistic multimodality: code integration and code manifestation (Fricke 2012, 2013). Both processes are substantiated by theoretical as well as by empirical arguments. Based on these two principles, the following general questions will suggest a pathway towards a sign-based general and comparative multimodality research within linguistics and beyond: 1. Which types of integration can be identified? What is the level of integration? 2. Which linguistic categories, relations and functions manifest themselves multimodally? 3. How do different semiotic systems and the associated multimodal ensembles differ from one another in this regard? Successful linguistic and semiotic multimodality research building on these questions allows us to identify further overlapping transdisciplinary areas and interdisciplinary interfaces that are still closely related to the respective individual discipline.
Werden sprachliche Äußerungen auch im Hinblick auf ihre Medialität und das multimodale Zusammenwirken unterschiedlicher semiotischer Ressourcen untersucht, stellt sich die grundlegende Frage, welche Reichweite jene Analysekategorien besitzen, die spezifisch auf eine „monomodale“ Analyse gesprochener oder geschriebener Sprache ausgerichtet sind. Sucht man nach einem potentiellen tertium comparationis für unterschiedliche Modalitäten sowie für vergleichende Analysen, stellen insbesondere solche Konzepte einen geeigneten Ausgangspunkt dar, die hinsichtlich der besonderen Materialität von Zeichen neutral sind, da sie modalitätsunabhängig verwendet werden können, wie z.B. die abstrakte Funktion der Modifikation. Ein solches Vorgehen ermöglicht es, den Untersuchungsgegenstand erstens zu erweitern und zweitens, weitere Dimensionen des Vergleichs für verschiedene Arten multimodaler Komplexität zu erkunden. Das Potential einer solchen vergleichenden Perspektive auf Multimodalität, die von einem dezidiert linguistisch-semiotischen Standpunkt ihren Ausgang nimmt, zeigen Analysen abstrakter deiktischer Beziehungen, die sich beispielsweise in Gesten-Rede-Relationen, Sprache-Bild-Relationen sowie in multimodalen Videosequenzen manifestieren können (Lautsprache, Gestik, sequentielle Abfolge von Einstellungen mit unterschiedlicher Einstellungsgröße). Um das Zusammenwirken unterschiedlicher semiotischer Ressourcen zu beschreiben, geht der in diesem Artikel vorgestellte Ansatz davon aus, dass zwei grundlegende Prozesse im Zentrum der Definition von linguistischer Multimodalität stehen: Kodeintegration und Kodemanifestation (Fricke 2012, 2013). Beide Prozesse werden sowohl durch theoretische als auch durch empirische Argumente fundiert. Ausgehend von diesen beiden Prinzipien ergeben sich die folgenden Leitfragen für einen Weg zu einer zeichenbasierten allgemeinen und vergleichenden Multimodalitätsforschung innerhalb der Linguistik und darüber hinaus: 1. Welche Arten von Integration lassen sich identifizieren? Wie hoch ist der Integrationsgrad? 2. Welche sprachlichen Kategorien, Relationen und Funktionen manifestieren sich multimodal? 3. Wie unterscheiden sich verschiedene semiotische Systeme und die dazugehörigen multimodalen Ensembles in dieser Hinsicht? Eine linguistische und semiotische Multimodalitätsforschung ausgehend von diesen Fragen ermöglicht es uns, zukünftig weitere mit anderen Disziplinen überlappende transdisziplinäre Bereiche und interdisziplinäre Schnittstellen zu identifizieren. |
|---|---|
| DOI: | 10.17192/obst.2021.99.8677 |