Mitgliedervorstellung: Martin Siefkes

1. Du entwickelst gerade ein multimodales Analyseframework für Forschungspraktiken der Digital Humanities. Kannst du etwas über das Projekt erzählen?

Ich habe mich in meiner Habil mit verschiedenen Arten von Digital Humanities-Projekten beschäftigt, zunächst mit Fokus auf die Projektergebnisse. In DH-Projekten werden ja häufig bestimmte Präsentationsformen im Internet entwickelt, beispielsweise digitale Editionen und digitale Ausstellungen, Publikationsplattformen oder Software-Tools. Andere Projekte führen Netzwerkanalysen durch oder visualisieren komplexe Datensätze in anschaulicher Form. Und es gibt spannende Webtools, bei denen man mit Code herumspielen und die Veränderungen direkt überprüfen kann.

Mich hat natürlich das eminent Multimodale an dieser Digital Humanities-Landschaft fasziniert, die ja gerade erst im Entstehen ist. Wie sollen Leute dazu verlockt werden, an Citizen-Science-Projekten mitzumachen und zum Beispiel das Wissen über ihre Heimatstadt in eine interaktive Karte einzutragen? Wie werden Museumskollektionen in die digitale Welt verlegt, wobei plötzlich die 90 % der Bestände sichtbar werden, die vorher nur im Archiv schlummerten? Noch niemand hatte all diese Digital-Humanities-Webseiten und Forschungspraktiken vergleichend aus der Perspektive der Multimodalitätsforschung beleuchtet

In meiner Habilitation gehe ich zunächst auf diesen Bereich der „Multimodal Digital Humanities“ ein. Dabei geht es einerseits um den Gegenstandsbereich, also etwa die zunehmende Rolle von Bildkorpora, interaktiven Visualisierungen und multimodalen Annotationsformate, wie sie etwa die Edition  „Der Welsche Gast“ in einer Art Bildmotiv-Korpus vergleichend integriert. Andererseits gibt es auch schon einige Forschende innerhalb der Digital Humanities, die sich explizit auf die Multimodalitätsforschung berufen.

Das Framework bietet ein umfassendes Repertoire von Begrifflichkeiten für die Analyse von Projekten an. Es kann in Korpusanalysen angewandt werden, um diese neuen digitalen Formen des Umgangs mit Kultur besser zu verstehen. Das Framework bietet aber auch die Möglichkeiten, Projekte in der Konzeptions- und Entwicklungsphase genau zu spezifizieren, im Sinne einer Anforderungsanalyse, sei es projektintern oder um Angebote einzuholen. Dabei stellt es Spezifikationen für viele technische Aspekte im Back- und Frontend, zur Einbeziehung relevanter Standards und Normen, aber auch für Designaspekte, Navigation, Storytelling und ästhetische Gestaltung bereit. Für jede der 15 Beschreibungskategorien (siehe Abbildung) steht ein differenziertes Annotationsschema zur Verfügung.

 
 
Literatur:

Siefkes, Martin (im Druck), Multimodal Digital Humanities. Grounding digital research methods in multimodal linguistics and semiotics. Basingstoke UK: Palgrave Macmillan.

Siefkes, Martin (im Druck), Mutual Attraction and Common Interests: The digital humanities and multimodality research have found each other (but will it last?). Osnabrücker Beiträge zur Sprachtheorie 99: Linguistics and Multimodality, hg. von Arne Krause und Ulrich Schmitz.

2. Was sollte man sonst noch über dich wissen?

Ich bin Wissenschaftlicher Mitarbeiter an der TU Chemnitz, an der Professur Germanistische Sprachwissenschaft, Semiotik und Multimodale Kommunikation (Ellen Fricke). Frühere Stationen meiner Karriere waren in Bremen bei John Bateman und als Humboldt Fellow an der Kunst- und Designhochschule IUAV in Venedig. Promoviert habe ich an der TU Berlin bei Roland Posner, daher stammt der starke Bezug zur Semiotik in meinen Arbeiten.

Forschungsschwerpunkte der letzten Jahre waren neben den Digital Humanities und der multimodalen Linguistik auch spezifisch die korpusbasierte Untersuchung von digitalen Editionen und digitalen Ausstellungen. Daher habe ich auch einen Bezug zur Museumsforschung. Aktuell interessiere ich mich für Verfahren der automatischen Text- und Bildanalyse, die aus Data-Science-Kontexten zunehmend in die Digital Humanities übernommen werden. In meinem nächsten Forschungsprojekt will ich mich der Frage widmen, wie sich Deep-Learning-Verfahren der Text- und Bildanalyse im Hinblick auf multimodale Texte effektiv miteinander verknüpfen lassen.

Mitgliedervorstellung: Sylvia Jaki

Heute beginnen wir mit der Vorstellung unserer Mitglieder. Mit Hilfe von jeweils zwei Fragen soll man so alle Mitglieder im Laufe der nächsten Monate etwas besser kennenlernen. 

Wir starten Mit Sylvia Jaki, die das Netzwerk leitet. 

1. Wir alle haben bestimmte Bücher oder Wissenssendungen, die uns besonders geprägt haben. Mit welchem Wissensformat fühlst du dich persönlich besonders verbunden?

In meinem Fall ist das sicherlich die Dokureihe Terra X des ZDF, allerdings weniger aus privater, sondern mehr aus wissenschaftlicher Sicht. Als ich 2013 nach Hildesheim kam, stieß mich Annette Sabban, mit der ich dort einige Jahre zusammenarbeiten durfte, relativ schnell auf diese Dokuserie. Spannend daran waren insbesondere die Stereotypien der Gestaltung auf verschiedenen Ebenen, der Balanceakt zwischen Wissensvermittlung und Unterhaltung und nicht zuletzt natürlich die intensive multimodale Ausgestaltung dieser aufwändigen Produktionen. Eigentlich hatte ich ursprünglich ein anderes Habilitationsprojekt im Auge, entschied mich dann aber letztlich für eine Untersuchung von TV-Dokumentationen aus dem deutschen und englischsprachigen Raum, bei der auch Terra X eine große Rolle spielen sollte. Einige Fragen, die mich im Zusammenhang mit diesen Kommunikaten interessierten (und natürlich immer noch interessieren), sind zum Beispiele folgende: Wie werden die verschiedenen Modes orchestriert, um Informationen hier verständlich und unterhaltsam aufzubereiten? Wie werden Wissenschaftler*innen multimodal als Expert*innen inszeniert bzw. welches Bild von Wissenschaft wird vermittelt? Welche Merkmale in Bezug auf Multimodalität spielen bei der Aneignung von TV-Dokus eine Rolle? Welche Prozesse kommen bei der medial vermittelten Experten-Laien-Kommunikation im Sinne eines partizipativ geprägten Bild von Wissenschaftskommunikation zum Tragen? Die Arbeit habe ich im März 2021 eingereicht, aber das Format bzw. ähnliche Dokuformate werden mich sicherlich auch weiterhin noch beschäftigen.

2. Was sollte man sonst noch über dich wissen?

Ich bin am Institut für Übersetzungswissenschaft und Fachkommunikation der Universität Hildesheim im Bereich Angewandte Sprachwissenschaft angestellt. Am liebsten beschäftige ich mich in Forschung und Lehre mit Fragen aus dem Bereich der Medien, seien es medienlinguistische Fragestellungen oder Probleme der audiovisuellen Übersetzung. Wenn ich mich also nicht gerade mit Wissensformaten oder Hate Speech in sozialen Medien befasse, kann man mich vielleicht im Hildesheimer Medientextlabor beim Untertiteln bzw. bei der Korrektur von Untertiteln finden. Seit 2018 koordiniere ich den Master Medientext und Medienübersetzung, der beide Aspekte zusammenbringt und mir ermöglicht, die Studierenden genau in den Bereichen zu unterstützen, die mir am meisten Spaß machen. 

MWissFo hat ein Logo

Dank des kreativen Talents von Jana Pflaeging (Univ. Salzburg), die selbst Mitglied des Netzwerks ist, verfügen wir nun auch über ein offizielles Logo. 

Die Idee dahinter ist Folgende: 

Es handelt sich um eine Kombination aus einem Fragezeichen (im Sinne einer Wissenslücke) und einem Ausrufezeichen (das entsprechende Informationsangebot, das durch Wissensformate entsteht).

 In Kombination ergeben sie eine Art Glühbirne – es geht jemandem folglich sowohl sprichwörtlich als auch bildlich ein Licht auf!

Bericht vom zweiten Netzwerktreffen im März 2021

Unser zweites Netzwerktreffen Ende März war dem Thema „Theorien und Methoden der Multimodalitätsforschung“ gewidmet. Da das Netzwerk 15 Mitglieder umfasst, die sich in ihrer Arbeit mit Wissensformaten mit sehr unterschiedlichen Kommunikaten befassen und hierfür mit zum Teil sehr unterschiedlichen Herangehensweisen, versprachen wir uns von dem Treffen bereits im Vorhinein zahlreiche spannende Diskussionen, die im Rahmen von intensiven Gruppenarbeitsphasen geführt und im Plenum zusammenführt beziehungsweise weitergesponnen werden sollten. Und so war es schließlich auch: Es sollten uns zwei Tage voller spannender Diskussionen erwarten, an denen wir insbesondere auch von dem Austausch mit unseren beiden Gästen Prof. John Bateman und Prof. Hans-Jürgen Bucher profitierten. Dabei beschäftigten wir uns schwerpunktmäßig mit folgenden Fragen:

a) Welche begrifflichen Fundamente müssen bedacht werden, um multimodale Wissensformate zu beschreiben?

b) In welchen Perspektiven können multimodale Wissensformate reichhaltig beschrieben werden?

c) Welche empirischen Einheiten können als Einheiten der Vermittlung multimodalen Wissens identifiziert, segmentiert und transkribiert werden?

Die Gastgeber*innen des Treffens waren Janina Wildfeuer (Univ. Groningen) und Matthias Meiler (TU Chemnitz), denen für die ausgezeichnete Vorbereitung und Durchführung großer Dank gebührt.

Ankündigung: Zweites Netzwerktreffen 25.-26. März 2021

In unserem zweiten Netzwerktreffen dreht sich alles um Theorien und Methoden der Multimodalitätsforschung. Haben wir das erste Treffen genutzt, um uns und unsere Forschungsschwerpunkte gegenseitig besser kennenzulernen, nutzen wir die beiden Tage im März 2021 dazu, unsere verschiedenen Herangehensweisen in Bezug auf die Multimodalität von Wissensformaten zu vergleichen und diskutieren. Dazu nehmen wir uns zwei konkrete Produkte vor, die wir gemeinsam analysieren – ein statisches und ein dynamisches. Wir freuen uns auf den Austausch!

Wenig überraschend: Auch unser zweites Netzwerktreffen wird digital stattfinden.

Deshalb können und wollen wir auch Außenstehenden die Möglichkeit geben, an den beiden Plenarvorträgen teilzunehmen, die im Rahmen des Netzwerktreffens stattfinden:

Donnerstag, 25.03., 09:15 – 10:45: 

How to analyse anything: Ein Blick von der ‚bleeding edge‘ der Multimodalitätstheorie (Prof. John Bateman)

Freitag, 26.03., 08:30 – 10:00:

Was heißt „multimodale Sinnkonstitution“? Multimodalität aus der Rezeptionsperspektive (Prof. Hans-Jürgen Bucher)

Interessierte werden geben, sich unter jakisy@uni-hildesheim.de anzumelden. Die Zugangsdaten werden nach Anmeldung zur Verfügung gestellt.