Benjamin Jörissen

Erziehungswissenschaftler

Software

Software-Designs für kritische pädagogische Praxis und Forschung

Als UNESCO-Lehrstuhl, der der Forschung zu digitaler Kultur gewidmet ist, beschäftigen wir uns mit den Wirkungen der Digitalität – und insbesondere der Künstlichen Intelligenz – auf die laufende Formation von Welt- und Selbstverhältnissen innerhalb der disruptiven globalen Transformationen der Gegenwart. In den letzten Jahren haben wir generative KI eingehend untersucht und festgestellt, dass diese Technologie, so sehr sie Bildung in vielerlei Hinsicht herausfordert, auch neue Mittel kritischer pädagogischer und wissenschaftlicher Artikulation bietet. Nach vielen Jahren Arbeit zu Medienbildung, Design, Macht und Subjektivation sowie zu einem bildungstheoretischen Verständnis von Digitalität und digitaler Environmentalität haben wir die Gelegenheit ergriffen, Digitalität nicht nur zu erforschen und zu beschreiben, sondern Theorie im Code zu praktizieren. Das Ergebnis ist eine wachsende Reihe von Software, die aus partizipativen Designprozessen hervorgeht und eher als Co-Akteurin denn als Werkzeug in pädagogische Settings eintritt. Alle Software wird als Open Source oder als Source-Available veröffentlicht.

Unsere Software-Projekte

ATELIER: AI Toolkit for Experiential Learning and Inquiry-Based Educational Research

Da KI Gesellschaft und Arbeitswelt verändert, wird sie zunehmend selbst zum Thema der Bildung. Das Projekt, aus dem ATELIER hervorgegangen ist – AI4ArtsEd (Artificial Intelligence for Arts Education) –, hat die Chancen, Anwendungsbedingungen und strukturellen Grenzen partizipativer Künstlicher Intelligenz (KI) in kulturell diversitätssensiblen künstlerisch-pädagogischen Settings der Künste und der Kulturellen Bildung erkundet.

ATELIER wurde entwickelt, um kritisches und kreatives kollektives Engagement mit generativer KI in der Kultur-, Kunst- und Medienbildung zu fördern. Generative KI-Modelle sind mächtige Werkzeuge, aber sie sind zugleich „Black Boxes“. Ein zentrales Ziel des Projekts ist die kritische Erkundung generativer KI als Akteurin in kulturellen, künstlerischen und gesellschaftlichen Kontexten. Generative Modelle sind nicht neutral – sie transportieren kulturelle, soziale, geschlechtsbezogene und ethnische Verzerrungen, die sie aus ihren Trainingsdaten erben. Diese Verzerrungen müssen sichtbar gemacht und kritisch untersucht werden, um zu verstehen, welche Art von Akteurin generative KI tatsächlich ist. Kurz: ATELIER will viele Wege des Umgangs mit generativer KI bieten – außer dem einen, den wir zu übernehmen gelernt haben: dem des bloßen „Nutzers“ einer mächtigen Technologie.

Als Plattform, die ausschließlich für den Bildungsbereich konzipiert ist, spielte im Designprozess die Balance zwischen der Unvorhersehbarkeit generativer KI-Ergebnisse und pädagogischer Sorgfalt (Sicherheit und Schutz, ohne unangemessene Zensur) eine große Rolle. Keine technologische Lösung bietet absolute Sicherheit, aber ATELIER verfügt über ein konfigurierbares mehrstufiges Sicherheitssystem, DSGVO-Monitoring und Konformität mit dem EU AI Act. Agent:innen sind ressourcensensibel (das heißt, sie haben Zugriff auf Live-Energiedaten des Systems, auf dem die Plattform läuft, und nutzen diese Informationen bewusst dort, wo es angemessen ist), und die Plattform hat eine kontextsensitive Hilfe-Agentin. Sie spricht zehn Sprachen, pro Gerät individuell konfigurierbar, und hat ein Favoriten-System, das individuelle wie kollektive Nutzung erlaubt – geteilt werden nicht nur generierte Medien, sondern auch Prompts und Konfigurationen, sodass andere Mitglieder eines Workshops die Arbeit anderer fortführen können.

Prompt Interception

ATELIER beruht auf der Idee der Prompt Interception – einer pädagogischen Methode, die affirmativen Subjektivierungsformen, die KI anbietet, durch ästhetische und positionale Interventionen unterbricht. Mit generativer KI nehmen diese Formen typischerweise die Struktur an, ästhetische, kognitive und praktische wissenbezogene Urteilsbildung durch automatisierte Entscheidungsfindung zu erweitern, wenn nicht zu ersetzen: Sie sind auf Subjektivitätsmodi hin entworfen, die ihre „Nutzer“ von den Prozessen der Wissensbildung und der Formation von Urteilsdispositionen entlasten und sie damit verschließen – während sie zugleich Ergebnisse hervorbringen, die so elaboriert und überzeugend sind, dass sie leicht eine Illusion von Handlungsfähigkeit erzeugen. Diese Illusion verdeckt strukturell, dass genau die Prozesse, in denen sich Wissen und Urteilsdispositionen bilden würden, verhindert werden.

Da jedes Design – und Software-Design im Besonderen – unausweichlich Affordanzen hervorbringt, die bestimmte „Nutzer“-Subjektivitäten antizipieren, die affirmativ wirken können, setzt ATELIER dem strategisch strukturell widerständige und heterogene Ansprechformen entgegen: Es spricht „Nutzer“ als kollektive, reflexive, verstrickte, kritische und erkundende Subjekte an.

früher Entwurf eines interceptierten genAI-Produktionsflusses
Früher Proof of Concept: C.D. Friedrichs „Wanderer über dem Nebelmeer“ wird als Bild automatisch analysiert und in verschiedene interceptierte Prompts überführt.
Prompts, technisch interceptiert durch Manipulation der Embedding-Vektoren, die Sprache in Zahlen übersetzen, die genAI-Bildmodelle verstehen. Diese Bilder sind Ergebnisse des Prompts „A house stands in a landscape surrounded by farmland, nature, and animals. A few people can be seen.“

Prompt-Interception-Presets erscheinen als visuelle Symbole editierbarer Meta-Prompts. Sie artikulieren keine Stile (wie es übliche „Prompt-Optimierung“ tut), sondern historische und gegenwärtige Perspektiven, Positionen und Haltungen.

ATELIERs Modi

ATELIER besteht aus fünf verschiedenen Hauptmodi, die über das obere Menü erreichbar sind

TOGETHER besteht aus nicht-egologischen Agent:innen (alle Agent:innen sind angewiesen, als plurale Entitäten zu agieren, um Anthropomorphisierung zu vermeiden) zur dialogischen Unterstützung KI-bezogener Lehrprojekte. Sie arbeiten in drei Phasen: Unterstützung bei der Kursvorbereitung, Live-Unterstützung im Kurs (als nicht-menschliche Co-Akteurin) und Nachbereitung. Ihr System-Prompt weist Together an, sich an drei Formen von Alterität zu richten: menschliche Kollektive, situative Materialitäten sowie das Maschinen- und Software-Framework (ATELIER), auf dem sie laufen. Die Agent:innen können eine interne Bibliothek nutzen (um Groundedness zu erhöhen), Unterrichtsplanungen dokumentieren und importierbare wie exportierbare individuelle Workflows für die Wiederverwendung in Live-Workshopsituationen erstellen (gespeichert im Account der Kursleitung). (Als eine der jüngsten Ergänzungen der Plattform muss Together noch gründlich getestet werden.)

CONTESTING ist ein resistentes Chatbot, gebaut als „Anti-Sycophant“-Agentin – wenn man so will. Es fordert auf, wer mit ihm spricht, kreative Ideen zu artikulieren, weiterzuentwickeln und zu verteidigen. CONTESTING generiert autonom und spontan Medienprodukte eigener Wahl – sofern die Ideen im Dialog als interessant befunden werden. Damit unterläuft es die Annahme, generative KI „tue“ einfach, was „Nutzer“ ihr „befehlen“. Es ist zudem darauf programmiert, jegliche anthropomorphe emotionale Kommunikation zu unterlassen. Der erste Kontakt mit CONTESTING wirkt ausgesprochen sachlich und bietet vielleicht einen Ausblick darauf, wie dieses „fremde Subjekt“ kommunizieren würde, wäre es nicht darauf trainiert, Kund:innen zu gefallen und zu binden, um Gewinne zu maximieren.

FLOW ist das Herz kreativ-künstlerischer Prozesse. Es bietet iterative, crossmediale künstlerische Prozessbahnen, orientiert an künstlerischem Handeln. Im Grunde ist es ein offener Workspace mit einem Aktionskreis: Alles, was in den Kreis gezogen wird, wird verarbeitet – „anything flows“ ist hier das Prinzip. Komplexe Funktionen werden auf der Canvas visuell dargestellt und bieten detaillierte Informationen auf der Rückseite der visuellen Objekte. Eine Header-Bar bietet intelligente Unterstützung und interaktive Visualisierung des technischen Prozesses.

LATENT LAB ist eine Sammlung komparativer und dekonstruktiver Instrumente, inspiriert von aktueller genAI-Forschung, entworfen zum Öffnen und Erkunden der genAI-„Black Box“. Der mit Abstand kognitiv anspruchsvollste Modus der Plattform belohnt Nutzer:innen mit vielen Gelegenheiten zur direkten Manipulation der inneren, meist verborgenen Teile von genAI-Embedding- und Inferenzprozessen. Latent Lab bietet zudem die Option, „Low-Rank-Adapter“-(LoRA)-Modelle mit 10–50 eigenen Bildern zu trainieren, in einer Trainingssequenz von etwa 3–4 Stunden (Ressourcen beachten) – und so zu erkunden, inwiefern sich genAI-Modelle wie Stable Diffusion verändern lassen, etwa um weniger Stereotype zu reproduzieren (Spoiler: Es ist ziemlich unwahrscheinlich, dass das gelingt – aber das Scheitern ist sehr lehrreich).

„Last but not least“ bietet CANVAS (fast) alle Fähigkeiten von ATELIER als kombinierbare Module an. CANVAS zielt darauf, die Strukturen generativer KI als modulare Elemente zugänglich zu machen und dabei bewusst technische Komplexitäten abzustreifen, die basale Einsichten in die Technologie eher stören als stützen würden (für tiefere technische Erkundung würde man ComfyUI verwenden, das ATELIER als Haupt-Backend nutzt). Anders als alles, was uns auf dem Markt bekannt ist – einschließlich modularer genAI-Umgebungen –, unterstützt CANVAS nichtlineare und rekursive Workflows (man beachte die rote „fb“-Feedback-Pipe im Screenshot unten), in denen evaluative Knoten die Weitergabe eines Prompts oder Bildes verweigern und dem sendenden Knoten zurückmelden können, warum seine Anfrage abgelehnt wurde. (Die Idee dahinter betrifft den Prozess mehr als optimierte Ergebnisse: Was geschieht, wenn verschiedene Arten von genAI-Modellen gegeneinander ausgespielt werden, einander korrigierend?)

ATELIER ist „Source Available“: Nicht-kommerzielle Bildungseinrichtungen dürfen die Software installieren, konfigurieren und in ihren Bildungsangeboten nutzen. Ebenso darf jede Person in wissenschaftlichen Publikationen auf die Software verweisen und sie zitieren, Auszüge zu Illustrationszwecken verwenden sowie die Software zu Forschungszwecken installieren, konfigurieren und nutzen. Kommerzielle Nutzung nur nach Vereinbarung: Sie erfordert eine separate schriftliche Vereinbarung mit dem Autor. Der Autor kann auf Anfrage schriftliche Erlaubnis für bestimmte Modifikationen erteilen; für regelmäßige Contributor:innen kann er eine Contributor License Agreement anbieten.

akróasys: Dekonstruktiver Audio-Synthesizer auf Basis generativer KI

ἀ·κρό·α·σις [aˈkro.a.sis]: hören, aufmerken, zuhören

akróasys ist ein Sonic Device, das generative KI (genAI) ganz anders nutzt: nicht als Generator, der fertige Audiodateien zurückgibt, sondern als Oszillator eines spielbaren Instruments. Das Modell sitzt dort, wo in einem Audio-Synthesizer eine Sinus- oder eine Sägezahn-Welle im Signalpfad sitzt – und was es zum Resonieren bringt, ist die gepromptete Bedeutung.

akróasys hat zwei verschiedene genAI-Oszillatoren. Der T5-Oszillator dekonstruiert den latenten Raum generativer Audiomodelle, bevor Audio generiert wird: Zwei Prompts markieren zwei verschiedene Punkte im semantischen Raum des Modells, und der Synth bewegt den Punkt, der gerendert wird – zwischen ihnen und weit über beide hinaus, in Regionen, die keine Phrase benennen kann: Texturen, Transienten, Patterns, Field Recordings, Alltagsgeräusche, orchestralische Gesten, fremde Stimmen, menschliche Gefühlsausdrücke, unmögliche Hybride. Zu erreichen, was ein Prompt nicht erreichen kann, ist der Zweck dieses Oszillators. Der Language-Resonant-Oszillator arbeitet umgekehrt: Nutzer:innen beschreiben ein Instrument, ein Sprachmodell schreibt die Csound-Orchestra dafür – Worte, übersetzt in einen echten (und exportierbaren) Oszillator.

akróasys ist Open Source: https://github.com/joeriben/akroasys/releases

https://soundcloud.com/benjamin-j-rissen/sets/akroasys

AI4ArtsEd Werkraum: ComfyUI-Frontend und Custom-Node-Sammlung für die Kulturelle und Künstlerische Bildung

„Werkraum“ ist der Vorläufer von ATELIER: ein leichtgewichtiges ComfyUI-Frontend mit zusätzlichen pädagogischen Funktionen, das grundlegende Prompt- und Output-Sicherheit und eine sehr einfache, um die meisten technischen Parameter reduzierte Oberfläche bieten will. Da ComfyUI extrem mächtig ist, können technikaffine Pädagog:innen eigene Workflows innerhalb von ComfyUI definieren und für die Nutzung in Werkraum exportieren. Werkraum nutzt unser eigenes Set an Custom Nodes – diese müssen in ComfyUI installiert sein.

Werkraum ist Open Source: https://github.com/joeriben/ai4artsed_werkraum

transact-qda: Open-Source-QDA-Software zur Unterstützung der Situational Analysis

Als wir neugierig wurden, wie komplex dichte theoretische Gedanken sein können und dennoch als Software implementierbar bleiben, begannen wir, eine QDA-Software zu codieren, fokussiert auf das Mapping-Paradigma der Situational Analysis von Adele Clarke – aber mit einem Twist. Inspiriert haben uns Dewey/Bentleys Knowing and the Known, Karen Barads Agential Realism und das kritische Denken der Negativen Dialektik Theodor W. Adornos; Kernideen dieser heterogenen Sammlung nutzten wir als Inspirationen für das Design der Datenbankstruktur. Im Geist der Situational Analysis (so hoffen wir) ist jedes Datenobjekt in einem bestimmten Sinne „nicht-identisch“: Es ist sein eigener Stapel von „Benennungen“ (das Wort „Code“ verwenden wir hier nicht). Dieser Stapel ist nicht nur Gedächtnis einer sukzessiven Formation einer Benennung, vom Cue bis zur Charakterisierung; wir denken diese Datenobjekte lieber als latente oder superponierte Entitäten, wobei jede konkrete Bedeutung (nur) ein Kollaps ihrer semantischen Zwischenräume ist. Und: Es gibt keine ontologische Fixierung von „Entitäten“ vs. ihren „Relationen“ – alles hier ist eine Weise, Benennungen anzusehen/zu benennen; folglich können Relationen in Benennungen verwandelt werden und umgekehrt. Die Zukunft wird zeigen, ob diese Proof-of-Concept-Software in realen Forschungskontexten tatsächlich nützlich ist.

transact-qda ist Open Source: https://github.com/joeriben/transact-qda