Die Grundlage dafür entstand bei meinen früheren Comic- und Animationsvideos. Den dort entwickelten Produktionsablauf mit Storyboard, wiedererkennbaren Charakteren, individuellen Stimmen und angebundenen KI-Diensten konnte ich für dieses Projekt weiterverwenden.
Im Mittelpunkt stand dabei die verständliche Vermittlung der App-Funktionen. Szenen, Dialoge und Bilder wurden darauf abgestimmt, die einzelnen Schritte nachvollziehbar zu erklären und den Einstieg in Plonky zu erleichtern.
KI-Animationsvideos – von der Idee zum fertigen Film
Eigene Charaktere, individuelle Stimmen und ein durchgängiger Produktionsablauf: Für meine Animationsvideos habe ich eine lokale Arbeitsumgebung aufgebaut, die Storyboard, Bildgenerierung, Sprachsynthese und Videoerstellung miteinander verbindet.
Eine Produktionsumgebung für mehrere Werkzeuge
Einzelne Bilder und Videos lassen sich in verschiedenen Onlineportalen erstellen. Für eine zusammenhängende Geschichte müssen jedoch Figuren, Stimmen, Szenen und Dateien aufeinander abgestimmt sein.
Deshalb habe ich die einzelnen Dienste über APIs in einen eigenen Arbeitsablauf eingebunden. Charakterreferenzen und Produktionsdateien werden lokal strukturiert abgelegt und stehen für die folgenden Szenen wieder zur Verfügung. Ein lokales Storyboard-Dashboard bildet die zentrale Übersicht für die Produktion.
Das Storyboard als Grundlage
Am Anfang stehen meine Idee, die Geschichte und die eingesprochenen Gedanken. Gemeinsam mit Claude entwickle ich daraus ein Storyboard mit einzelnen Szenen, Dialogen sowie Vorgaben für Bilder, Bewegung und Kamera.
Diese Vorbereitung bestimmt, welche Bilder, Sprachaufnahmen und Videosequenzen benötigt werden und wie sie später zusammenpassen. Claude unterstützt dabei einen grossen Teil der Ausarbeitung; Konzept, inhaltliche Richtung und gestalterische Entscheidungen liegen bei mir.
Wiedererkennbare Charaktere über alle Szenen hinweg
Eine der grössten Herausforderungen ist die visuelle Konsistenz: Eine Figur soll auch bei wechselnden Perspektiven und Bewegungen wiedererkennbar bleiben.
Dafür entwickle ich zunächst die Charaktere und lege ihre Referenzbilder lokal ab. Diese werden bei der Erstellung weiterer Szenen als Ausgangspunkt verwendet. Die erzeugten Bilder und Videos werden anschliessend geprüft und bei Bedarf überarbeitet.
Jede sprechende Figur erhält zudem eine eigene Stimme über ElevenLabs. Je nach Szene werden die Bilder animiert oder mit der Sprachaufnahme zu einer sprechenden Figur mit passenden Lippenbewegungen verarbeitet.
Vom Szenenbild zum fertigen Video
Die Generierung erfolgt über angebundene APIs. Bilder, Stimmen und Videoclips entstehen zunächst als einzelne Bausteine. Anschliessend werden Tonspuren, Pausen, Szenenübergänge und Timing aufeinander abgestimmt und zum fertigen Film zusammengesetzt.
So entstand ein wiederverwendbarer Produktionsablauf, der sowohl eigene Comicgeschichten als auch Erklärvideos für andere Projekte ermöglicht.
Mein Beitrag
Geschichten und Gesamtkonzept, Charakterentwicklung, Auswahl und Gestaltung der Figurenstimmen, Aufbau der lokalen Produktionsumgebung sowie die Verbindung der KI-Dienste. Dazu kommen die gestalterische Prüfung und Überarbeitung der erzeugten Inhalte bis zum fertigen Video.
Technologien im Detail
| Technologie | Einsatz |
|---|---|
| ChatGPT & Claude | Ideenentwicklung, Geschichten, Dialoge, Storyboards sowie Bild- und Videoprompts. |
| Claude Code | Entwicklung der lokalen Produktionswerkzeuge und Skripte. |
| Lokales Storyboard-Dashboard | Eine HTML-Übersicht aller Szenen mit Bildern, Dialogen und Timing; ein Python-Skript bettet die Szenenbilder direkt in die Datei ein. |
Google Gemini – gemini-3-pro-image | Generierung von Charakter- und Szenenbildern unter Verwendung von Bildreferenzen. |
ElevenLabs – eleven_multilingual_v2 | Individuelle Figurenstimmen, Dialoge und Erzählertexte. ElevenLabs wird zusätzlich für Soundeffekte eingesetzt. |
| fal.ai | API-Plattform für den Zugriff auf die verwendeten Video- und Transkriptionsmodelle. |
| Kling 2.5 Turbo Pro | Animation von Szenenbildern mit Figuren- und Kamerabewegungen. |
| HeyGen Avatar 4 | Erstellung sprechender Figuren mit zur Sprachaufnahme passenden Lippenbewegungen. |
| Whisper über fal.ai | Transkription von Sprachaufnahmen und Screencasts als Grundlage für die weitere Verarbeitung. |
| JavaScript / Node.js | Skripte zur Bildgenerierung und Anbindung der APIs. |
| Shell-Skripte & FFmpeg | Zusammenbau und Verarbeitung von Video- und Audiodateien sowie Export der fertigen Filme. |