KI-Synchro der anderen Art: TrueSync passt die Lippenbewegungen von Schauspielern an

9 months ago 9

Die Synchronbranche fürchtet angesichts generativer KI besonders um ihre Existenz. Denn der heilige Gral könnte es sein, fremdsprachige Filme mit KI-Stimmen zu synchronisieren, welche die Originalstimme des jeweiligen Darstellers übernehmen. Das wäre näher am Original als aktuelle Synchronarbeiten, würde aber auf einen Schlag alle Synchronsprecher arbeitslos machen. Einen Schritt in diese Richtung geht man mit TrueSync – allerdings anders, als man es auf den ersten Blick erwarten sollte.

TrueSync bezieht sich nämlich auf die visuellen Aspekte eines Films oder einer Serie. Die Technik ermöglicht es, die Lippenbewegungen im Videomaterial an die Synchronisation anzupassen. Im Endeffekt sieht es dadurch dann z. B. so aus, als hätten die Schauspieler in einer Hollywood-Produktion tatsächlich Deutsch gesprochen. In den USA kommt der schwedische Film „Watch the Skies“ in einer per TrueSync überarbeiteten Fassung in die Kinos.

Das ist für den dortigen Markt aus zweierlei Sicht besonders wichtig: Synchronisationen werden in den Vereinigten Staaten eher mit gerümpfter Nase betrachtet. Wenn, dann sehen sich die Menschen fremdsprachige Filme dort eher mit Untertiteln an, da sie Synchronisationen kaum gewöhnt sind. Für „Watch the Skies“ haben aber die schwedischen Original-Darsteller ihre Dialoge erneut in englischer Sprache aufgenommen. Dank TrueSync, welches das Bild anpasst, soll das Ergebnis so wirken, als wäre der Film von Anfang auf Englisch produziert worden.

Schauspieler-Gewerkschaft gibt grünes Licht für den KI-Ansatz

Selbst die US-Schauspieler-Gewerkschaft SAG-AFTRA hat den Ansatz von TrueSync abgesegnet, da die Schauspieler hier die Nachvertonung selbst übernehmen und KI eben lediglich zur Bildanpassung genutzt wird. Das ist schon eine starke Sache, wie ich finde. In den USA dürfte diese Herangehensweise vielleicht auch die Chancen von fremdsprachigen Filmen am Markt deutlich erhöhen. Allerdings könnte das Ganze auch in Deutschland eine Lösung sein, die interessant  wäre.

Was sagt ihr zu TrueSync und den Beispielvideos? Finde ich persönlich schon sehr beeindruckend.

Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf ge­lan­gt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir ei­ne kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.

Read Entire Article