In diesem Blogeintrag möchte ich über In Camera Visual Effects (ICVFX) sprechen und darauf eingehen, worauf man bei der Verwendung von Virtual Production (VP) achten sollte. Dieser Beitrag baut auf meinem vorherigen Blogeintrag "Die Hürden der Virtual Production" auf. Ich empfehle daher, den vorherigen Beitrag zu lesen, um die folgenden Ausführungen besser zu verstehen.
ICVFX ermöglicht es, Szenen direkt im Studio mit virtuellen Effekten zu drehen, was der Grundgedanke von VP ist. In den folgenden Beispielen zeige ich Szenen, die mit minimalem Kulissenbau, kleinem Budget und einem kleinen Team realisiert wurden. Ich hoffe, damit zu demonstrieren, dass ICVFX und VP in jeder Produktion eingesetzt werden können.
DIGITALE SETS GESTALTEN
VP kombiniert computergenerierte virtuelle Welten mit physisch gebauten Kulissen im Studio. Obwohl jeder bei "Virtual Production" sofort an das LED Volume denkt, waren die LEDs nicht die technologische Innovation, die die VP Ära eingeleitet hat. LED Panels gab es schon viel früher, und die meisten LED Volumes verwenden aus Kostengründen immer noch nicht die neueste LED Technologie. LED Volumes sind perfekt für größere Kulissen, haben jedoch ihre Nachteile, insbesondere wenn sie in kleinen Studios verwendet werden, wo die Kamera nah an der Wand sein muss.
Der entscheidende Grund, warum VP für die Filmindustrie plötzlich interessant wurde, liegt in den Fortschritten der Echtzeit Rendering Technologie durch Game Engines wie Unity, Cry Engine und Unreal Engine (UE). auch die Verbesserung von Kameratracking Systemen und die geringere Latenz bei der Datenübertragung spielten eine wichtige Rolle. Die Entwicklungen in diesen Bereichen ebneten den Weg für eine neue Ära des Filmemachens, und KI wird diesen Fortschritt weiter vorantreiben.
UE ist eine leistungsstarke Plattform, die eine breite Palette kreativer Möglichkeiten bietet. Dank ihr kann das Scouting von Drehorten bequem von zu Hause aus erfolgen, und Drehorte können digital gestaltet und modifiziert werden, bis sie perfekt sind. Im Kinofilm "Lili(A.T.)" konnten Regisseur Thomas Imbach und ich die gesamte Auflösung über zwei Monate hinweg vor unseren Computern abschließen — er in seinem Atelier in Zürich und ich in Berlin. Dadurch waren wir zeitlich sehr flexibel. Der gesamte Blocking Prozess konnte mit keyframe animierter Kamera und einfachen 3D Characters visualisiert und für die anderen Departmens gerendert werden. Für die VFX Artists ist es sogar noch besser, weil sie sich die Kameraeinstellungen in der UE ansehen können und dadurch genau wissen, was im Bild zu sehen sein wird, wo mehr Zeit für Details benötigt wird und wo es nicht nötig ist, weil der Content später nur unscharf im Hintergrund sein wird. Deshalb ist es sinnvoll, mit der Auflösung der Szenen frühzeitig zu beginnen.
Für Independent Projekte mit begrenztem Budget sind die großen, kostenlosen Bibliotheken, einschließlich der fotorealistischen Quixel Megascans, besonders interessant. Für nur 200 Euro kann man komplette Asset Pakete mit Bergen, Bäumen, Sträuchern und vielem mehr kaufen. Wir verwendeten eines davon für die brennenden Waldszenen in "Embers". Nach dem Erwerb wurden die Assets von VFX-Künstlern Marlon Candeloro und Gianni Piechota mit zusätzlichen Elementen kombiniert und die Welt so neu gestaltet.
DIGITALE SETS LEUCHTEN
Wenn ich mit meinem Oberbeleuchter Dominic Heim kommuniziere, gehe ich sehr ins Detail und bespreche Beleuchtungseinheiten, Butterfly Bespannungen usw. Für diejenigen unter euch, die auch klare Vorstellung davon haben, wie sie eine bestimmte Lichtstimmung technisch erzielen wollen, kann die Zusammenarbeit mit VFX Artists herausfordernd sein, insbesondere bei kleinen Budgetproduktionen, da sie oft einen anderen Ansatz und ein anderes Vokabular benutzen. Kommunikationsprobleme treten weniger bei der Definition von Sonnenstand oder Wetterstimmungen in der UE auf. VFX Artists sind es meistens nicht gewohnt auf Filmsets zu arbeiten, und kennen daher nicht die üblichen Vorgehensweisen für die Lichtsetzung am Set. Das macht sich besonders bemerkbar bei komplexen Innenraum- oder Nachtszenen.
Im Prinzip kann man auch in der UE Licht so setzen, wie man es auf einem Filmset in der realen Welt tun würde. Der Vorteil ist sogar, dass Beleuchtungseinheiten und Flags (für die man in der UE einfache Planes verwenden kann) unsichtbar sind, was die Arbeit erheblich erleichtert. Niemand braucht sich Sorgen über Stative oder anderes Grip Equipment im Bild mehr machen. Die klassische Art der Lichtsetzung hilft auch, den typischen Game Look der virtuellen Welt zu reduzieren.
Wer sich einigermaßen an die Navigation in der UE gewöhnt hat, braucht nicht lange, um selbst Lichter zu platzieren und deren Parameter zu ändern. Wir ersetzen dadurch auf keinen Fall einen VFX Artist, aber es ist viel effizienter, auf diese Weise selbst in der UE zu navigieren, als nur neben dem VFX Artist zu sitzen und zu versuchen über die Positionen und Ausrichtung von Lampen innerhalb XYZ-Achsen zu diskutieren.
LICHT IM STUDIO
Für den Film "Embers" haben wir neben echten Flammen im Studio auch die SumoSky von Sumolight verwendet. Ähnlich wie bei LED Volumes kann hier jede einzelne LED durch Pixel Mapping gesteuert werden. SumoSky hat neben den üblichen RGB-Dioden auch zwei verschiedene weiße Dioden, was zu einer besseren Farbwiedergabe führt. Das System besteht außerdem aus mehreren LED Bars und ist besonders in großen Hollywood Produktionen in den USA und England als dynamisches Himmelslicht beliebt. Wenn man echte Flammen oder Kerzen verwendet, wie wir es beim Kinofilm "Lili(A.T.)" getan haben, muss die SumoSky jedoch aufgrund ihrer limitierten Farbtemperaturbereichs von 3450K - 15500K foliert werden.
WENIGER KULISSENBAU
Virtual Production wird oft mit aufwendigen Kulissen im Studio verwendet. Ich finde es jedoch besonders interessant, wenn sie mit minimalem Kulissenbau kombiniert wird. In "Lili(A.T.)", den wir komplett im Filmstudio Basel drehten, haben wir oft auf Kulissenbau verzichtet und uns auf Requisiten wie Stühle, Tische oder Lampen konzentriert, um den realen Vordergrund mit dem digitalen Hintergrund zu verbinden. Ganze Räume waren nur in der UE vorhanden. Elemente wie die alte große Glastür oder der Glastisch und die Wassergläser, die wir in "Embers" verwendet haben, sind ideale Elemente, die die reale und virtuelle Welt miteinander verschmelzen lassen. Es ist schwierig, fast unmöglich, das gleiche Ergebnis mit einem Greenscreen zu erzielen.
Solange man nicht plant, das Filmmaterial in der Nachbearbeitung weiter zu manipulieren, was bei ICVFX das Ziel sein sollte, kann das Experimentieren mit Elementen wie Lensflares, Partikeln, Staub und Haze in der Luft hilfreich sein, um die beiden Welten zu verbinden. Sogar das durch echte Flammen im Studio verursachte Hitzeflimmern ist ein großartiger Effekt, der dem Ganzen Glaubwürdigkeit und Atmosphäre verleiht. Bei Greenscreen Aufnahmen sollten diese Elemente jedoch vorsichtig verwendet werden. Da ist zwar auch vieles möglich, kostet dann aber schnell sehr viel mehr Geld.
OBJEKTIVE
Im Februar unterrichtete ich zusammen mit Kameramann Nikolaus Summerer und VFX Supervisor Juri Stanossek einen Virtual Production Kurs für Focal. Nik hatte neben "Who am I" (einer meiner absoluten Lieblingsfilmen,) auch die Netflix Serie "1899" gedreht, für welche die Dark Bay in Babelsberg gebaut wurde. Da damals die Unreal Engine 4 (UE4) verwendet wurde, benutzte er ARRI Alfa Anamorphics—Großformatlinsen, die er zusammen mit ARRI weiterentwickelte, um mit dem typischen Game Look der UE zu brechen. Das charakteristische anamorphotische Bokeh, die Vignettierung und die geringe Tiefenschärfe trugen dazu bei, dieses Ziel zu erreichen.
Die Netflix Serie "1899" kann ich übrigens jedem VP Interessierten sehr empfehlen, auch wenn sie leider nach der ersten Staffel abgesetzt wurde. Derzeit gibt es im deutschsprachigen Raum keine bessere und beeindruckendere VP Produktion. Nik und sein Team haben großartige Arbeit geleistet.
Seit der Einführung der Unreal Engine 5 (UE5) im Jahr 2023 hat sich dank Nanite viel in Bezug auf realistischere Assets und Leistungsoptimierung verbessert. Trotzdem empfehle ich immer noch vintage oder anamorphotische Linsen, um dem Bild einen weniger sauberen Look zu verleihen. Eine weitere interessante Option ist 16mm oder sogar 8mm Kodak Film zu verwenden. Das starke Korn wäre für Greenscreen problematisch, ist aber ideal für ICVFX. Kürzlich hat auch Wes Anderson VP mit 35mm Kodak Film gedreht.
Interessanterweise erwähnte Juri, dass er in der Postproduktion mittlerweile Lensflares und Unreinheiten selbst bei Greenscreen Aufnahmen begrüßt, weil diese Eigenheiten eine gute Vorlage für die spätere Look Imitationen bietet. In den meisten Fällen müssen diese jedoch zuerst entfernt werden, um das Bild digital zu bearbeiten, und später als Effekt wieder hinzugefügt werden. Juri teilte auch Beispiele, bei denen ganze Aufnahmen vollständig durch Komplett am Computer erzeugte Bilder (CGI) ersetzt wurden. Obwohl immer ein VFX Supervisor am Set ist, hat jedes VFX Studio oft seinen eigenen Ansatz, mit dem bereitgestellten Filmmaterial zu arbeiten, und Kameraleute werden normalerweise nicht mehr in diesen Prozess einbezogen. Bei VP ist das etwas anders. Die Kommunikation muss früh beginnen, wodurch Kameraleute mehr Kontrolle über das endgültige Bild erhalten, was ein weiterer Grund ist, warum ich ICVFX und VP so schätze.
SLOWMOTION
Die Einschränkungen der UE sowie der LED Wall und Projektoren bei Rückprojektion machen Zeitlupenaufnahmen bei höheren Bildraten schwierig. Manchmal kann man jedoch Tricks anwenden oder Greenscreen-Techniken verwenden, um Zeitlupeneffekte in der Nachbearbeitung zu erreichen. Wenn Flimmerprobleme auftreten, kann der De-Flicker von DaVinci Resolve hilfreich sein. Trotzdem lassen sich zurzeit im VP Studio kaum mehr als 60fps drehen.
VIDEO AUF DER WAND
Real-Time-Rendering ist ein großer Vorteil von VP, weil es Parallaxe Effekte ermöglicht. Es gibt jedoch Situationen, in denen dieser Effekt nicht zwingend erforderlich ist, wie etwa in Szenen auf einem Ozean oder in kargen Wüsten, in denen Parallaxe keine große Rolle spielt. In diesen Fällen kann es sinnvoll sein, die Szene aus UE in optimaler Qualität zu rendern und sie dann als Video an der Wand abzuspielen. Das Gleiche gilt für Aufnahmen in schnell fahrenden Autos, Zügen oder Raumschiffen. Wenn man in Zeitlupe dreht, kann das Bild mit einer höheren Bildrate als die UE in Echtzeit zulässt gerendert werden, wodurch interessante visuelle Effekte entstehen können. Zusätzlich kann man mit Kameratracking und Projection Mapping, Videos mit viel weniger Rechenleistung als fotorealistische Hintergründe verwenden.
PLATES
VP kann auch für Projekte, die ansonsten an realen Standorten gedreht wurden, kombiniert werden. Szenen können im Freien während bestimmter Licht- und Wetterbedingungen gedreht werden, die normalerweise nicht lange anhalten. Zusätzliche Plates werden dann für die spätere Verwendung im VP Studio gedreht, um beispielsweise mehr Zeit für lange Dialogszenen bei Sonnenuntergang zu haben. Dies erfordert jedoch sorgfältige Planung und viel Erfahrung, um sicherzustellen, dass die verschiedenen Aufnahmen nahtlos ineinander übergehen.
Für "Embers" warteten Nico Gühlstorf und ich auf den seltenen Schneefall in der Region, um die benötigten Aufnahmen zu machen. Ich fungierte selbst als Double on Location. Im Studio drehten wir dann mit dem echten Schauspieler vor unseren Plates. Die Kosteneinsparungen auf diese Weise zu drehen sind enorm.
Es müssen aber nicht nur kleine Teams sein. Für die Serie "Capelli Code" drehten wir mit einem großen Team an schwer zugänglichen Orten. Wir konzentrierten unsere Dreharbeiten auf alle weiten Einstellungen und beendeten die Szenen mit den Close Ups im Studio, wo Regisseur Alex Martin dadurch mehr Zeit hatte, mit den Schauspielern zu arbeiten. Er hatte diese Arbeitsweise 2015 iniziert und seither ist sie mein ständiger Begleiter.
Ein weiteres Beispiel ist der Film "La Cache" von Lionel Baier, bei dem ich als technischer Berater fungierte. Der Film spielt im Jahr 1968 in Paris, und weil es zu teuer war, die Straße zu sperren und sie für lange Zeit in die 60er Jahre zurückzuversetzen, wurden Plates in Paris gedreht und später als Hintergrund für ein parkendes Auto im Studio verwendet.
Dennoch denke ich, es ist wichtig, VP nicht nur als Kostenersparnis zu betrachten. Mit schlechter Planung ist sie das nämlich nicht. VP bietet Filmemachern, insbesondere Drehbuchautoren, neue Möglichkeiten, die mit relativ kleinen Budgets sonst undenkbar wären. Ich erwähnte das auch im Interview 10vor10 vom Schweizer Fernsehen:
Als Schlusswort möchte ich noch folgendes auf den Weg geben: Jede Technik hat ihre Vor- und Nachteile, und man sollte sich nicht auf eine Technik festlegen, die für den Shot keinen Sinn ergibt. Für ICVFX hat das LED Volume genauso seine Daseinsberechtigung, wie die Rückprojektion, ein Greenscreen oder ein 83 Zoll OLED-Fernseher. Wichtig ist nicht, welche Technik man einsetzt, sondern wie man sie verwendet.
Vielen Dank an alle Beteiligten:
Gabriel Brosteanu, Joachim Budweiser, Marlon Candeloro, Tiziana Cuviello, Claudio Demel, Jan Gubser, Nico Gühlstorf, May Hälg, Dominic Heim, Christoph Keller, Kaija Ledergerber, Alex Martin, Pascal Pendl, Gianni Piechota, Ela Schaich, Roland Siegenthaler, Senso Stampa, Danny Steindorfer, Marcel Stucki, Tobias Sutter, Nadine Trachsel, Nea Trachsel, Klemens Trenkle, Christina Welter,
Danke für die Unterstützung: