Vor einigen Monaten habe ich einen ausführlichen Beitrag darüber geschrieben, wie 3D-Scanning für die visuellen Effekte der Fernsehserie Gotham eingesetzt wurde. Schließlich begeistere ich mich sowohl für 3D-Scanning als auch für alles rund um Batman. Es gibt allerdings eine andere fiktive Welt, die mich noch stärker fasziniert: Star Wars. Deshalb wartete ich auf eine Gelegenheit, 3D-Scanning und die weit, weit entfernte Galaxis in einem Artikel zusammenzubringen.
Und dann stieß ich letzte Woche auf diesen Beitrag des schwedischen Spieleentwicklers DICE. Das Studio ist für die erfolgreiche Battlefield-Reihe, Mirror’s Edge und die neueste Ausgabe von Star Wars Battlefront verantwortlich.
Diese „Next-Gen“-Version von Battlefront, die für Playstation 4 und XBOX One erhältlich ist, hebt sich vor allem durch ihre beeindruckende Grafik von ihren Vorgängern ab. Das gilt besonders für die weitläufigen Welten, die Star-Wars-Fans sofort wiedererkennen. Mit äußerst realistischen Darstellungen der Planeten Hoth, Tatooine, Endor und Sullust ist das Spiel eine hervorragende Möglichkeit, interaktiv in das Star-Wars-Universum einzutauchen. Oder, wie Wired es formuliert: „Star Wars Battlefront spielt sich, als würde man den Film ansehen.“
Bevor ich fortfahre, zeigt ein Screenshot aus dem Spiel am besten, was damit gemeint ist:
Man könnte sogar sagen, dass das Bild oben noch mehr nach dem Wald auf Endor aussieht als dieser in Die Rückkehr der Jedi-Ritter selbst. Aber wie haben die Entwickler diesen Realismus erreicht? Keneth Brown und Andrew Hamilton von DICE beantworteten diese Frage auf der diesjährigen Game Developers Conference (GDC) in einem einstündigen Vortrag mit dem Titel Star Wars: Battlefront and the Art of Photogrammetry.
Da sich der Vortrag an Entwickler richtet, ist er sehr technisch und geht auf zahlreiche Programmierdetails ein. Ich habe deshalb einige Erkenntnisse herausgegriffen, die sich ausschließlich mit Photogrammetrie befassen. So können Sie daraus lernen und sie für eigene kreative 3D-Scanning-Projekte nutzen.
Für alle, denen der Begriff noch nichts sagt: Photogrammetrie, auch Foto-Scanning genannt, ist ein Verfahren zur Erfassung realer Objekte, bei dem aus gewöhnlichen 2D-Fotos mithilfe von Computeralgorithmen texturierte 3D-Modelle entstehen. Ein spezieller 3D-Scanner, wie im Gotham-Beitrag, ist dafür nicht erforderlich. Für den Einstieg können Sie mit kostenlosen Smartphone-Apps experimentieren. Auf professionellem Niveau stehen Lösungen wie Autodesk ReCap, das ich bereits getestet habe, und Agisoft PhotoScan zur Verfügung, das ich demnächst testen werde. Die Künstler bei DICE nutzten überwiegend Letzteres, experimentierten aber auch mit neueren Programmen wie RealtyCapture.
Die erste wichtige Erkenntnis aus dem Vortrag: Photogrammetriebasiertes 3D-Scanning wurde mit „traditionellen“ 3D-Modellierungstechniken kombiniert, um sämtliche Assets und Welten des Spiels zu erstellen. Unten sehen Sie einige 3D-Scans von Figurenrequisiten – aus keinem geringeren Bestand als dem Lucasfilm-Archiv:
Diese Requisiten wurden den auf herkömmliche Weise modellierten 3D-Figuren hinzugefügt.
Hauptsächlich kam Photogrammetrie jedoch zur Erstellung von Umgebungsobjekten zum Einsatz. Dafür reiste das Team an die Originaldrehorte der vier zuvor genannten Planeten und produzierte eine kurze Dokumentation über diese Reisen. Eine wichtige Ausnahme war Sullust, das in den Originalfilmen nicht vorkam. Wie der Standort für diesen Planeten ausgewählt wurde, erfahren Sie in diesem Interview mit Battlefront-Art-Director Dough Chiang.
Die Ausrüstung war sehr einfach: eine Canon-6D-Spiegelreflexkamera mit 24-mm-Objektiv, ein Stativ und eine Farbtafel. Das Team nutzte überwiegend natürliches Licht und vermied möglichst Schlagschatten. In manchen Fällen, etwa in Eishöhlen, kam zusätzlich eine Beleuchtungsausrüstung zum Einsatz.
Die Reisen wurden sorgfältig geplant. Vorab erstellte das Team eine Übersicht, welche Assets während eines Aufnahmeabschnitts erfasst werden mussten. Viel Aufwand floss in effiziente Fotosessions, denn bei der Photogrammetrie verliert man leicht den Überblick und macht entweder zu viele oder zu wenige Bilder. Entscheidend für das Verfahren ist die Überlappung: Dieselben sichtbaren Merkmale müssen auf mehreren Fotos vorhanden sein. Während des Projekts lernte das Team, dass dies leichter gelingt, wenn man aus größerer Entfernung fotografiert und so mehr vom Objekt auf einmal erfasst. Außerdem betonten die Entwickler, wie wichtig Aufnahmen aus allen möglichen Winkeln sind, um zeitaufwendige Retuschen in der Nachbearbeitung zu vermeiden.
Das folgende Bild zeigt beispielhaft die Übersicht der Assets, die für den Planeten Endor aufgenommen werden mussten:
Um die riesige Menge an Fotos von den verschiedenen Orten in nutzbare Spielobjekte umzuwandeln, durchlief das Team ungefähr dieselben Arbeitsschritte wie bei der herkömmlichen Asset-Erstellung. Allerdings benötigte es dafür deutlich weniger Zeit. Unten sehen Sie einen Vergleich zwischen dem geschätzten Aufwand für ein traditionell erstelltes Asset in einem früheren Spiel, Battlefield 4, und dem Photogrammetrie-Workflow für Star Wars Battlefront.
Der größte Unterschied liegt in der Phase „High Topo“. Vermutlich besteht diese normalerweise aus sehr detailliertem digitalem Sculpting in ZBrush oder ähnlicher Software. Bei der Photogrammetrie geht es in dieser Phase vor allem um Retusche. Mit diesem Wechsel taten sich einige Designer im Team schwer, weil ihnen die Tätigkeit weniger kreativ erschien.
Auch die Erstellung brauchbarer Texturen nahm weniger Zeit in Anspruch, gehört aber weiterhin zu den aufwendigsten Phasen des Arbeitsablaufs. Ein Teil davon ist das Entfernen von Schatten. Das ist wichtig, weil die Spielumgebungen von der Engine dynamisch beleuchtet werden und Schatten im Spiel deshalb an beliebigen Stellen auftreten können.
Der erste Tipp zum Entfernen von Schatten lautet: mit 16 Bit arbeiten und zunächst die entsprechende Funktion in Adobe Photoshops Camera-RAW-Bedienfeld nutzen, um möglichst viele Schatten zu beseitigen. Anschließend verwendete das Team eine Methode, die ich persönlich sehr clever finde: Aus den 3D-Daten wird eine Normalenkarte erzeugt. Mit Photoshops Schwarzweißfilter entstehen daraus Masken für die verschiedenen Richtungen, in die die Normalen zeigen. Danach werden die Unterschiede ausgeglichen, bis ein nahezu schattenfreies Ergebnis entsteht. Dazu habe ich ein kleines animiertes GIF erstellt:
Bevor dieser Beitrag mehr Zeit beansprucht als die vollständige Präsentation, möchte ich noch eine im wahrsten Sinne des Wortes coole Photogrammetrie-Anwendung aus dem Spiel zeigen, bei der es weder um Felsen noch um Baumstümpfe geht. Das DICE-Team baute aus Materialien eines örtlichen Baumarkts einen echten AT-AT-Fuß – Sie kennen sicher diese imperialen Kampfläufer – und drückte ihn in weißes Pulver. Der Abdruck wurde anschließend in 3D erfasst. Daraus entstand eine Displacement-Map, mit der im Spiel Fußspuren erzeugt werden.
Zu guter Letzt sehen Sie hier die Photogrammetrie-Assets, die das Team für die vier Planeten des Spiels erstellt hat:
Zunächst dachte ich, die oben gezeigten Assets seien nur eine Auswahl. Die Fragerunde am Ende des Vortrags machte jedoch deutlich, dass es sich tatsächlich um alle Photogrammetrie-Assets des Spiels handelt. Natürlich wurden sie in einen größeren Zusammenhang eingebettet. Das Team beschaffte zusätzlich LiDAR- beziehungsweise Laserscans einiger Gebiete als Grundlage für das Gelände. Außerdem entstanden vor Ort sehr, sehr viele Fotos, die als herkömmliche Texturen dienten. Bäume bestehen beispielsweise nur im unteren Bereich aus Photogrammetriedaten; ab einer bestimmten Höhe geht dieser Bereich in eine gekachelte Textur über. Manche Pflanzen bestehen wiederum aus einfachen geometrischen Formen mit Texturen und Alphakanälen. Einige bewährte Methoden funktionieren eben weiterhin.
Um alle Assets zusammenzufügen, entwickelte DICE für jeden Planeten sehr ansehnliche „Level Construction Kits“. Offenbar sollten diese Baukästen ursprünglich auch Nutzern zur Verfügung stehen, wurden letztlich aber nur intern eingesetzt. Wirklich schade, denn wie dieses Video zeigt, funktionieren sie hervorragend – besonders beim nahtlosen Verbinden der Photogrammetrie-Assets mit dem übrigen Gelände.
Das Beste kommt zum Schluss: eine schöne Montage der verschiedenen Umgebungen aus Star Wars Battlefront. Sie wird von John Williams’ originaler Star-Wars-Musik begleitet. Mein Rat lautet deshalb: 1080p Full HD einstellen, Vollbild einschalten und die Lautsprecher auf 11 drehen – aber erst, nachdem Sie diesen Beitrag über die Schaltflächen am Ende mit Ihren Freunden und Followern in Ihrem bevorzugten sozialen Netzwerk geteilt haben.
