Seit meinem letzten Beitrag über Tiefensensoren zum 3D-Scannen ist einige Zeit vergangen, weil es eine Weile keine interessanten Neuheiten gab. Wenn Menschen nach einem Sensor für ihre ersten Schritte in die Welt des 3D-Scannens fragen, empfehle ich iPad-Besitzern meist einen Structure Sensor (Test) und Nutzern eines Windows-10-Laptops oder -Tablets einen 3D Systems Sense 2 (Test), der einen Intel-RealSense-SR300-Sensor enthält.
Ich betone immer, dass der Sensor selbst nur die Hälfte des Scan-Erlebnisses ausmacht. Die andere Hälfte ist die Software. Zum Sense 2 gehört die gut gestaltete Software Sense for RealSense . Für den Structure Sensor empfehle ich je nach Einsatzzweck itSeez3D oder Skanect.
Inzwischen wurde der SR300 von Intels neuer RealSense-D400-Serie abgelöst, zu deren Eignung für 3D-Scans ich viele Fragen bekomme. Auch die Astra-Reihe von Orbbec wird zunehmend beliebter. Orbbec liefert zudem den Sensor für HPs All-in-One-Computer Sprout Pro G2 (Test) und die kürzlich vorgestellte HP Z Camera, die ich derzeit als Beta-Version teste und bald ausführlich vorstellen werde. Außerdem suchen natürlich viele Menschen nach Alternativen zu Microsoft Kinect. All diese Sensoren kommen dafür infrage.
Hardware
Für diesen Vergleich habe ich den Intel RealSense D415 für 172,55 US-Dollar und den Orbbec Astra S für 159,99 US-Dollar darauf getestet, wie gut sie kleine bis mittelgroße Objekte in 3D erfassen. Als Referenz dient der RealSense SR300, den ich seit fast zwei Jahren verwende: sowohl im 3D Systems Sense 2 als auch als einfacheres Entwicklerkit in Form des Creative BlasterX Senz3D für 149,99 US-Dollar.
Bevor es weitergeht, sind einige Punkte erwähnenswert:
- SR300 und Astra S sind Nahbereichssensoren, worauf ihre Modellnamen hinweisen. Der D415 hat eine größere Reichweite, beginnt aber bereits in sehr kurzer Entfernung. Dadurch eignet er sich besser zum Scannen von Objekten als Fernbereichssensoren wie der RealSense R200 und der Orbbec Astra ohne S, deren Mindestabstände 0,5 beziehungsweise 0,6 Meter betragen.
- Es gibt auch einen RealSense D435 mit größerem Sichtfeld durch Weitwinkelobjektive und Global Shutter bei allen Kameras. Beides hat Vorteile bei der Verfolgung von Objekten oder Menschen, wenn ein großer Bereich erfasst werden muss oder sich die Motive schnell bewegen. Beim langsamen Scannen kleiner bis mittelgroßer Objekte oder von Personen bringt es dagegen keine Vorteile.
- Die höher auflösenden Modi des Astra S funktionieren nur mit sehr niedrigen Bildraten. Für handgeführte Scans sind sie deshalb weniger geeignet; Scans auf dem Drehteller funktionieren. Mehr dazu später.
- Der Astra S ist wesentlich größer als die anderen Sensoren, sodass Projektor und Infrarotsensor weiter auseinanderliegen. Das kann die Erfassung schwer zugänglicher Bereiche erschweren, die durch andere Objektteile verdeckt sind.
Alle drei Sensoren besitzen Stativgewinde. Der SR300 lässt sich jedoch nicht auf den Platten der meisten großen Stative befestigen, weil sein Gewinde nicht am tiefsten Punkt des Gehäuses sitzt.Ein Leser merkte in den Kommentaren an , dass zwar mein Astra S ein übliches Stativgewinde 1/4″-20 TPI hat, neuere Modelle jedoch ein Gewinde M6 × 7,2 mm besitzen. Dieses passt möglicherweise nicht zu Ihren Stativen; meine haben alle 1/4-Zoll-Schrauben. Alle RealSense-Modelle verfügen über ein einzelnes 1/4-20-Stativgewinde. Die D400-Serie hat zusätzlich zwei M3-Gewinde auf der Rückseite.
Software
Für einen fairen Test benötigte ich Software, die alle Geräte unterstützt. Die einzige mir bekannte kommerzielle Lösung dafür ist RecFusion. Für diesen Test nutze ich die Version für einen Sensor für 99 US-Dollar. Es gibt aber auch eine Mehrfachsensor-Version für 499 US-Dollar. Damit können Sie mehrere Sensoren kalibriert um ein Motiv anordnen, um Bewegungen zu reduzieren oder vollständig zu vermeiden und die Erfassung zu beschleunigen.
Einen vollständigen Test von RecFusion einschließlich der Bearbeitungsfunktionen werde ich bald veröffentlichen. Kurz gesagt liegt der große Vorteil in der breiten Sensorunterstützung und darin, dass sich alle verfügbaren Tiefen- und Farbauflösungen unabhängig auswählen lassen. Allerdings scheinen nicht alle Auflösungen oder Kombinationen zu funktionieren.
Hinweis zur Texturqualität
Ein Nachteil von RecFusion beeinflusst diesen Test erheblich: die Erfassung und Verarbeitung der Farbdaten. Die aktuelle Version von Skanect bietet einen Modus, der Farbbilder unabhängig von den Tiefendaten aufnimmt und später als Texturen auf die Geometrie legt. RecFusion arbeitet intern dagegen ausschließlich mit Vertex-Farben. Zwar kann es in manchen Dateiformaten eine UV-Textur exportieren, diese entsteht aber aus den Vertex-Farben und nicht aus externen Bilddateien. Meiner Meinung nach reicht die Texturqualität deshalb nicht an andere Software heran. Ich muss mich in diesem Test folglich vor allem auf die geometrische Scan-Qualität konzentrieren.
Testaufbau
Obwohl sich alle Sensoren von Hand führen lassen, habe ich sie auf einem Manfrotto-Action-Stativ befestigt und einen einfachen IKEA-SNUDDA-Drehteller verwendet. So beeinflussen menschliche Faktoren wie Handbewegungen die Ergebnisse nicht. Da ich nur aus einem festen Winkel gescannt habe, enthalten die Modelle Löcher. Ziel dieses Tests sind jedoch keine vollständigen Scans, sondern ein relativer Vergleich der Sensoren.
Wie Sie sehen, verwende ich zwei Softboxen mit Dauerlicht . Das dient ausschließlich einer besseren Texturqualität, die ohnehin nicht zu RecFusions Stärken gehört. Künstliches Licht beeinflusst die Tiefenerfassung überhaupt nicht; Tiefensensoren können Tiefe sogar in völliger Dunkelheit „sehen“. Nebenbei bemerkt mögen SR300 und Astra S kein Sonnenlicht von nahen Fenstern. Der D415 ist dagegen auch für den Außeneinsatz konzipiert, was ich allerdings noch nicht getestet habe.
Praktisch ist, dass RecFusion eine senkrechte Sensorausrichtung erlaubt. Bei hohen Objekten ist das wegen des rechteckigen Bildformats oft vorzuziehen. Hier sehen Sie Farb- und Tiefenbild sowie die daraus entstehende 3D-Punktwolke in Echtzeit:
Die Standardeinstellungen des SR300 sind recht gut; oben ist ein Einzelbild zu sehen. Da seine Reichweite bei zwei Metern endet, bereitete die Rückwand meines Büros keine Schwierigkeiten. Das Tiefenbild bietet zwar nur VGA-Auflösung, ist aber sehr stabil und nahezu rauschfrei. Anders die Tiefenkarte des D415, unten als animiertes GIF: Sie zeigt starkes bewegtes Rauschen, unabhängig von der Auflösung.
In meinen Tests beeinträchtigte das starke Rauschen sowohl das Tracking während der Aufnahme als auch die Scan-Qualität. Es half, die Tiefenbegrenzung auf einen Meter zu setzen, da der Sensor bis zu zehn Meter erfasst. Das galt, obwohl das 3D-Bild nur innerhalb des begrenzten Volumens entsteht.
Hinweis zu den D400-Ergebnissen
Nach Veröffentlichung dieses Beitrags hat der CTO von Intel RealSense in einem Kommentar Tipps gegeben , wie sich Rauschen und Scan-Ergebnisse der D400-Serie verbessern lassen. Ich werde das untersuchen und den Beitrag aktualisieren, falls die Ergebnisse tatsächlich besser werden.
Beim Astra S zeigte RecFusion die hochauflösenden Farb- und Tiefenmodi mit 30 Bildern pro Sekunde an, obwohl die technischen Daten fünf bis sieben nennen.
Wenn Sie unten rechts genau hinsehen, erkennen Sie jedoch, dass die tatsächliche kombinierte Bildrate bei höchster Tiefenauflösung auf drei Bilder pro Sekunde fällt. Das ist selbst für Drehteller-Scans sehr wenig. Möglicherweise liegt die Einschränkung an Orbbecs USB-2.0-Verbindung gegenüber USB 3.0 bei RealSense. In der höchsten Farbauflösung wurde aus irgendeinem Grund nur farbiges Bildrauschen übertragen.
Ergebnisse
Hinweis zu den D400-Ergebnissen
Nach Veröffentlichung dieses Beitrags hat der CTO von Intel RealSense in einem Kommentar Tipps gegeben , wie sich Rauschen und Scan-Ergebnisse der D400-Serie verbessern lassen. Ich werde das untersuchen und den Beitrag aktualisieren, falls die Ergebnisse tatsächlich besser werden.
Sehen wir uns nun die Ergebnisse an! In der Sketchfab-Einbettung unten sehen Sie von links nach rechts den SR300 mit 640 × 480 Tiefenauflösung, den D415 mit 640 × 480 und 1280 × 720 sowie den Astra S mit 640 × 480 und 1280 × 1024.
Hinweis: Alle Modelle wurden mit RecFusions Volume Resolution von 512 × 512 erfasst. Das entspricht einer Voxelgröße von 2 mm; kleinere Details werden nicht erfasst. Theoretisch bieten diese Sensoren im Nahbereich eine höhere Tiefenauflösung, die allerdings entfernungsabhängig ist. Intel gibt beispielsweise an , dass sie bei der D400-Serie unter 1 % der Entfernung liegt, also ungefähr 1 mm bei 1 m. Jede höhere Einstellung überforderte jedoch mein Surface Book mit GTX965 und 2 GB Videospeicher. RecFusion meldete lediglich einen Fehler und erlaubte keine feinere Auflösung, zumindest nicht in Echtzeit.*
*Hinweis zu Echtzeit- und nachträglicher Rekonstruktion
Nach Veröffentlichung dieses Beitrags arbeitete ich an meinem bald erscheinenden vollständigen RecFusion-Test weiter. Auf der Website entdeckte ich, dass neben der Echtzeitrekonstruktion auf der GPU auch eine nachträgliche Rekonstruktion auf der CPU unterstützt wird. Allerdings konnte ich den auf der Anleitungsseite beschriebenen Bereich Compute Unit zur Wahl zwischen CPU und GPU nicht finden. Ich habe den Entwickler um Hinweise gebeten und werde den Beitrag entsprechend aktualisieren. Besonders interessiert mich, wie stark die Farbauflösung bei maximaler Voxelauflösung zunimmt.
https://sketchfab.com/models/2e10777289b44ad2b3bd935df5ff6408
Werfen wir zunächst einen kurzen Blick auf die Farben. Aus der Entfernung sind alle einigermaßen in Ordnung, beim Heranzoomen aber unscharf. Da RecFusion Vertex-Farben verwendet, könnte eine höhere Volumenauflösung etwas bessere Texturen liefern. Wie groß der Unterschied wäre, kann ich nicht sagen. Für die Tiefenauflösung 640 × 480 wäre eine höhere Einstellung ohnehin übertrieben und würde nur unnötig viele Polygone erzeugen.
Drücken Sie die Taste 3, um die Einbettung ohne Texturen im MatCap-Modus zu betrachten. Der SR300 hat die Büste aus irgendeinem Grund etwas rundlicher gemacht. Insgesamt ist die Geometrie aber sehr sauber. Die Löcher entstehen, wie erwähnt, durch die Aufnahme aus nur einem Stativwinkel.
Das niedrig aufgelöste D415-Ergebnis deutet auf kreisförmige strukturierte Lichtmuster oder Ähnliches hin, denn die Oberfläche zeigt kreisförmige Verformungen. Außerdem sind wenig Details ausgeprägt, möglicherweise durch geglättetes Rauschen. Das bewegte Rauschen wurde auf der eigentlichen Oberfläche geglättet, weil die Software Bilddaten über die Zeit zusammenführt. Auf der Oberseite des Modells bleibt es aber sichtbar. Die hochauflösende Version bietet etwas mehr Details, etwa an den Augen. Mit höherer Volumenauflösung wären vielleicht weitere möglich gewesen. Wegen des starken Rauschens bezweifle ich jedoch einen großen Unterschied.
Die Astra-S-Ergebnisse haben einige Fehler, sind insgesamt aber glatt. Schon das niedrig aufgelöste Modell zeigt mehr ausgeprägte Details als der SR300 bei derselben Tiefenauflösung von 640 × 480. Die hochauflösende Version ist etwas definierter, enthält aber auch etwas mehr Oberflächenrauschen. Mit drei Bildern pro Sekunde war dies außerdem die langsamste Aufnahme aller Tests.
Als Nächstes folgt ein lebensgroßer Schaumstoffkopf. Ich habe ihn gewählt, weil er wenige Details und eine sehr glatte Oberfläche hat. Das erschwert das Tracking, besonders am Hinterkopf, und macht Rauschen leicht sichtbar. Für diesen Vergleich habe ich mit allen drei Sensoren bei 640 × 480 gescannt. Auf Farbe habe ich vollständig verzichtet, da der Kopf ohnehin weiß ist.
https://sketchfab.com/models/a42b4da4bd4344058fd6f9c5398e0362
Hier wird sehr deutlich, wie das Rauschen des D415 sowohl das Tracking als auch die Erfassungsqualität beeinträchtigt. Die weiße Oberfläche verstärkt es vermutlich noch. Das Ergebnis ist furchtbar! Das Gesicht unterscheidet sich völlig vom Original. Am Hinterkopf sehen Sie zudem, dass die kleine Vertiefung im Schädel nicht erfasst wurde, mit der die anderen beiden Sensoren keine Probleme hatten.
Die beiden Nahbereichssensoren liefern sehr ähnliche Details. Der Astra-S-Scan ist jedoch glatter und weist weniger Verformungen auf.
Zum Abschluss ein 30 cm hohes altes Gefäß, mit allen drei Sensoren gescannt:
https://sketchfab.com/models/0d6662b7694d4192a4a740ff077744e9
Farbton, Sättigung und Helligkeit lassen sich in RecFusion übrigens sowohl bei der Aufnahme als auch danach einfach einstellen. Ich habe hier nur nicht darauf geachtet. Die Verformungen im Astra-S-Scan entstehen wahrscheinlich dadurch, dass Projektor und Sensor weiter auseinanderliegen als bei RealSense. Bei kleineren Objekten wird das problematisch, besonders aus einem festen Blickwinkel.
Ein Objekt dieser Größe liegt zwar gerade noch im angenehmen Arbeitsbereich solcher Sensoren. Dennoch ist klar, dass der D415 am stärksten rauscht. Die Oberflächen von SR300 und Astra S ähneln sich, wobei Letzterer insgesamt etwas glatter ist.
Fazit
Zunächst noch einmal: Wegen RecFusions Vertex-Farben kann ich die Qualität der nativen RGB-Kameras für die Texturaufnahme in diesem Test nicht beurteilen. Grundsätzlich sollten beide RealSense-Sensoren mit ihren Full-HD-RGB-Kameras mit etwa zwei Megapixeln bessere Texturen liefern. Der Orbbec Astra S kann sie dagegen nur in VGA mit ungefähr 0,3 Megapixeln aufnehmen, zumindest bei einer für 3D-Scans brauchbaren Bildrate. Doch selbst eine Full-HD-Kamera reicht nicht für hochwertige Assets zur Spiele- oder VR/AR-Entwicklung beziehungsweise für mobile 3D-Echtzeitanwendungen. Deshalb hat HP beim Sprout G2 (Test) und bei der Z Camera, deren Test bald folgt, eine externe RGB-Kamera mit 14,2 Megapixeln zum Astra-S-Sensoraufbau hinzugefügt. Dazu kommt Software für asynchrone UV-Texturzuordnung.
Benötigen Sie individuelle Beratung?
Möchten Sie wissen, welcher Tiefensensor am besten zu Ihrem Einsatzzweck passt — oder ob diese Technik dafür überhaupt geeignet ist?
Ich berate Einzelpersonen und Start-ups ebenso wie große Fortune-50-Unternehmen. Schreiben Sie mir gern eine E-Mail zu Ihren Herausforderungen beim 3D-Scannen.
Vielleicht spielt Farbe für Sie aber überhaupt keine Rolle. Dann ist klar: Intels neue D400-Tiefensensoren, zumindest der D415, stellen beim 3D-Scannen keinen Fortschritt gegenüber dem Nahbereichssensor SR300 der vorherigen Generation dar. Ich vermute stark, dass sich der D435 ähnlich verhält. Ob sich das per Software beheben lässt, weiß ich nicht. Das starke Rauschen meines D415 macht ihn derzeit sowohl hinsichtlich Tracking als auch geometrischer Erfassung für 3D-Scans unbrauchbar.
Hinweis zu den D400-Ergebnissen
Nach Veröffentlichung dieses Beitrags hat der CTO von Intel RealSense in einem Kommentar Tipps gegeben , wie sich Rauschen und Scan-Ergebnisse der D400-Serie verbessern lassen. Ich werde das untersuchen und den Beitrag aktualisieren, falls die Ergebnisse tatsächlich besser werden.
Das gilt natürlich für die kleinen Gegenstände, die ich hier teste. Der D415 kann bis zu bemerkenswerten zehn Metern scannen, was ich bald ausprobieren werde. Bei größerem Abstand sowie größeren Objekten oder Innenräumen könnte das Rauschen eher akzeptabel sein.
Für Gegenstände würde ich einen SR300 empfehlen, wenn Ihnen die Farberfassung wichtig ist, oder einen Astra S, wenn glatte geometrische Oberflächen Vorrang haben. Alternativ könnten Sie auf die HP Z Camera warten. Sie bietet eine zusätzliche hochauflösende RGB-Kamera und Software für hochwertige UV-Texturzuordnung. Ob diese Kombination überzeugt, erfahren Sie allerdings erst in meinem Test. Außerdem müssen Sie etwas mehr sparen, denn laut HP beginnen die Preise bei 599 US-Dollar.
Als Nächstes folgt mein vollständiger Test von RecFusion und seinen Bearbeitungsfunktionen. Folgen Sie mir auf LinkedIn, Facebook oder Instagram , um als Erste zu erfahren, wann der Beitrag erscheint!
