3D-Punktwolken-Klassifizierung und Objektbeschriftung

Geschäftsherausforderung

Unser Kunde ist ein Berater und Anbieter von Technologien der künstlichen Intelligenz (KI) für wettbewerbsfähige und maßgeschneiderte Lösungen in den Bereichen Datenwissenschaft und maschinelles Lernen. Bei der Bereitstellung von GeoAI-Diensten (GeoAI = geospatial artificial intelligence) musste der Kunde eine intelligente Software zur Verarbeitung von Punktwolken entwickeln, um große Datensätze in einer 3D-Punktwolke zu verwalten und zu klassifizieren. Der schwierigste Teil dieses Projekts (bei dem unser Kunde Unterstützung suchte) war die Klassifizierung und Kennzeichnung von fast 150 Millionen 3D-Punkten zur Unterscheidung zwischen verschiedenen Objekttypen: Autos, Straßen, Bäume, etc. Die Beschriftung dieser Objekte würde es den Benutzern ermöglichen, das gesamte Bild eines gescannten Bereichs zu sehen. Schließlich sollten die Benutzer in der Lage sein, klassifizierte Objekte in einem Webbrowser zu rendern, anzuzeigen und auszuwählen.

Ursprünglich arbeitete Intellias mit diesem Kunden an Projekten zum maschinellen Lernen. Unsere Erfahrung in Big Data Analytics qualifizierte uns, die neue 3D-Punktwolkenverarbeitungssoftware des Kunden von Grund auf neu zu entwickeln.

Gelieferte 3D-Punktwolkenlösung

Wir begannen mit der Entwicklung eines MVP für die Software zur Verarbeitung von Punktwolken und setzten die Entwicklung über den gesamten Zyklus fort, mit kontinuierlicher Bereitstellung kundenspezifischer Funktionen für Endkunden. Im Rahmen dieses 3D-Punktwolkenprojekts übernahmen wir auch die Verantwortung für die Gestaltung einer einzigartigen Benutzererfahrung (UX). Unsere Spezialisten waren an allen Phasen der Implementierung der Software zur Verarbeitung von 3D-Punktwolken beteiligt. Vom Entwurf der Architektur und der Auswahl der Kernkomponenten über die Erstellung von UI/UX-Prototypen, die Entwicklung der kundenseitigen Funktionalität, die Tests, die Bereitstellung der Cloud-Infrastruktur und schließlich die Markteinführung des Produkts.

Das von uns entwickelte Produkt zur Verarbeitung von Punktwolken verarbeitet und klassifiziert 3D-Punktwolken-Eingabedaten, die von Lidar-Sensoren, die auf Fahrzeugen installiert sind, Luftbildern von Hubschraubern und Drohnen sowie tragbaren Stationen, die in einem gescannten Gebiet aufgestellt sind, gesammelt wurden. Nachdem die Daten gesammelt wurden, werden sie für die weitere Verarbeitung von Lidar-Punktwolken zu großen Datensätzen zusammengefasst. Unser Kunde erhält von seinen Kunden 3D-Punktwolken zur Verarbeitung, Segmentierung und Klassifizierung. In Zukunft plant er, all diese Daten in Web Maps unter Anwendung von benutzerdefinierten Kartierungsdiensten darzustellen.

Die Software unseres Kunden zur Verarbeitung von Punktwolken kann Objekte in zuvor ausgewählten Segmenten erkennen und sie anhand von Kriterien wie Form und Lage und ob sie mobil oder statisch sind, klassifizieren. Auf diese Weise kann die 3D-Punktwolken-Software unseres Kunden Objekte wie Straßenschilder, Bäume, Straßen, Fahrzeuge, Gebäude, Brücken und Ampeln klassifizieren. Diese 3D-Punktwolkentechnologie kann mit Milliarden von Datenpunkten umgehen, sie als Objekte der realen Welt klassifizieren und ihnen Merkmale wie Farbe, geografische Koordinaten, Winkel und Geschwindigkeit zuweisen. Nachdem die Objekte beschriftet sind, können die Benutzer ein 3D-Modell einer ganzen Stadt oder einer beliebigen Landschaft, die digital dargestellt werden soll, erstellen und anzeigen und es direkt in einem Webbrowser rendern. Nach erfolgreicher Klassifizierung der Wolkenpunkte können diese 3D-Modelle für eine intelligente Stadtplanung, Konstruktion, Architektur und Infrastrukturentwicklung verwendet werden.

Wie Punktwolkenverarbeitung in der Praxis funktioniert

Hochladen und Segmentieren der Punktwolke

Zunächst laden Kunden Dateien mit Datenpunkten in den Punktwolken-Verarbeitungsdienst hoch, wo eine KI-Engine automatisch Segmente verschiedener Objekte erzeugt. In diesem Stadium kann das System Objekte nicht nach Kategorien sortieren, aber es bereitet große Segmente für die weitere Beschriftung und Annotation vor.

Klassifizierung und Kennzeichnung

Eine segmentierte 3D-Punktwolke dient als Eingabe für die manuelle Beschriftung und Etikettierung. Das manuelle Markieren großer Datensätze, die fast eine Milliarde Punkte umfassen, könnte ewig dauern. Die Datenpunkte werden also mit bestimmten Objekt-Determinatoren beschriftet. Benutzer können auf ein Objekt (z. B. einen Baum) klicken und der Klassifizierer wird automatisch alle in der Nähe befindlichen Bäume grün markieren. Derselbe Algorithmus funktioniert auch für andere Objekte: Gelände, Straßen, Infrastruktur, Autos. Klicken Sie auf ein Objekt und der Klassifizierer markiert alle nahegelegenen Objekte mit Determinanten, die denen des gewählten Objekts ähnlich sind. Auf diese Weise gruppiert der Klassifizierer ähnliche Punkte in Objektkategorien, um Objekte voneinander zu unterscheiden.

Rendern, Anzeigen und Exportieren

Nachdem alle Objekte in der 3D-Punktwolke erkannt sind und das gesamte 3D-Geländemodell für den Benutzer zur Ansicht zur Verfügung steht, bietet das System die Möglichkeit, ein bestimmtes Objekt (z. B. eine Straße) getrennt von anderen Objekten zu betrachten. Dies hilft Gemeinden oder Baufirmen bei der Planung und Optimierung der Straßeninfrastruktur, ohne durch andere Objekte im Geländemodell abgelenkt zu werden. Jede Ansicht kann direkt in einem Webbrowser gerendert werden. Kunden können diese Modelle exportieren und mit Software von Drittanbietern für Stadtplanung, Bauwesen und Landschaftsgestaltung verwenden.

Hauptmerkmale der Punktwolke-Verarbeitungssoftware

• Vereinfacht die Klassifizierung von Objekten und die Erstellung von 3D-Modellen mit visuellen Bearbeitungswerkzeugen
• Garantiert nahezu millimetergenaue Klassifikation und Objekterkennung von 3D-Punktwolken
• Erhöht die Rechenleistung der Klassifizierer dank des Microsoft Azure-Technologiestacks
• Schnelle Verarbeitung großer Datensätze dank einer elastischen und skalierbaren Architektur
• Bietet eine benutzerfreundliche Schnittstelle mit anpassbaren Ansichten von GIS-Analysen und Geodaten

Ergebnisse

Während des gesamten Projekts hat sich die 3D-Punktwolkentechnologie unseres Kunden zu einer Komplettlösung entwickelt, die sich auf umfassende maschinelle Lernalgorithmen zur automatischen Klassifizierung von 3D-Punktwolkendaten stützt. Seine Rechenleistung ermöglicht es Endkunden, große Datensätze, die aus 150 Millionen Punkten bestehen und bis zu 5 Gigabyte wiegen, mit bemerkenswerter Geschwindigkeit zu verarbeiten, so dass Benutzer 3D-Modelle in einem Browser rendern und Klassen in Sekundenschnelle auswählen können.

Das Punktwolkenverarbeitungsprodukt unseres Kunden hat nach seiner Präsentation auf mehreren technischen Konferenzen positives Feedback erhalten. Seine UX wurde als die benutzerfreundlichste unter den Konkurrenten auf dem Gebiet der 3D-Wolkenpunkt-Klassifizierung anerkannt.

Derzeit bietet unser Kunde 3D-Punktwolkenverarbeitungsdienste an, die es Endkunden ermöglichen, benutzerdefinierte und spezifische Punktwolken hochzuladen, um 3D-Punktwolkendaten in einer Vielzahl von Anwendungsfällen in der Industrie anzuwenden.

Anwendungsfall 1: Landschaftsgestaltung und Stadtplanung

Der Kunde muss möglicherweise eine große Landschaft für eine Parkzone mit Radwegen an Hängen und Grünflächen umgestalten. Dazu müssen sie möglicherweise die Landschaft in verschiedenen Bereichen anheben, nivellieren und absenken, um das Gelände an die erforderlichen Winkel anzupassen. Der Legacy-Ansatz würde vorschlagen, Erde für Täler auszuheben, sie zu transportieren und dann nach mehr Erde zu suchen, um Hügel aufzuschichten. Mit einer Software zur Verarbeitung von 3D-Punktwolken kann der Kunde im Voraus ein präzises 3D-Geländemodell erhalten. Mit diesem digitalen Modell können sie planen, die genaue Menge an Boden für Täler auszuheben, die für andere Zwecke, wie zum Beispiel das Aufhäufen von Hügeln, verwendet werden. Dieser Ansatz spart Zeit und Geld beim Transport von Erde von anderen Orten.

Anwendungsfall 2: Straßenbau und Überwachung

Möglicherweise muss der Kunde einen Straßenabschnitt und Kreuzungen neu bauen. Vielleicht haben sie einen Anbieter gefunden, der ihnen eine Spezifikation mit der Gesamtmenge der benötigten Baumaterialien angeboten hat. Nach der Hälfte des Bauprojekts könnte der Verkäufer jedoch vorschlagen, weitere Materialien hinzuzufügen. Die verwendeten Materialien können schwer zu überwachen sein, was zu einem Kostenaufwand führt. Die Verwendung eines 3D-Punktwolkenmodells würde dem Kunden helfen, die erforderliche Anzahl von Gehwegplatten und anderen Materialien genau zu berechnen, um ein genaues Budget und einen genauen Zeitplan zu planen.

Anwendungsfall 3: Aktualisierung von Verkehrszeichen

Nach der Straßenrekonstruktion und dem Aufstellen neuer Straßenschilder muss der Kunde aus Anwendungsfall 2 möglicherweise Schilder und neue Verkehrsknotenpunkte auf öffentlichen Karten aktualisieren. Dies könnte Monate dauern, um Bilder und Scans des neu gebauten Gebiets zu sammeln. Stattdessen konnte der Kunde durch die Anwendung der Lidar-Punktwolkenverarbeitung während der Konstruktion bereits ein 3D-Modell mit allen erkannten Objekten haben, um neue Schilder auf jeder öffentlichen Karte exakt zu platzieren.