Automatisierte Datenerfassung für einen PropTech-Pionier

Geschäftsherausforderung

Unser Kunde bietet Technologie- und Data Science-Lösungen für Immobilieninvestoren und führende Finanzinstitute weltweit. Da sich das Unternehmen auf fortschrittliche Datenanalyse und Asset Intelligence spezialisiert hat, beruht sein Geschäftsmodell maßgeblich auf der digitalen Datenerfassung.

Die Plattform unseres Kunden erfasst riesige Datensätze, konsolidiert alle verfügbaren Informationen und verwandelt unstrukturierte Daten in Geschäftseinblicke. Um dies zu erreichen, musste das Unternehmen unseres Kunden sich traditionelle Methoden der Datenerfassung neu vorstellen und die Verarbeitung großer Datensätze verbessern. Zu diesem Zweck beschlossen sie, die Kapazität ihres Data Science-Teams mit dedizierten Datenerfassungsspezialisten zu erweitern.

Gelieferte Lösung

Das Intellias-Team begann mit der Analyse der aktuellen Datenerfassungsstrategie unseres Kunden, um Best Practices und Engpässe aufzudecken. Basierend auf den Ergebnissen haben wir ein Framework als vorläufige Lösung für das Erfassen, Sammeln und Speichern von Daten in einem Data Lake entwickelt. Dieses Framework funktioniert für Webseiten und APIs.

Die Datenerfassungssoftware umfasst zwei Arten von Scraping-Algorithmen: grundlegend und emuliert. Basierend auf der Chromedp-Technologie imitiert der emulierte Scraping-Algorithmus die Aktivität eines echten Nutzers, um relevante und valide Daten zu erhalten. Als Nächstes finden CSS-Selektoren die benötigten Daten und rufen sie von Webseiten ab.

Danach löst das Datenerfassungssystem einen Validierungsalgorithmus aus, um ungeeignete Daten zu filtern. Dieser Algorithmus enthält eine Ebene, die durch NLP-Technologie angetrieben wird, um die schwierigsten Fälle zu verarbeiten.

Die Datennormalisierung erfolgt über Google Maps und Standortdienste-APIs.

Schließlich speichert das System die Daten, aggregiert sie und formt sie in ein gut verbrauchbares Format für weitere Analysen.

Unternehmensergebnisse

Als Ergebnis der Partnerschaft mit Intellias hat unser Kunde seine Datenanalyse und Asset Intelligence verbessert, die ein wertvoller Teil seiner Immobilienlösungen sind. Die automatisierten Tools und Techniken zur Datenerfassung, die Intellias entwickelt hat, helfen unseren Kunden ihre Datenerfassungsprozesse zu optimieren. Sie können nun eine größere Datenmenge und aus einer größeren Anzahl von Quellen erfassen, ohne dass dafür mehr Ressourcen benötigt werden.

Mit der automatisierten Datenerfassung kann unser Kunde auf einfache Weise Erkenntnisse gewinnen, indem er unstrukturierte Daten in aussagekräftige Datenpunkte umwandelt, die ein großes Potenzial zur Erschließung neuer Geschäftsmöglichkeiten haben.