Übernahme, Modernisierung und Betrieb einer Immobilien-Metasuche, die Inserate aus Dutzenden Quellen sammelt, per LLM strukturiert und nach Lebensstil bewertet.
Ausgangslage
Das Portal bündelt Miet- und Kaufinserate für Wohnungen und Häuser einer deutschen Großstadt. Die Inserate stammen von den Websites von Maklern, Wohnungsgenossenschaften, Wohnungsunternehmen und Portalen. Jede Nacht läuft eine Kette aus vier Schritten: Crawler speichern die Exposé-Seiten, ein Sprachmodell liest daraus rund 40 strukturierte Merkmale, ein Importschritt gleicht sie mit der Datenbank ab, und die Suche zeigt das Ergebnis als Liste und Karte. Jedes Inserat erhält zusätzlich Bewertungen für fünf Lebensstile, etwa Familie, Natur oder öffentlicher Nahverkehr, die auf Kennzahlen zur Umgebung der Adresse beruhen.
Die Plattform war zwischen 2022 und 2024 von einem anderen Team aufgebaut worden und lief danach weitgehend ohne Weiterentwicklung. In dieser Zeit hatten viele Quellen ihre Seiten umgebaut; Crawler lieferten nichts mehr, ohne dass es auffiel. Das Frontend lief auf einer veralteten Framework-Version, und ein Bezahlmodell mit Abonnement sollte wieder entfallen.
Meine Rolle
Seit 2026 betreue ich die Plattform technisch allein, über alle Teile hinweg: Frontend, API, Datenbank, Crawler, LLM-Extraktion und Betrieb. Die ursprüngliche Anwendung und ihre Gestaltung stammen vom früheren Team.
Umsetzung
- Nächtlicher Bericht statt stiller Ausfälle: Nach jedem Lauf geht eine E-Mail mit einer Tabelle aller Quellen heraus: gefundene Links, gespeicherte Seiten, Inserate nach der Extraktion und Fehler. Eine Quelle löst nur dann eine Warnung aus, wenn sie in mindestens drei der letzten sieben Nächte geliefert hat; Quellen, die selten inserieren, erzeugen so keinen Fehlalarm.
- Robuste Crawler: Der Playwright-Crawler hat ein Zeitbudget je Quelle, eine Seitenobergrenze und einen Watchdog für den gesamten Lauf; fällt eine Quelle aus, laufen die anderen weiter. Listen, die erst im Browser entstehen, liest ein generischer Leser, der allein über eine Konfigurationsdatei gesteuert wird. Für zehn umgezogene Quellen habe ich die Konfiguration neu geschrieben.
- Reparaturwerkzeug für umgebaute Quellen: Ein Kommandozeilenwerkzeug folgt den Links einer defekten Quelle, gruppiert sie nach ihrer URL-Form und fragt mit einem einzigen Aufruf ein Sprachmodell, welche Gruppe die Listen und welche die Exposés sind. Den Vorschlag prüft es ohne Sprachmodell mit einem Lauf des echten Crawlers; übernommen wird er von einem Menschen.
- LLM-Extraktion und Import: Hinzugekommen sind die Erkennung des Stadtteils, eine Auswertung je Quelle und ein Mechanismus, der die Kette auch nach einem Absturz des Schritts weiterlaufen lässt. Bekannte Inserate gehen nur erneut an das Sprachmodell, wenn die letzte Auswertung älter als 14 Tage ist. Inserate ohne genaue Adresse platziert der Import im Stadtteil, ohne dass sich ihre Marker auf der Karte überdecken.
- Frontend: Die Anwendung ist auf Nuxt 4 und Pinia 4 umgezogen. Das Bezahlmodell ist in Frontend und API entfernt, Besucher blättern ohne Konto durch alle Ergebnisse. Dazu kommen ein überarbeiteter Anmeldedialog und ein Kontaktformular.
- Betrieb: Jeder Teil hat ein Deploy-Skript, das das bisherige Container-Image für ein Rollback behält. Für die Datenbank gibt es eine lokale Umgebung, einen Schemaabgleich mit dem Live-System und ein Werkzeug, das auf die Live-Datenbank standardmäßig nur lesend zugreift.
Ergebnis
Die Kette läuft wieder jede Nacht durch, und der Bericht am Morgen zeigt, welche Quelle wie viele Inserate geliefert hat und wo etwas zu reparieren ist. Neue oder umgebaute Quellen lassen sich über Konfiguration anbinden, in vielen Fällen auf Grundlage eines geprüften Vorschlags. Das Frontend steht auf einer aktuellen Framework-Version.
Ein ähnliches Projekt geplant?
Im Gespräch klärt sich, ob und wie sich Ihr Vorhaben umsetzen lässt – mit einer ersten Einschätzung zu Umfang und Zeitrahmen.