De Caos à Clareza : Como a inteligência artificial transforma os catálogos de comércio eletrónico

Im E-Commerce sprechen Techniker häufig über große Infrastruktur-Probleme: Sucharchitektur, Echtzeit-Lagerverwaltung, Personalisierungsmaschinen. Doch unter der Oberfläche lauert ein tückischeres Problem, das fast jeden Onlinehändler plagt: die Normalisierung von Produktattributen. Ein chaotischer Produktkatalog mit inkonsistenten Werten für Größe, Farbe, Material oder technische Spezifikationen sabotiert alles, was danach kommt – Filter funktionieren unzuverlässig, Suchmaschinen verlieren an Präzision, manuelle Datenbereinigung frisst Ressourcen auf.

Als Full-Stack-Ingenieur bei Zoro beschäftigte ich mich täglich mit diesem Problem: Wie bringt man Ordnung in 3+ Millionen SKUs, von denen jede Dutzende von Attributen hat? Die Antwort lag nicht in einer Black-Box-KI, sondern in einem intelligenten Hybrid-System, das LLM-Denkvermögen mit klaren Geschäftsregeln und manuellen Kontrollmechanismen verbindet.

Das Problem im großen Maßstab

Oberflächlich betrachtet wirken Attribut-Inkonsistenzen harmlos. Betrachten Sie Größenangaben: “XL”, “Small”, “12cm”, “Large”, “M”, “S” – alles bedeutet das Gleiche, aber nichts ist standardisiert. Bei Farben sieht es ähnlich aus: “RAL 3020”, “Crimson”, “Red”, “Dark Red” – teilweise Farbstandards (RAL 3020 ist ein genormtes Rot), teilweise Fantasiebezeichnungen.

Multiplizieren Sie diese Unordnung über Millionen von Produkten, und die Auswirkungen werden dramatisch:

• Kunden sehen chaotische Filter und geben die Suche auf
• Suchmaschinen können Produkte nicht korrekt ranken
• Analysen zeigen falsche Trends
• Merchandising-Teams ersticken in manueller Datenbereinigung

Der strategische Ansatz: Hybrid-KI mit Regeln

Mein Ziel war kein mysteriöses KI-System, das schwarze Magie betreibt. Stattdessen wollte ich ein System, das:

• Erklärbar ist – man versteht, warum eine Entscheidung getroffen wurde
• Vorhersehbar läuft – keine überraschenden Ausfälle oder Anomalien
• Skalierbar funktioniert – über Millionen von Attributen hinweg
• Von Menschen steuerbar bleibt – Business-Teams können eingreifen

Das Ergebnis war eine Pipeline, die LLM-Intelligenz mit klaren Regeln und Geschäftskontrolle kombiniert. KI mit Leitplanken, nicht KI ohne Grenzen.

Warum Offline-Verarbeitung statt Echtzeit?

Die erste architektonische Entscheidung war grundlegend: Alle Attribut-Verarbeitung läuft in asynchronen Background-Jobs, nicht in Echtzeit. Das klingt nach einem Kompromiss, war aber eine strategische Entscheidung mit enormen Vorteilen:

Echtzeit-Pipelines hätten verursacht:

• Unvorhersehbare Latenz in Produktseiten
• Fragile Abhängigkeiten zwischen Systemen
• Kosteneruptionen bei Traffic-Spitzen
• Direkte Auswirkungen auf Customer-Experience

Offline-Jobs boten stattdessen:

• Hoher Durchsatz: massive Batches ohne Auswirkung auf Live-Systeme
• Robustheit: Verarbeitungsfehler beeinflussen niemals Kunden
• Kostenkontrolle: Berechnungen in Traffic-armen Zeiten durchführen
• Isolation: LLM-Latenz isoliert von User-facing Services
• Atomare Updates: konsistente Änderungen oder gar keine

Die Trennung von Customer-Systemen und Data-Processing ist essentiell, wenn man mit dieser Datenmenge arbeitet.

Die Verarbeitungs-Pipeline

Der Prozess lief in mehreren Phasen ab:

Phase 1: Daten-Bereinigung

Bevor überhaupt KI zum Einsatz kam, liefen die Daten durch einen Vor-Verarbeitungsschritt:

• Whitespace trimmen
• Leere Werte entfernen
• Duplikate deduplizieren
• Kategorie-Kontext in strukturierte Strings konvertieren

Dieser scheinbar banale Schritt verbesserte die LLM-Genauigkeit dramatisch. Das Prinzip: Müll rein, Müll raus. In diesem Maßstab führen selbst kleine Fehler später zu großen Problemen.

Phase 2: KI-Reasoning mit Kontext

Das LLM sortierte nicht einfach nach Alphabet. Es dachte über die Werte nach. Der Service erhielt:

• Bereinigte Attributwerte
• Kategorie-Breadcrumbs (z.B. “Elektrowerkzeuge > Bohrmaschinen”)
• Attribut-Metadaten

Mit diesem Kontext konnte das Modell verstehen:

• Dass “Spannung” bei Elektrowerkzeugen numerisch sortiert werden sollte
• Dass “Größe” in Mode einer bekannten Progression folgt (S, M, L, XL)
• Dass “Farbe” teilweise Normen wie RAL 3020 folgen könnte
• Dass “Material” semantische Beziehungen hat (Stahl > Edelstahl > Carbonstahl)

Das Modell gab zurück:

• Geordnete Attributwerte
• Verfeinerte Attributnamen
• Eine Klassifikation: Sollte dies deterministisch oder kontextuell sortiert werden?

Phase 3: Deterministische Fallbacks

Nicht jedes Attribut braucht KI. Viele Attribute sind besser mit klarer Logik zu handhaben:

• Numerische Bereiche (2cm, 5cm, 12cm, 20cm → sortiert aufsteigend)
• Einheiten-basierte Werte
• Kategorische Sammlungen

Die Pipeline erkannte diese automatisch und wendete deterministische Logik an. Das sparte Kosten und brachte garantierte Konsistenz.

Phase 4: Händler-Kontrolle

Geschäftskritische Attribute brauchten manuellen Überprüfungs-Checkpoint. Deshalb konnte jede Kategorie als gekennzeichnet werden:

• LLM_SORT: Das Modell entscheidet
• MANUAL_SORT: Händler definieren die Reihenfolge

Dieses duale System gab Menschen letzte Kontrolle. Wenn das LLM etwas Falsches machte, konnten Merchants es überschreiben – ohne die Pipeline zu stoppen.

Persistenz und Nachgelagerte Systeme

Alle Ergebnisse wurden direkt in MongoDB gespeichert – eine einzige Source of Truth für:

• Sortierte Attributwerte
• Verfeinerte Attributnamen
• Kategorie-Level Sort-Tags
• Produkt-Level sort-Order

Danach flossen die Daten in zwei Richtungen:

• Elasticsearch: Für Keyword-basierte Suche, wo saubere Attribute Filter-Menüs antreiben
• Vespa: Für semantische und vektorbasierte Suche, wo Konsistenz das Ranking verbessert

Filter erscheinen jetzt in logischer Reihenfolge. Produktseiten zeigen kohärente Spezifikationen. Suchmaschinen ranken Produkte präziser. Kunden navigieren durch Kategorien ohne Frustration.

Konkrete Ergebnisse

Die Pipeline transformierte chaotische Rohdaten in saubere, nutzbare Ausgaben:

Diese Transformation deckte sich über 3+ Millionen SKUs hinweg konsistent ab.

Was die Auswirkungen waren

Die Ergebnisse reichten weit über die Technik hinaus:

• Konsistente Attribut-Ordnung im gesamten Katalog
• Vorhersehbares Verhalten bei Zahlenwerten durch deterministische Fallbacks
• Geschäftliche Kontrolle durch manuelles Tagging-System
• Saubere Produktseiten mit intuitiven Filtern
• Verbesserte Suchrelevanz für Kunden
• Höheres Vertrauen und bessere Conversion-Raten

Nicht nur ein technischer Sieg – ein Geschäftssieg.

Zentrale Erkenntnisse

• Hybrid-Pipelines schlagen reine KI im großen Maßstab. Leitplanken sind nicht ein Hindernis – sie sind das Feature.
• Kontext ist alles: Ein LLM mit Kategorie-Info und Attribut-Metadaten ist 10x genauer als eines ohne.
• Offline-Verarbeitung ist essentiell: Bei dieser Datenmenge braucht man Batch-Effizienz und Fehlertoleranz, nicht Echtzeit-Latenz.
• Menschliche Übersteuerung baut Vertrauen auf: Teams akzeptieren KI, wenn sie sie kontrollieren können.
• Daten-Hygiene ist die Grundlage: Bereinigte Eingaben = zuverlässige Ausgaben. Immer.

Fazit

Attributwerte zu normalisieren klingt banal – bis man es für Millionen von Produkten in Echtzeit tun muss. Durch die Kombination von LLM-Intelligenz, klaren Regeln und menschlicher Kontrolle habe ich ein verstecktes, hartnäckiges Problem in ein skalierbares System umgewandelt.

Es ist eine Erinnerung: Einige der großen Siege im E-Commerce kommen nicht aus sexyvollen Technologien, sondern aus der Lösung der langweiligen Probleme – denjenigen, die jede Produktseite betreffen.