KI-Shopping-Agenten taugen laut Studie noch nicht als objektiver Einkaufsberater

Forschende der Wharton School an der University of Pennsylvania haben untersucht, wie konsistent KI-Shopping-Agenten Produkte empfehlen, wenn sich der Suchprozess verändert. Schon minimale Kontextänderungen verschieben die Kaufentscheidung erheblich.

Das Team testete sechs aktuelle Modelle, sowohl in der Mini-Variante als auch auf Frontier-Niveau, mit der Aufgabe, als persönlicher Einkaufsassistent eine Fitnessuhr aus einem festen Produktraster auszuwählen. Dafür nutzten die Forschenden den ACES-Simulator (Agentic e-Commerce Simulator), der dem KI-Agenten einen Screenshot einer Produktseite zeigt. Der Agent analysiert das Bild, ruft gegebenenfalls Empfehlungsquellen ab und wählt dann ein Produkt.

So bekam der KI-Agent die Informationen gefüttert. | Bild: Allouah et al.

Eine einzige Quelle reicht, um die Empfehlung zu kippen

Bereits ohne externe Informationsquellen zeigten die Modelle unterschiedliche Basispräferenzen. Wurde dem Agenten vor der Produktseite jedoch eine einzige externe Quelle gezeigt, verschoben sich die Empfehlungen in der Studie teils dramatisch.

Die Forschenden testeten drei Quellen: einen Reddit-Thread, der die Garmin Forerunner 55 empfiehlt, eine Wirecutter-Rezension für die Fitbit Inspire 3 und einen Strategist-Artikel über die WHOOP 5.0. Wirecutter hatte den stärksten Einfluss: Die Wahrscheinlichkeit, die Fitbit Inspire 3 zu wählen, stieg bei Claude Opus 4.8 um 90 Prozentpunkte gegenüber der Kontrollbedingung, bei Gemini 3.5 Flash um 99 Prozentpunkte.

Eine einzige externe Quelle wie Wirecutter verschiebt die Produktwahl bei den meisten Modellen drastisch. Jedes Modell zeigt in der Kontrollbedingung eine andere Basispräferenz. | Bild: Allouah et al., Wharton School

In einem zweiten Experiment sahen die Agenten Kombinationen aus zwei oder drei Quellen. Doch mehrere Quellen balancierten die Empfehlungen nicht aus. Stattdessen dominierte Wirecutter, sobald es Teil der Kombination war. Mehr Quellen führten laut der Studie zu mehr Variabilität.

Kombinationen aus mehreren Quellen balancieren die Empfehlungen nicht aus. Wirecutter dominiert, sobald es Teil der Kombination ist. | Bild: Allouah et al., Wharton School

Selbst die Reihenfolge derselben Quellen verändert das Ergebnis

In einer dritten Studie erhielten die Agenten alle drei Quellen in unterschiedlicher Reihenfolge. Ein stabiler Entscheidungsprozess sollte bei identischem Inhalt zum selben Ergebnis führen. Das war nicht der Fall.

Gemini 3.1 Flash Lite reagierte am sensibelsten: Die Wahrscheinlichkeit, Fitbit Inspire 3 zu wählen, schwankte je nach Reihenfolge zwischen 2 und 56 Prozentpunkten über der Kontrollbedingung. Claude Haiku 4.5 blieb dagegen stabil bei 41 bis 42 Prozentpunkten. Die Forschenden folgern, dass die Präsentationsreihenfolge selbst ein Treiber der Produktwahl ist.

Kombinationen aus mehreren Quellen balancieren die Empfehlungen nicht aus. Wirecutter dominiert, sobald es Teil der Kombination ist; Reddit plus Strategist allein (R+S) hat kaum Effekt. | Bild: Allouah et al., Wharton School

Auch ob die Quellen nacheinander oder gebündelt an das KI-Modell übergeben werden, verändert das Ergebnis. GPT-5.5 wählte bei gebündelter Übermittlung in 53 Prozentpunkten mehr Fällen die Fitbit Inspire 3, bei aufgeteilter Übermittlung nur in sechs Prozentpunkten mehr.

Memory-Informationen überstimmen objektive Produktüberlegenheit

Die Forschenden modifizierten in einer vierten Untersuchung das Produktraster so, dass ein Produkt auf jeder messbaren Dimension überlegen war: eine Smart Watch mit Alexa für 29,99 Dollar, mit einer Bewertung von 5,0 von 5,0 und 430 Rezensionen. Alle anderen Produkte kosteten mindestens 359 Dollar und hatten weniger Bewertungen.

Dann fügten sie kurze Nutzeraussagen hinzu, etwa "I love hiking!". Die Auswahl der teureren Garmin Vivoactive 5 stieg bei Claude Opus 4.8 um 75 Prozentpunkte, obwohl die günstige Smart Watch objektiv überlegen war. GPT-5.5 verschob sich um 37 Prozentpunkte, Gemini 3.1 Flash Lite um 36.

Kurze User-Memory-Aussagen wie "I love hiking!" verschieben die Produktwahl bei den meisten Modellen weg vom objektiv besten Produkt hin zu teureren Alternativen. Nur Gemini 3.5 Flash bleibt weitgehend stabil. | Bild: Allouah et al., Wharton School

Nur Gemini 3.5 Flash blieb unbeirrt beim objektiv besten Produkt. GPT-5 Mini zeigte ein eigenartiges Muster: Die positive Wanderaussage hatte keinen Effekt, aber die negative ("I don't like hiking!") erhöhte signifikant die Wahl der Fitbit Versa 4. Also auch hier: Chaos.

Keine Konsistenz, keine Kontrolle

Für Käufer heißt das: Einen KI-Agenten im eigenen Namen einkaufen zu lassen, führt nicht zur optimalen Kaufentscheidung. Zwei Nutzer mit derselben Anfrage oder derselbe Nutzer an einem anderen Tag können unterschiedliche Produkte empfohlen bekommen, ohne dass ein sichtbarer Grund vorliegt. Ähnliches gilt zwar auch für menschliche Kaufentscheidungen, doch dürfte es kaum dem Verhalten entsprechen, das Nutzer von einem KI-Einkäufer erwarten. Wer zudem bei ChatGPT und Co. ein Memory eingerichtet hat, muss damit rechnen, dass es sich auf Kaufempfehlungen auswirkt.

Für Verkäufer bedeuten die Ergebnisse laut den Forschenden, dass die Optimierung für KI-Shopping schwieriger sein dürfte als traditionelle Suchmaschinenoptimierung. Verkäufer wissen weder, welches Modell einkauft, noch was es zuvor gelesen hat oder wie seine technische Infrastruktur Informationen verarbeitet.