Falsche Freunde

Companion-AI: Eine Technologie, die Millionen Menschen emotional an sich bindet, entsteht gerade ohne demokratische Spielregeln. Das können wir uns nicht leisten.

KI-Chatbots werden zunehmend zum besten Freund, Therapeuten oder romantischen Partner. Genau deshalb haben wir am Zentrum für Digitalrechte und Demokratie eine Studie zu Companion-AI veröffentlicht, für die Ramak Molavi Vasse'i die gesamte Forschungsliteratur durchforstet hat, um Lösungswege zu skizzieren.

Diese Technologie dringt gerade rasant in unser Leben vor – oft unbemerkt, fast immer kommerziell motiviert. Und wir haben als Gesellschaft noch kaum begonnen, darüber zu sprechen, was das mit uns macht.

Companion-AI simulieren Empathie, sind 24/7 verfügbar und erinnern sich an jedes Detail. Auch allgemeine Sprachmodelle wie ChatGPT, Claude, Gemini oder Grok werden zunehmend für persönliche, emotionale und beratende Gespräche genutzt. Was oft als hilfreiches Tool beginnt, kann schnell zu etwas anderem werden.

Unsere Studie zeigt drei zentrale Risikobereiche:

🧠 Psychische Gesundheit – emotionale Abhängigkeit, sozialer Rückzug, verstärkte Belastungen 

🔓 Datenschutz – intime Selbstoffenbarung ermöglicht besonders dichte Profilbildung 

🗳️ Entscheidungsautonomie – Einfluss darauf, welche Informationen wir bekommen und wie wir sie bewerten, mit Folgen für die demokratische Meinungsbildung

Besonders problematisch sind die Wirkmechanismen: simulierte Nähe, opportunistisches Gefälligkeitsverhalten, suchterzeugende Interaktionsmuster. Das Geschäftsmodell gefährdet nicht nur Kinder und Jugendliche.

Unsere Empfehlungen reichen von der konsequenten Durchsetzung bestehender Verbote manipulativer KI-Praktiken über die Einstufung als Hochrisiko-KI bis zu einem wirksamen Schutz sensibler Daten aus intimen Gesprächen. Eine repräsentative YouGov-Umfrage zeigt: Eine Mehrheit der Bevölkerung sieht die Risiken und wünscht sich klare Regeln.

Unser Anliegen mit dieser Veröffentlichung ist: Wir müssen jetzt darüber reden. Companion-AI ist keine Zukunftsfrage mehr, sondern Gegenwart. Wir brauchen schnell demokratische Regeln, bevor sich Geschäftsmodelle verfestigen, die emotionale Bindung systematisch kommerzialisieren.

💚 Wer unsere unabhängige Arbeit unterstützen möchte: Das Zentrum für Digitalrechte und Demokratie finanziert sich über Spenden. Deine Spende ermöglicht uns, dass wir solche Studien weiterhin unabhängig und im öffentlichen Interesse veröffentlichen können, um gesellschaftliche Debatten anzustossen.