Wie McKinseys KI-Chatbot gehackt wurde – nicht wegen schlechtem Code, sondern wegen der Unternehmenskultur

So wurde McKinseys KI-Chatbot gehackt... von einer anderen KI.

Die Sicherheitslücke entstand nicht durch schlechten Code, sondern durch etwas weitaus Gefährlicheres: eine Unternehmenskultur, die nicht zum Aufbau und Betrieb digitaler Produkte passt.

Was wirklich passiert ist – laut Insiderquellen auf HackerNews:

Lilli (McKinseys KI-Chatbot) war ursprünglich ein rein internes Tool mit ordentlichem VPN-Zugang und entsprechenden Sicherheitsprotokollen. Dann wollte ein Senior Partner das Tool öffentlich machen – um bei seiner Performance Review besser dazustehen.

Das ursprüngliche Entwicklungsteam war längst auf Kundenprojekte abgezogen worden (weil McKinsey die Arbeit an internen Initiativen massiv bestraft). Lilli landete also bei denjenigen, die gerade nirgendwo anders eingesetzt werden konnten.

Das Ergebnis? Keinerlei Zugriffskontrollen. Ein öffentlich erreichbarer Endpunkt, der förmlich nach „Hack mich!" schrie.

Das ist nicht nur McKinseys Problem. Es ist symptomatisch dafür, wie Beratungsfirmen mit Technologie umgehen: wie ein sechsmonatiges Projekt, von dem man sich danach einfach abwendet.

Alle werden nach ihrem Beitrag bei Kundenprojekten bewertet – dadurch werden interne Projekte zum Karrierekiller. Man baut etwas, das gerade gut genug für den nächsten Review-Zyklus ist, und lässt es dann verrotten.

Ich habe erlebt, wie dieses Muster unzählige KI-Initiativen zerstört hat. Die Führungsebene fordert Innovation, Junior-Teams strampeln sich ab, um zu liefern – und dann ziehen alle weiter, bevor ordentliche Sicherheitsmaßnahmen, Wartung oder Governance implementiert werden.

Die Lösung liegt nicht in besseren Code Reviews oder Penetrationstests. Sie liegt darin, Technologie als das zu behandeln, was sie ist: ein langfristiges Asset – und nicht eine PowerPoint-Folie für die nächste Performance Review.

KI-Sicherheit im Unternehmen beginnt mit der Unternehmenskultur. Stimmen die Anreize nicht, helfen auch noch so viele technische Schutzmaßnahmen nicht weiter. Wer also keine gute Produktkultur hat, fährt mit einem kommerziellen Chatbot wie https://langdock.com vermutlich deutlich besser.

Quelle: https://codewall.ai/blog/how-we-hacked-mckinseys-ai-platform

Habt ihr ähnliche Muster erlebt, bei denen kurzfristige Performance-Anreize langfristiges Denken im Unternehmen torpediert haben? Was waren die Konsequenzen?