KI-Projekt planen: Warum der Pilot der einfachste Teil ist

KI ist mittlerweile im Mittelstand angekommen. Laut Bitkom setzen inzwischen 57 % der Unternehmen ab 20 Beschäftigten KI ein, vor zwei Jahren waren es 20 % (Bitkom, 14. September 2026). In derselben Befragung sagt allerdings kein einziges Unternehmen, es schöpfe das Potenzial voll aus. 

Internationale Zahlen zeigen, wo es hakt. Das MIT hat 2025 festgestellt, dass nur rund 5 % der auf die Unternehmensbedürfnisse angepassten KI-Lösungen in Unternehmen überhaupt in den Produktivbetrieb kommen (MIT NANDA, The GenAI Divide 2025). S&P Global hat im selben Jahr über 1.000 Unternehmen in Nordamerika und Europa befragt. 42 % hatten die meisten ihrer KI-Initiativen abgebrochen, im Vorjahr waren es 17 %. Im Schnitt landete fast jeder zweite Proof of Concept im Papierkorb, bevor er produktiv ging (CIO Dive).

In unseren eigenen Projekten sehen wir dasselbe Muster. Ein Pilot funktioniert, die ersten Ergebnisse sehen gut aus, alle sind begeistert. Dann passiert monatelang nichts. Es fehlt ein Owner, die Datenbasis trägt im Alltag nicht, oder Prozesse und Systeme sind auf den Rollout nicht vorbereitet, Schnittstellen fehlen oder sind nicht ohne Anpassungen nutzbar.

Die RAND Corporation hat für eine Studie 65 erfahrene Data Scientists und Engineers befragt. Die häufigste Ursache für gescheiterte KI-Projekte war ein Missverständnis darüber, welches Problem das Projekt überhaupt lösen soll (RAND, 2024). Das ist ein Führungsthema und ein Planungsthema. Mit der Wahl des KI-Modells bzw. der Tatsache das die KI eine Bestimmte Aufgabe übernemen kann, hat es wenig zu tun.

Die Lizenzen bzw. Token-Kosten sind meist der kleinste Posten. Bitkom hat KI-Anwender gefragt, wo bei ihnen die großen Kosten entstehen. Vorne liegen Infrastruktur wie Cloud und Rechenleistung (51 %), die Aufbereitung von Daten (50 %) und die Integration in bestehende Systeme (41 %). Lizenzen und Abos nennen nur 21 %, den Verbrauch von Tokens sogar nur 8 % (Bitkom, September 2026). 

_{Quelle: Bitkom, Pressemitteilung vom 14. September 2026, Befragung von 603 Unternehmen ab 20 Beschäftigten, Mehrfachnennungen möglich.}

Mehr als die Hälfte der Anwender (54 %) sagt, dass sich die Kosten schwer kalkulieren lassen. Schwer zu kalkulieren ist vor allem die Integration in bestehende Systeme, den Tokenbedarf einer Aufgabe kann man dagegen recht gut abschätzen. Dabei treten oft IT-Altlasten zutage, oder es zeigen sich Versäumnisse der letzten Jahre im Datenmanagement. [Link auf „IT-Altlasten“ setzen: /digitalisierung/it-beratung. Den Platzhalter „Link zu Artikel sie brauchen eine Datenstrategie“ aus dem Text löschen, oder auf den Artikel verlinken, falls es ihn gibt.]

Der Amazon-Fall zeigt die Ausnahme von dieser Regel. Ein einzelner Token ist billig, aber ein falsch konfigurierter Agent kann davon sehr große Mengen verbrauchen, ohne dass es auffällt. Für ein KI-Projekt im Mittelstand folgt daraus etwas sehr Praktisches. Man legt eine harte Budgetobergrenze fest, überwacht die laufenden Kosten gezielt und richtet einen Alarm für Grenzüberschreitungen ein. Dann steht im Zweifel die KI-gestützte Arbeit still, aber es fließt kein Geld über das Budget hinaus.

Preise und Leistungsfähigkeit von KI-Modellen verschieben sich gerade schnell. Im Juli hat Moonshot AI mit Kimi K3 ein Open-Weight-Modell veröffentlicht, das in Benchmarks nah an die Frontier-Modelle herankommt (Tom’s Hardware). Wer seine Lösung fest an ein Modell bindet, kann von solchen Sprüngen nicht profitieren. Warum wir eine modelloffene Architektur empfehlen, haben wir in KI-Zugangsrisiko: Warum Unternehmen nicht auf ein Modell setzen sollten beschrieben.

In der Planung heißt das: ein Budget pro Anwendungsfall, Kosten pro Vorgang als feste Kennzahl und in den ersten Wochen ein täglicher Blick auf das Monitoring und die aufgelaufenen Kosten. Klingt banal. Bei Amazon hätte es ein paar Monate und einige Hunderttausend Dollar gespart.

Viele Piloten laufen in einer geschützten Umgebung mit ausgesuchten Daten und motivierten Testern. Dort funktionieren sie, und genau deshalb sagen sie wenig über den späteren Einsatz in einer Produktivumgebung aus. Ein gutes KI-Pilotprojekt läuft mit echten Daten, echten Nutzern und im echten Prozess, nur eben in kleinem Umfang oder im Parallelbetrieb.

Vor dem Pilot klären wir mit Kunden typischerweise drei Fragen. Liegen die Daten in der Qualität vor, die der Regelbetrieb braucht, und nicht nur in einer bereinigten Testkopie? Wo hängen Prozesse des Pilot später an zentralen Systemen wie ERP, CRM oder Dokumentenmanagement? Und wer darf das System nutzen, mit welchen Daten?

Die letzte Frage wird oft unterschätzt. Microsoft hat schon 2024 ermittelt, dass 78 % der KI-Nutzer eigene, nicht freigegebene Werkzeuge mit zur Arbeit bringen (Microsoft Work Trend Index 2024). Wer im Pilot und später im Wirkbetrieb keine freigegebenen Werkzeuge anbietet, bekommt Schatten-KI, und dann landen Kalkulationen oder Kundendaten in Systemen, die niemand kontrolliert. Für KI-Anwender ist der Datenschutz laut Bitkom inzwischen das größte Hemmnis (66 %).

Auch der EU AI Act gehört in die Pilotplanung. Die Pflicht, Beschäftigte im Umgang mit KI zu schulen, gilt seit Februar 2025, weitere Transparenzpflichten seit dem 2. August 2026. Die Pflichten für Hochrisiko-Systeme, etwa bei der Vorauswahl von Bewerbern, wurden mit im EU-Gesetzgebungsverfahren auf den 2. Dezember 2027 verschoben (Übersicht Digital Omnibus). Ob ein Anwendungsfall ggf. in eine dieser Kategorie fällt, sollte man vor dem Pilot prüfen und nicht danach.

• Such dir einen Vorgang im Kerngeschäft aus, der heute messbar Zeit oder Geld kostet, und halte diese Ausgangswerte fest.

• Benenne einen Owner aus dem Fachbereich mit Ziel, Budget und schriftlich festgelegten Abbruchkriterien.

• Plane das Budget für Daten, Integration und Betrieb und setze für die Modellkosten eine Obergrenze mit Alarm.

• Lass den Pilot im echten Prozess laufen, mit freigegebenen Werkzeugen und geklärter AI-Act-Einstufung.

• Leg vor dem Start fest, wer das System nach dem Go-live betreiben soll und integriere diese Personen.

Für wen ist das relevant? Für Geschäftsführung und Bereichsleitungen im Mittelstand, die ein KI-Projekt starten oder einen festgefahrenen Pilot in den Betrieb bringen wollen.

Wenn du wissen willst, ob dein nächstes KI-Projekt sauber geplant ist oder warum ein Pilot gerade feststeckt, schauen wir gern gemeinsam drauf. Im KI-Readiness Workshop klären wir Anwendungsfälle, Owner und Datenlage. Wer erst einmal einen Überblick über den eigenen Stand braucht, startet mit dem Future Ready Audit. Unverbindlich und ohne Pitch.