KI-Dokumentation im Mittelstand: die drei Unterlagen

Wer fragt, bekommt eine Antwort

Fast jedes Unternehmen kann sagen, dass es KI nutzt. Deutlich weniger können zeigen, welche Tools das sind, wofür sie eingesetzt werden und wer dafür zuständig ist.

Seit dem Sommer gibt es eine Stelle, die solche Fragen stellen kann. Mit dem KI-Marktüberwachungs- und Innovationsförderungsgesetz (KI-MIG), in Kraft seit dem 29. Juli 2026, ist die Bundesnetzagentur in Deutschland grundsätzlich die Marktüberwachungsbehörde für die KI-Verordnung. Für einzelne Bereiche bleiben Fachbehörden zuständig.

Wir nehmen das zum Anlass, die eigenen Unterlagen zu ordnen. Dieselben Fragen stellen ohnehin auch Geschäftsführung, Datenschutz, Betriebsrat oder ein Großkunde.

Wie Sie überhaupt erst den Überblick über Ihre KI-Tools gewinnen, zeigt unser Praxis-Check zum KI-Inventar. Dieser Beitrag setzt danach an: bei drei Unterlagen, die Sie vorlegen können, ohne sie erst erstellen zu müssen. Und bei der Frage, wer sie aktuell hält.

Vor jeder Zeile eine Frage

Bevor ein Tool ins Verzeichnis kommt, stellen wir eine Frage:

Nutzen wir dieses Tool so, wie der Hersteller es anbietet: unter seinem Namen, ohne Umbau und für den vorgesehenen Zweck?

Ja: Das halten wir so fest. Nein: Wir notieren, was abweicht, und lassen den Einsatz juristisch prüfen, bevor das Tool weiter ausgebaut wird. Dasselbe gilt für selbst entwickelte oder in Auftrag gegebene Systeme.

Der AI Act unterscheidet hier zwischen „Betreibern“ und „Anbietern“ (Definitionen in Art. 3 der KI-Verordnung). Welche Rolle Sie bei welchem Tool haben, ist eine juristische Frage. Die Einstiegsfrage sorgt nur dafür, dass die Abweichungen auf dem Tisch liegen, bevor jemand sie bewertet.

Ein typischer Fall für ein Nein: Ein allgemeiner Schreibassistent sortiert in der Personalabteilung plötzlich Bewerbungen vor. Dafür braucht es keine Entscheidung der Geschäftsführung. Es reicht eine Fachabteilung, die ein Problem pragmatisch löst.

Unterlage 1: Das KI-Verzeichnis

Ein KI-Verzeichnis ist für uns das Fundament jeder weiteren Arbeit. Ohne Liste lässt sich weder zeigen, wer geschult ist, noch wo Kunden mit KI in Kontakt kommen.

Wer das KI-Inventar schon aufgebaut hat, erweitert es auf acht Spalten. Jede Zeile beschreibt genau ein System in einem konkreten Einsatz. Nutzt das Marketing ein Tool anders als der Vertrieb, sind das zwei Zeilen.

Spalte	Was hineingehört
System und Hersteller	Produkt, Hersteller, Tarif. Auch KI-Funktionen in bestehender Software, etwa im CRM.
Zweck	Ein Satz: was das System bei Ihnen tut und für wen. „Antwortentwürfe im Kundenservice“, nicht „Produktivität“.
Verantwortliche Funktion	Eine Rolle, etwa Leitung Kundenservice. Nicht „die IT“.
Einstiegsfrage	Ja oder Nein, bei Nein mit kurzer Notiz, was abweicht.
Heikles Einsatzfeld?	Bewertet das Tool Menschen (Bewerbungen, Kredite, Leistung) oder wertet es Stimme, Mimik oder Stimmung aus? Dann: juristisch prüfen, ja oder nein.
Emotionen und Biometrie	Ja oder Nein, Datum, wer geprüft hat.
Kundenkontakt	Sehen Kunden oder die Öffentlichkeit, was das Tool erzeugt? Verknüpft mit Unterlage 3.
Stand	Letzte Prüfung und nächster Termin.

Die Spalte „Emotionen und Biometrie“

Werkzeuge, die Stimme, Mimik oder Stimmung von Beschäftigten oder Kunden auswerten, markieren wir immer für die Rechtsberatung. Der AI Act enthält dazu sowohl Verbote als auch Informationspflichten (Art. 5 und Art. 50 der KI-Verordnung). Für CX-Teams ist das der wichtigste Prüfpunkt, weil Stimmungsanalyse im Callcenter als unscheinbare Zusatzfunktion daherkommen kann. Datenschutz und Mitbestimmung gehören bei solchen Tools ebenfalls früh an den Tisch.

Findet die Prüfung nichts, ist das gut. Ein dokumentiertes Nein mit Datum ist eine Antwort. „Haben wir nicht angeschaut“ ist keine.

Woher die Einträge kommen

Ein Verzeichnis, das nur aus Lizenzen und Einkaufsbelegen entsteht, bleibt lückenhaft. Private Konten bei Chat-Assistenten und per Update freigeschaltete Funktionen tauchen dort nicht auf. Fragen Sie die Fachabteilungen direkt. Sagen Sie vorher, dass es um eine Bestandsaufnahme geht und niemand Sanktionen befürchten muss. Sonst fehlen genau die Einträge, über die Sie am dringendsten sprechen sollten.

Unterlage 2: KI-Kompetenz, dokumentiert statt nur geschult

Viele Unternehmen haben eine KI-Schulung gemacht. Bei einer Rückfrage hilft aber eher, zeigen zu können, wer was gelernt hat und warum genau das zu seiner Arbeit passt.

Die Kompetenzregel des AI Act steht in Art. 4 und wurde mit dem AI Omnibus (VO (EU) 2026/1744) neu gefasst. Die Bundesnetzagentur stellt klar, dass weder ein KI-Beauftragter noch zertifizierte Schulungen vorgeschrieben sind. Sie empfiehlt aber ausdrücklich, die Maßnahmen gründlich zu dokumentieren.

Was in den Ordner gehört

Kompetenzmatrix. Zeilen: Rollen oder Abteilungen. Spalten: die Tools aus Ihrem Verzeichnis. In jede Zelle kommt, was diese Gruppe über dieses Tool wissen sollte: Grenzen, Umgang mit Kundendaten, wann ein Ergebnis geprüft wird. Die Buchhaltung, die Rechnungen auslesen lässt, braucht anderes Wissen als das Marketing, das Bilder generiert.
Schulungsinhalte je Zeile. Kein Foliensatz für alle. Eher: Wie prüfe ich eine KI-Zusammenfassung auf Fehler? Welche Kundendaten gehören nicht in ein öffentliches Tool?
Teilnahmeliste. Wer hat wann welches Modul absolviert. Neue Mitarbeitende und neue Tools lösen einen neuen Eintrag aus.
Nutzungsrichtlinie. Zwei Seiten: Welche Tools sind freigegeben, welche Daten sind tabu, wer gibt neue Tools frei, wie werden Ergebnisse geprüft.

Die Schulung hängt mit allem anderen zusammen. Ob ein Team einen KI-Hinweis im Chat richtig konfiguriert oder ein generiertes Bild vor der Freigabe prüft, hängt davon ab, ob es weiß, worauf es achten soll. Eine datierte Schulung und eine schriftliche Richtlinie zeigen das. „Wir haben mal darüber gesprochen“ zeigt es nicht.

Unterlage 3: Wo Kunden KI begegnen

Diese Unterlage liegt am nächsten am Kunden: Website, Marketing, Service. Unsere Haltung ist einfach. Kunden sollten wissen, wann sie mit einer Maschine schreiben und wann ein Bild oder eine Stimme künstlich erzeugt ist. Den Hinweis im Chat selbst behandelt der Beitrag zum KI-Hinweis im Kundenservice.

Für jeden Kontaktpunkt stellen wir drei Fragen:

Wo zeigt Ihr Haus KI-Inhalte nach außen? Chatbot, generierte Bilder und Videos, synthetische Stimmen, KI-gestützte Texte in Blog, Newsletter oder Pressemitteilungen.
Wer gibt sie frei? Eine benannte Person je Kanal, mit dokumentierter Prüfung: wer den Inhalt gelesen hat und wer ihn verantwortet.
Was sagt der Hersteller zur Kennzeichnung? Schriftlich, abgelegt im Ordner.

Wie die Kennzeichnung im Einzelnen aussehen soll, beschreiben die Leitlinien der EU-Kommission zu Art. 50. Dazu kommt ein im Juni 2026 veröffentlichter Verhaltenskodex der Kommission zur Kennzeichnung KI-generierter Inhalte. Beides lohnt einen Blick, bevor Sie Ihre Kontaktpunkte durchgehen. Ob und wie eine Regel auf einen bestimmten Kanal zutrifft, klärt Ihre Rechtsberatung.

Fragen an jeden Hersteller

Ihr Kunde sieht Ihr Unternehmen, nicht den Hersteller des Tools. Prüfen Sie deshalb selbst, bevor ein Tool live geht, und klären Sie schriftlich:

Wie ist der KI-Hinweis im Chatbot umgesetzt, und ist er für Ihre Kunden sichtbar?
Ob und ab wann erzeugte Bilder, Audio und Texte maschinenlesbar gekennzeichnet werden.
Dass er Sie informiert, wenn sich an diesen Funktionen etwas ändert.

Die Antworten legen Sie im Ordner ab. Wer KI in der Personalauswahl oder bei Entscheidungen über Kredite und Zahlungsziele einsetzt, sollte diesen Einsatz außerdem früh juristisch klären lassen und das Ergebnis im Verzeichnis vermerken.

In vier Wochen zum geordneten Ordner

Klein ist die Arbeit nicht. Mit einer festen Reihenfolge lässt sie sich aber in vier Wochen schaffen. Der Ordner ist ein Arbeitsstand, kein Beleg vollständiger Rechtskonformität. Datenschutz, Arbeitsrecht und Wettbewerbsrecht prüfen Sie gesondert.

Woche 1: Verzeichnis. Abfrage in allen Fachbereichen, auch nach KI-Funktionen in vorhandener Software und nach privat angelegten Konten. Jedes Tool kommt mit allen acht Spalten ins Verzeichnis, jedes bekommt die Einstiegsfrage. Alles mit „juristisch prüfen“ geht als Liste an die Rechtsberatung. Ergebnis: eine erste Fassung, die die Geschäftsführung gesehen hat.

Woche 2: Kompetenzmatrix und Nutzungsrichtlinie. Matrix aus Rollen und Tools, Schulungen nach tatsächlichem Einsatz, Teilnahmeliste mit Datum und Inhalt. Die Richtlinie unterschreibt die Geschäftsführung.

Woche 3: Kontaktpunkte. Gehen Sie jeden Kundenkontaktpunkt einzeln durch: Website, Chatbot, Newsletter, automatisierte Mails, Social Media, Support. Pro Punkt die drei Fragen aus Unterlage 3. Parallel gehen die Anfragen an Ihre Hersteller raus.

Woche 4: Ordner und Zuständigkeiten. In den Ordner gehören das Verzeichnis, Matrix, Schulungsinhalte und Teilnahmeliste, die Richtlinie, der Kontaktpunkt-Check und die Herstellerkorrespondenz. Jedes Dokument bekommt einen Stand, eine verantwortliche Person und einen nächsten Prüftermin.

Rolle	Verantwortung
Geschäftsführung	Gibt den Plan frei, benennt Verantwortliche, veranlasst die juristische Prüfung offener Punkte, unterschreibt die Richtlinie.
IT	Technische Sicht aufs Verzeichnis, KI-Funktionen in Bestandssoftware, Herstellerkorrespondenz.
Datenschutz	Abgleich mit der Datenschutzdokumentation, Abstimmung bei Tools, die Stimme, Mimik oder Stimmung auswerten.
Fachbereich	Meldet genutzte Tools, benennt Verantwortliche, prüft die eigenen Kontaktpunkte.

Damit der Ordner nicht veraltet

Ein Verzeichnis, das im März stimmt, ist im September schon lückenhaft. Neue Tools kommen über Testkonten, und Hersteller schalten KI-Funktionen per Update frei. Die Pflege braucht deshalb einen ebenso festen Platz im Kalender wie der Aufbau.

Dafür legen wir fest:

Ein Owner für das Verzeichnis. Eine Person, die Einträge annimmt, nachfragt und den Prüftermin einberuft. Die Fachbereiche bleiben für ihre Zeilen verantwortlich, aber das Ganze braucht einen Namen.
Feste Auslöser. Ein neues Tool, eine neue KI-Funktion in bestehender Software, ein neuer Zweck für ein vorhandenes Tool. Jeder dieser Fälle führt zu einem neuen oder geänderten Eintrag, bevor der Einsatz startet.
Ein fester Prüftermin. Einmal im Kalender, für alle Zeilen zugleich: Stimmt der Zweck noch? Ist die verantwortliche Person noch im Haus? Steht das Tool in der Kompetenzmatrix? Liegt die Herstellerantwort vor? Den Rhythmus legen Sie selbst fest. Er sollte im Kalender stehen und nicht von gutem Willen abhängen.

Keine zweite Verwaltung

Wenn Sie ein Verzeichnis der Verarbeitungstätigkeiten nach DSGVO führen, stehen dort vermutlich schon einige KI-Tools. Das Datenschutzverzeichnis ist nach Verarbeitungstätigkeiten gegliedert, das KI-Verzeichnis nach Systemen. Wir führen beide getrennt, aber verknüpft: mit Querverweisen, denselben Verantwortlichen und demselben Prüfrhythmus. So hängt die KI-Dokumentation an einem Gerüst, das es im Haus schon gibt.

Bei Fragen, die Sie intern nicht klären können, hilft der KI-Service-Desk der Bundesnetzagentur. Er richtet sich ausdrücklich auch an KMU.

Der Selbsttest

Der Test ist kurz. Nehmen Sie Ihr Verzeichnis und gehen Sie jede Zeile durch: Ist die Einstiegsfrage beantwortet? Gibt es eine verantwortliche Person? Steht das Tool in der Kompetenzmatrix? Ist der Kontaktpunkt dokumentiert, samt Herstellerantwort? Steht ein nächster Prüftermin drin? Jedes Nein ist ein Arbeitsschritt.

Wenn Fachabteilungen eigene Lösungen nutzen oder niemand im Haus das Verzeichnis treiben kann, bauen wir Verzeichnis und Zuständigkeiten in der AI-Diagnose gemeinsam mit Ihnen auf. Die rechtliche Prüfung im Einzelfall bleibt bei Ihrer Rechtsberatung.

Wie lange bräuchten Sie heute, um zu sagen, welche KI in Ihrem Unternehmen läuft und wer dafür zuständig ist?

Häufige Fragen

Wer ist in Deutschland für die Aufsicht über die KI-Verordnung zuständig? Laut KI-MIG seit dem 29. Juli 2026 grundsätzlich die Bundesnetzagentur. Für einzelne Bereiche bleiben Fachbehörden zuständig.

Wer sollte das KI-Verzeichnis pflegen? Eine benannte Person als Owner, die Einträge annimmt und den Prüftermin einberuft. Naheliegend ist die Stelle, die schon das Datenschutzverzeichnis oder das Software-Inventar führt. Die Fachbereiche bleiben für ihre eigenen Zeilen verantwortlich.

Wie oft sollten wir das Verzeichnis prüfen? Zu einem festen Termin für alle Zeilen und zusätzlich bei jedem Auslöser: neues Tool, neue KI-Funktion, neuer Zweck. Wie oft der feste Termin liegt, entscheiden Sie nach Größe und Tempo Ihrer Tool-Landschaft.

Was machen wir mit Tools, die Fachabteilungen selbst eingeführt haben? Ins Verzeichnis aufnehmen, ohne Vorwurf. Die Abfrage funktioniert nur, wenn niemand Sanktionen befürchten muss. Danach entscheidet die verantwortliche Person, ob das Tool freigegeben, ersetzt oder abgeschaltet wird.

Wo bekommen wir eine verbindliche Antwort auf eine Rechtsfrage? Bei Ihrer Rechtsberatung. Für allgemeine Fragen zur KI-Verordnung bietet die Bundesnetzagentur einen KI-Service-Desk an, der sich auch an KMU richtet.

Dieser Beitrag beschreibt unsere Praxis-Sicht. Er enthält keine rechtliche Einordnung; dafür verweisen wir auf die verlinkten Primärquellen und Ihre Rechtsberatung.

KI-Dokumentation im Mittelstand: Drei Unterlagen, mit denen Sie jederzeit Auskunft geben können