Der aufschlussreichste KI-Test ist oft der Fall, in dem etwas fehlt. Erkennt der Assistent die Lücke, oder arbeitet er mit einer Annahme weiter? Die folgenden neun Prüffragen helfen Ihnen, ein Vorhaben vom ersten Beispiel bis zum Betrieb zu beurteilen. Sie können daraus direkt Ihre offene Aufgabenliste erstellen.
So wird aus einem Fehler ein brauchbarer Befund
Ein Assistent soll eine Anfrage weiterleiten. Im normalen Beispiel klappt das. Im zweiten Beispiel fehlt die Zuständigkeit. Wenn die Anwendung trotzdem «erledigt» meldet, haben Sie einen konkreten Befund: Der Abschlussstatus passt nicht zum tatsächlichen Ergebnis.
Notieren Sie vier Dinge: Eingabe, erwartetes Verhalten, beobachtetes Verhalten und notwendige Korrektur. Im Beispiel müsste der Vorgang offenbleiben und bei einer benannten Vertretung erscheinen. Wiederholen Sie danach genau diesen Fall. So lässt sich eine Verbesserung belegen, statt nur den Anweisungstext länger zu machen.
Die neun Punkte sind unsere Arbeitshilfe für solche Prüfungen. Sie sind keine statistische Rangliste der häufigsten Scheitergründe.
Welche neun Punkte sollten wir prüfen?
1. Ist die Aufgabe konkret genug?
«Wir brauchen KI» beschreibt noch kein Ergebnis. Formulieren Sie einen Vorgang, die benötigten Eingaben und die Person, die das Ergebnis beurteilt.
Nächster Schritt: Ein Beispiel vom Eingang bis zur Übernahme beschreiben. Der Leitfaden zur KI-Einführung hilft beim Start.
2. Braucht dieser Schritt überhaupt KI?
Ein klarer Eingang oder eine feste Zuordnung lässt sich möglicherweise mit vorhandenen Regeln lösen. Prüfen Sie, wo tatsächlich unterschiedliche Inhalte verstanden oder Entscheidungen vorbereitet werden müssen.
Nächster Schritt: Vorhandene Funktionen, festen Workflow und KI-Unterstützung anhand derselben Aufgabe vergleichen.
3. Sind Quellen und offene Angaben erkennbar?
Eine flüssig formulierte Antwort belegt weder ihre Richtigkeit noch den Eingang im Zielsystem. Halten Sie fest, welche Quelle genutzt wurde und welche Angaben ungeklärt bleiben.
Nächster Schritt: Ein vollständiges und ein unvollständiges Beispiel prüfen. Fehlendes Wissen darf nicht durch eine erfundene Angabe ersetzt werden.
4. Sind die Befugnisse passend begrenzt?
Ein Assistent, der Informationen zusammenfasst, benötigt dafür nicht automatisch Versand- oder Löschrechte. OWASP beschreibt Risiken übermässiger Funktionen, Rechte und Autonomie und empfiehlt deren Begrenzung sowie Freigaben für weitreichende Aktionen.
Nächster Schritt: Lesen, Entwurf und Ausführung getrennt festlegen und technisch begrenzen. Ausgehende Sales-Nachrichten und geschäftliche Empfehlungen werden bei AgenticIT vor dem Versand menschlich freigegeben.
5. Sind Datenwege und Transparenz geklärt?
Der EDÖB erläutert, dass das Schweizer Datenschutzgesetz auch beim KI-Einsatz gilt. Zweck, Anbieter, benötigte Angaben, Zugriffe und Aufbewahrung gehören vor der Verarbeitung auf den Tisch.
Nächster Schritt: Die Datenwege beschreiben und offene Fragen klären. Kundenorientierte Assistenten stellen sich bei AgenticIT zu Beginn als KI vor.
6. Kann das Team prüfen und übernehmen?
Eine Zuständigkeit im Konzept hilft erst, wenn die Person den Vorgang tatsächlich erhält und bearbeiten kann. Auch Abwesenheit und der ausdrückliche Wunsch nach persönlicher Hilfe gehören dazu.
Nächster Schritt: Prüfung und Übernahme mit den betroffenen Personen üben. Mehr dazu unter KI im Team einführen.
7. Decken die Prüffälle den Einsatz ab?
Ein gelungener Normalfall reicht nicht. Spielen Sie auch fehlende Informationen, doppelte Eingänge und ausgefallene Anbindungen durch. Notieren Sie Erwartung, tatsächliches Ergebnis und offenen nächsten Schritt.
Das NIST-Playbook behandelt Messung, Grenzen und passende Prüfverfahren über den Einsatz hinweg. Daraus folgt keine allgemeine Bestehensquote für Ihr Vorhaben.
Nächster Schritt: Vor dem Start vereinbaren, welche Fehler behoben werden müssen und wer die Abnahme entscheidet.
8. Ist die Nutzenrechnung vollständig?
Erfassen Sie neben möglicher Entlastung auch verbleibende Arbeit, Prüfung, Fehlerkorrektur, Einrichtung, Nutzung und Betreuung. Freie Zeit bedeutet nicht automatisch sinkende Ausgaben.
Nächster Schritt: Annahmen offenlegen und später mit tatsächlichen Vorgängen vergleichen. Der Beitrag KI-ROI berechnen trennt Zeitwert und Geldfluss.
9. Ist der Betrieb organisiert?
Wissensquellen, Zuständigkeiten und Anbindungen können sich ändern. Klären Sie, wer Fehler bemerkt, Aktualisierungen prüft und bei einer Störung übernimmt.
Nächster Schritt: Betriebsverantwortung, Supportweg und erneute Prüfung nach Änderungen festhalten.
Was machen wir mit offenen Punkten?
Ordnen Sie jeder Beobachtung eine verantwortliche Rolle und einen nächsten Klärungsschritt zu. Halten Sie fest, welche Voraussetzung vor dem Einsatz erfüllt sein muss. Ein einfacher Status «offen» ist hilfreicher als eine unbelegte Zusage, das System werde den Fall schon lösen.
Die Einsatzkarte oben bietet Platz für Prüffälle, Ist-Ergebnis und Nachweis. Verwenden Sie für die erste Planung erfundene Beispiele ohne Kundendossiers oder Zugangsdaten.
Wie unterstützt AgenticIT?
Wir prüfen die Aufgabe gemeinsam mit Ihrem Team und verbinden KI-Entwicklung mit passenden Abläufen und begrenzten Befugnissen. Unsere Zusammenarbeit beschreibt Vorbereitung, Abnahme und Betreuung. Eine konkrete Umsetzung beginnt mit einem vereinbarten Leistungsumfang.