Ein guter Pilot darf klein bleiben

Ein Pilot endet selten an der Technik. Er endet an einem Termin, an dem jemand fragen soll, ob es weitergeht, und an dem niemand mehr sagen kann, was eigentlich geprüft wurde. Zwischen der ersten Demonstration und diesem Termin liegen Wochen, in denen alle Beteiligten beschäftigt sind. Ob der Versuch etwas beantwortet hat, entscheidet sich deshalb vorher, beim Aufschreiben der Frage.

Der Pilot in diesem Beitrag ist ein fiktives Beispiel, ebenso der Steckbrief. Der Vorschlag stammt aus der Redaktion und ist keine Norm.

Welche Frage soll der Pilot beantworten?

Eine brauchbare Frage ist eng, in einem überschaubaren Zeitraum beantwortbar und mit einer Entscheidung verbunden. Sie lautet nicht: Ist künstliche Intelligenz für uns nützlich? Sie lautet zum Beispiel: Erkennt eine Kamera an einem bestimmten Bauteil Kratzer ab einer festgelegten Größe so zuverlässig, dass eine Person nur noch die aussortierten Teile prüft? Auf diese Frage gibt es drei mögliche Antworten: ja, nein, oder ja unter Bedingungen. Alle drei sind Ergebnisse, mit denen sich arbeiten lässt.

Ein Pilot trägt genau eine Frage. Zwei Fragen in einem Versuch führen dazu, dass am Ende die eine beantwortet ist und die andere als offen gilt, ohne dass jemand weiß, welche Daten zu welcher Frage gehören. Die Frage gehört vor der ersten Demonstration aufgeschrieben, weil eine Demonstration immer eine andere Frage beantwortet als die des Betriebs.

An dieser Stelle lohnt die Unterscheidung von drei Dingen, die im Alltag gern durcheinandergehen. Eine Demonstration zeigt, dass etwas unter den Bedingungen des Anbieters mit dessen Daten läuft. Eine Erprobung, oft Proof of Concept genannt, prüft dasselbe unter eigenen Bedingungen, mit eigenen Daten, in einem begrenzten Zeitraum. Der Betrieb ist der Zustand danach, in dem das Verfahren an einem Montagmorgen funktionieren muss, mit Vertretung, Aktualisierungen, bekannten Kosten und einer zuständigen Person. Viele Vorhaben bleiben zwischen erster und zweiter Stufe stehen und werden trotzdem als Erfolg erzählt. Wie ein Betrieb die Auswahl eingrenzt, steht in dem Beitrag darüber, mit welchem Problem ein erster Versuch anfangen sollte.

Was ist die Baseline?

Die Baseline ist der gemessene Zustand vor dem Versuch. Ohne sie bleibt jede spätere Aussage über eine Verbesserung eine Behauptung, und nachholen lässt sich die Messung nicht, sobald der Pilot begonnen hat. Ein Betrieb braucht dafür keine Software und keine Statistik. Drei Zähler genügen: die Zeit pro Vorgang, die Zahl der Nacharbeit oder Fehler pro Woche und die Rückfragen, die ein Vorgang auslöst.

Entscheidend ist, dass vorher und nachher gleich gemessen wird. Wer die Zeit vorher in Minuten schätzt und nachher mit einer Stoppuhr erfasst, hat keine Zahlen, sondern eine Meinung mit Nachkommastellen. Deshalb gehören Definition, Zeitraum und die Person, die zählt, in denselben Steckbrief wie die Frage. Dass ein Vorher-Zustand fehlt, ist kein Anfängerfehler, sondern der häufigste Grund, aus dem ein Betrieb nachträglich keine belastbare Aussage treffen kann; dieselbe Logik beschreibt der Beitrag darüber, warum der Vorher-Zustand vor dem ersten Messpunkt aufgenommen werden muss.

Ein Pilot, der drei Dinge gleichzeitig ändert, also Werkzeug, Ablauf und Zuständigkeit, kann hinterher nichts zuordnen. Der Versuch darf klein sein, und er darf vor allem schmal sein. Ein einziger Datenweg genügt, und warum ein erster Weg mehr bringt als eine vollständige Vernetzung, ist an anderer Stelle nachgezeichnet.

Typische Scheinerfolge lassen sich vorher benennen. Eingesparte Klicks klingen gut, bis jemand die Daten auswerten will und feststellt, dass die Qualität schlechter geworden ist. Ein Formular, das schneller auszufüllen ist, kann die Arbeit an eine andere Rolle verschieben: Die Erfassung wandert zur Maschinenbedienung, und die Zeit, die im Büro gespart wurde, fehlt jetzt an der Anlage. Und ein Schritt, der schneller wird, verlagert den Engpass häufig an die nächste Station, ohne dass der Auftrag früher fertig ist. Wer diese drei Fälle im Steckbrief als Risiko notiert, erkennt sie später wieder.

Zu den Risiken gehört auch der Betrieb des Werkzeugs selbst. Ein selbst betriebenes Programm, das im Versuch keine Lizenzkosten verursacht, braucht danach jemanden für Aktualisierungen, Sicherheitsmeldungen und Ausfälle; was ein kostenloses Werkzeug im Betrieb wirklich kostet, ist deshalb Teil der Frage und nicht ihr Anhang.

Woran endet der Versuch?

Ein Pilot ohne Abbruchkriterium endet nicht. Er verliert nur an Aufmerksamkeit, läuft neben dem Tagesgeschäft weiter und wird irgendwann stillschweigend eingestellt, ohne dass jemand eine Entscheidung getroffen hat. Deshalb gehört die Bedingung, unter der der Versuch beendet wird, vor den Start. Drei Formen sind üblich. Eine zeitliche Grenze, also ein Datum, an dem entschieden wird, unabhängig vom Ergebnis. Eine inhaltliche Grenze, also eine Fehlerquote, die vorher festgelegt wurde und deren Überschreiten den Versuch beendet. Und eine Aufwandsgrenze: Wenn die Betreuung des Versuchs mehr Zeit kostet als der Vorgang, den er verbessern soll, ist die Antwort bereits gefallen.

Das Kriterium muss außerdem von jemandem prüfbar sein, der den Versuch nicht vorantreibt. Wer die eigene Arbeit bewertet, findet fast immer einen Grund, weiterzumachen. Dazu gehören drei Namen und ein Datum, an dem entschieden wird: eine Person, die den Versuch betreibt, eine Person, die das Ergebnis prüft, und eine Person, die am Ende entscheidet. Ohne diese drei wird aus einem Versuch ein Zustand, und aus einem Zustand wird ein stiller Parallelbetrieb.

Vor dem Start zu klären ist außerdem, welche Daten in den Versuch dürfen und was danach mit ihnen geschieht. Das gilt für Fotos und Kundendaten ebenso wie für Aufnahmen aus der Fertigung. Wird ein KI-System erprobt, kommt die Frage hinzu, in welcher Rolle der Betrieb auftritt und was das für die Dokumentation bedeutet; welche Rolle ein Betrieb beim Einsatz eines KI-Systems hat, lässt sich vor dem Versuch klären und nicht danach.

Für die Planung genügt eine Seite, und die Vorlage unten lässt sich ausdrucken und in den Projektordner legen.

Was ein Pilot nicht beweisen kann

Die Antwort ist unspektakulär: Ein Pilot beantwortet genau eine eng gefasste Frage unter festgelegten Bedingungen, und er tut das nur, wenn Frage, Ausgangslage und Abbruchkriterium vorher aufgeschrieben wurden.

Was er nicht leisten kann, ist ein Nachweis für den ganzen Betrieb. Ein Verfahren, das mit einer Person und wenigen Vorgängen funktioniert, muss mit mehreren Kolleginnen und einem vollen Auftragsbuch nicht funktionieren, und ein gelungener Versuch ersetzt keine Prozessentscheidung. Die offene Grenze liegt danach: Wer nach einem erfolgreichen Piloten keine Verantwortliche für den Betrieb benennt und kein Datum für die Umstellung, hat den Aufwand verschoben und nicht abgeschlossen.