Trotz all dem KI-Hype sind wir alle doch nur Beta-Tester. Wer intensiv ChatGPT & Co testet stößt auch immer wieder an die Grenzen. Wenn die KI unsere Prompts nicht versteht oder verstehen will. Manchmal ignoriert sie unsere Anweisungen. Dummerweise ist sie auch noch eloquent. Weitaus eloquenter als die meisten von uns, d.h. ihre Antworten sind überzeugender als unsere, selbst wenn sie Bullshit sind. Sie reflektiert nicht wirklich über ihre Grenzen, außer da, wo es ihr aus ethischen Gründen vorgegeben ist – nein, ich liefere dir keine Anleitung für ein Verbrechen – da müssen wir schon subtiler fragen.
Ich kämpfe gerade an einigen Basic-Funktionalitäten und bin auch schon mit dem Support im Gespräch – nein, seit einer Woche bin ich mit dem Support im Monolog. Ich frage und bekomme keine Antworten.
Das Standard-Skript frägt nach Fehlerquellen in meiner Infrastruktur. Nachdem mit einem Test nachgewiesen habe, dass das Problem im Account und nicht in meiner Infrastruktur liegt (vom Agent bestätigt), warte ich auf Antwort.
Der „Support-Bot“ ist überhaupt very strange. Eigentlich KI, aber nachdem ich mein Problem konkretisiert habe, hatte ich schnell das Gefühl bei einem echten Menschen zu landen, auch weil sein Antwortverhalten scheinbar an Zeitzonen gebunden war.
Aber jetzt schweigt „Justin“ seit einer Woche, obwohl sonst immer wieder aktiv. Und trotz (sachlicher) Nachfrage.
Für ein Medium, das unser Vertrauen erst noch verdienen will eine Bankrott-Erklärung, aber wir sind anscheinend halt auch nur Beta-Tester.
Als ChatGPT-Nutzer kann ich Ihnen nur wünschen, dass Sie keinen Support brauchen. Ich kämpfe seit Tagen. Der Chat selbst ist bemüht, liefert Workarounds (die in meinem Fall nicht funktioniert haben) und Hilfen, allerdings teilweise falsch: Die empfohlene Kontaktmöglichkeit per Mail gibt es gar nicht. Als ich die von ChatGPT vorbereitete Mail an die Support-Adresse schicke, bekomme ich umgehend Antwort:
Thank you for your email. Please note: This email address does not offer support. To get support, please visit our Help Center and start a chat with our support bot.
Manchmal vergisst ChatGPT auch, dass es um ChatGPT geht und gibt allgemein Ratschläge zum Umgang mit dem Support.
Tja und dann das Help Center – schwierig.
Die Hürden mit Anmeldung & Co genommen, landet man in einem Bot. Nach ein paar Stufen sogar bei echten Menschen, aber es gibt kein Ticket, sondern nur einen Bot im Browser. Und spätestens, wenn ein Mensch dahinter steckt gibt es Antwortzeiten. Das passt überhaupt nicht zu einem Bot-Fenster im Browser.
Email-Notification Fehlanzeige. Sorry, das Konzept ist nicht durchdacht – geradezu dilettantisch.
Umso ärgerlicher, wenn man für das Abo zahlt. Aktuell warte ich schon über eine Stunde auf eine Antwort. Das ist in einem Bot auf Echtzeit angelegt indiskutabel., aber ein Ticketsystem gibt es nicht. Dabei habe ich schon mehr gemacht, als von mi erwartet werden kann. Top1-7 aus dem Chat sind abgearbeitet und bevor ich überhaupt den Support kontaktiert habe, habe ich Hilfe bei einem Pro (danke, Torsten!) gesucht.
Noch so ein Learning: Abgesehen davon, dass ich zur Zeit verzweifelt versuche Dateien aus ChatGPT herunterzuladen („Datei nicht gefunden“) – jetzt warte ich auf den Support, habe ich die KI gerade als Excel-Hilfe genutzt: Bitte generiere mir die Formeln um eine Zelle („Name, Vorname (Abteilung)“) in Ihre Bestandteile zu zerlegen.
Das klappt auf den ersten Blick auch verdammt gut:
Aber natürlich kommt beim Ausprobieren gleich eine Fehlermeldung.
Erst ein Stirnrunzeln und dann werden die „Röntgenaugen“ angeschmissen und siehe da, der Fehler ist schnell gefunden: Im deutschen Excel werden die Formelbestandteile mit Semikolon getrennt. im englischen mit Kommata und hier mischt ChatGPT deutsche Nomenklatur der Befehle mit der englischen und nutzt die falschen Zeichen für die Separierung. Manuell korrigiert und siehe da, es funktioniert.
Habe jetzt Glück gehabt, dass ich ohne größere Suche den Fehler gleich entdeckt habe, aber anscheinend ist ChatGPT gut in den Sprachmodellen (übersetzt englische Befehle ins Deutsche, aber nur auf der Begriffebene und vernachlässigtdie Nomenklatur).
In diesem kleinen Rundumschlag zur KI bislang noch völlig unberücksichtigt sind rechtliche Aspekte.
Als juristischer Laie, will ich mir auch gar nicht anmaßen dieses Thema umfassend zu behandeln, aber zumindest aus Prozesssicht wollen wir kurz ein Schlaglicht auf diesen Bereich werfen.
Input
KI Modelle brauchen Input und Konzerne wie openAI oder Google haben einfach das Internet (aber auch andere, vielleicht gar nicht mal frei zugängliche Inhalte) abgegrast. Wie weit die Verarbeitung dieser Inhalte dabei immer legal ist/war, darüber streiten beispielsweise Verlage, die ihre eigene Existenzgrundlage wegschwimmen sehen. Nicht auszuschließen, dass die Rechtsprechung hier der KI noch den einen oder anderen Knüppel zwischen die Beine werfen wird. Wir werden sehen…
Rechtlich unkritische sollte es sein, wenn wir unsere eigenen Inhalte in die KI kippen.
Verarbeitung
Bei der Verarbeitung ist das schon wieder anders, denn wir haben hier zumeist einen „loss of control“ gegenüber den KI Anbietern und es stellen sich die klassischen Fragestellungen der Cybersecurity nach Vertraulichkeit, Integrität und Verfügbarkeit.
Beim Vertraulichkeitsthema spannend könnte aber beispielsweise auch sein, wieweit die KI Modelle aus unserem proprietären Inhalten lernen und diesen Erkenntnisgewinn (und gar nicht mal die Dokumente selbst) mit anderen teilen. Lernt die KI auch aus unserem Input um Fragen eines Konkurrenten zu beantworten, der das gleiche KI Modell verwendet?
Output
In dieser Reihe hatten wir schon die Qualitätsthematik bei Antworten aus der KI angeschnitten. Wir wollen einmal nicht hoffen, dass damit gleich Haftungs- und Gewährleistungsrisiken auf uns selbst zurückfallen. Spannend ist aber beispielsweise die Frage nach den Verwertungsrechten. In puncto Transparenz vorbildlich ist hier z.B. der Umgang mit KI generierten Bildern in der Wikipedia (siehe Kommentar zum Logo unten). Hier schließt sich auch der Kreis zu den Urheberrechten beim Input. Aber wieweit ist es ausreichend auf die Generierung der Inhalte durch ein KI Modell hinzuweisen? Kritisch ist schon mal, dass wir i.d.R. keine Chance haben überhaupt nachzuvollziehen welche Inhalte konkret in eine Antwort eingegangen sind. Worst case schreiben wir sogar von einer Quelle ab oder verletzen deren Rechte ohne es überhaupt zu wissen. Wenn heute Plagiatsjäger mit den Möglichkeiten der Digitalisierung Doktorarbeiten aus der Papier- und Bibliotheksära zerlegen, dann möchte ich mir nicht vorstellen, was da möglicherweise in Sachen KI noch vor uns liegt. Oder müssen wir alle KI Ergebnisse dann erst noch einer Plagiatsprüfung unterziehen, bevor wir sie verwenden?
Zu meinen Lieblingsbeiträgen der Wikipedia gehört der Cognitive Bias Codex. Hierbei handelt es sich um eine Übersicht über die vielfältigen kognitiven Störungen bei uns Menschen. Die pure Anzahl und die Komplexität dieser Störungen führt uns unsere eigene Unzulänglichkeit nur zu gut vor Augen.
Diese Verzerrungen sind jetzt auch nicht „krankhaft“, sondern ganz normal – ein Zeichen unserer beschränkten Wahrnehmungs- und Verarbeitungsfähigkeit.
Der Titel dieses Beitrags leitet jetzt geflissentlich über zu der Frage, ob es solche Verzerrungen nicht auch in der KI gibt.
Eine erste Antwort finden wir bereits im Beitrag zu Belastbarkeit & Grenzen: KI basiert zum Einen auf Wahrscheinlichkeiten und nicht auf Wahrheiten oder Logik und zum Anderen ist die KI natürlich abhängig von dem ihr zur Verfügung gestellten Inhalten. Hier gelten noch immer die Grundprinzipen der Datenverarbeitung: Garbage in, garbage out.
Für ein aktuelles Projekt (eine Methoden-Übersicht) haben wir versucht die Attribute zur Beschreibung von Methoden mit Hilfe der KI vorzunehmen, bzw. unsere eigenen Überlegungen dazu mittels KI zu validieren. Die KI Ergebnisse dazu hielten leider unseren Erwartungen nicht stand, angefangen davon, dass uns die KI zu anderen Attributen überreden wollte und deutlich von den Vorgaben abgewichen ist, fand sie auch generell toll, was immer wir ihr gegeben haben, womit wir beim Thema kognitive Verzerrungen wären. Es gab also eindeutig eine Bestätigungstendenz.
Wenn man darüber nachdenkt ist das Ergebnis auch gar nicht so überraschend, denn was wir ihr als Input gegeben, ist natürlich gegenüber ihren anderen Ressourcen hochprior, nur anstatt unsere eigene Modellbildung damit kritisch auf den Prüfstand zu stellen, hat uns die KI dann lobend auf die Schulter geklopft. Gut fürs Ego, schlecht für das Ergebnis.
Wenn man jetzt noch berücksichtigt, das durch die Wahrscheinlichkeitsbetrachtung letztlich auch nur bestehende Lösungen einbezogen werden können, dann wird schnell klar, dass die KI zwar eine Umsetzungsmaschine, aber ein Innovationszwerg sein muss.
Unser Versuch der Methodenbeschreibung ist nur ein einfaches Beispiel. Die Fragen am Rande des Cognitive Bias Codex lassen sich aber auch auf die KI übertragen. Was tun, wenn…
…wir mit zuvielen Informationen konfrontiert sind.
…es an Bedeutung und Kontext fehlt.
…wir schnell handeln müssen.
…die Aktualität und „Haltbarkeit“ von Informationen nicht ganz klar ist.
Letztere bringt auch das Thema „Vergessen“ auf. Wenn Informationen veralten, dann sollten wir sie vielleicht sogar vergessen und sie nicht in unsere Antworten einbeziehen, aber es heißt doch so schön: Das Internet vergisst nicht. Nicht nur die KI muss noch viel lernen, sondern auch wir im Umgang mit der KI.
Auch wenn künstliche Intelligenz und insbesondere ChatGPT als Hype-Thema gerade überstrapaziert sind, werden wir alle nicht umhin kommen, uns damit zu beschäftigen.
Besonders ins Auge gestochen ist mir dabei eine Rollenübersicht von Mike Sharples:
Auch wenn die dort definierten Rollen wohl für den Hochschulkontext entwickelt wurden, finde ich sie auch darüber hinaus wichtig und inspirierend.
(2) Gefahren
Mit dem Nutzen von AI gehen auch neue Gefahren einher und ich meine damit nicht die „böse AI“. Beim BSI (Bundesamt für Sicherheit in der Informatiosntechnik) findet sich bereits einiges hierzu auf der BSI-Homepage oder zusammgefasst in dem Artikel „AI security concerns in a nutshell„.
