Trotz all dem KI-Hype sind wir alle doch nur Beta-Tester. Wer intensiv ChatGPT & Co testet stößt auch immer wieder an die Grenzen. Wenn die KI unsere Prompts nicht versteht oder verstehen will. Manchmal ignoriert sie unsere Anweisungen. Dummerweise ist sie auch noch eloquent. Weitaus eloquenter als die meisten von uns, d.h. ihre Antworten sind überzeugender als unsere, selbst wenn sie Bullshit sind. Sie reflektiert nicht wirklich über ihre Grenzen, außer da, wo es ihr aus ethischen Gründen vorgegeben ist – nein, ich liefere dir keine Anleitung für ein Verbrechen – da müssen wir schon subtiler fragen.

Ich kämpfe gerade an einigen Basic-Funktionalitäten und bin auch schon mit dem Support im Gespräch – nein, seit einer Woche bin ich mit dem Support im Monolog. Ich frage und bekomme keine Antworten.

Das Standard-Skript frägt nach Fehlerquellen in meiner Infrastruktur. Nachdem mit einem Test nachgewiesen habe, dass das Problem im Account und nicht in meiner Infrastruktur liegt (vom Agent bestätigt), warte ich auf Antwort.

Der „Support-Bot“ ist überhaupt very strange. Eigentlich KI, aber nachdem ich mein Problem konkretisiert habe, hatte ich schnell das Gefühl bei einem echten Menschen zu landen, auch weil sein Antwortverhalten scheinbar an Zeitzonen gebunden war.

Aber jetzt schweigt „Justin“ seit einer Woche, obwohl sonst immer wieder aktiv. Und trotz (sachlicher) Nachfrage.

Für ein Medium, das unser Vertrauen erst noch verdienen will eine Bankrott-Erklärung, aber wir sind anscheinend halt auch nur Beta-Tester.

Als ChatGPT-Nutzer kann ich Ihnen nur wünschen, dass Sie keinen Support brauchen. Ich kämpfe seit Tagen. Der Chat selbst ist bemüht, liefert Workarounds (die in meinem Fall nicht funktioniert haben) und Hilfen, allerdings teilweise falsch: Die empfohlene Kontaktmöglichkeit per Mail gibt es gar nicht. Als ich die von ChatGPT vorbereitete Mail an die Support-Adresse schicke, bekomme ich umgehend Antwort:

Thank you for your email. Please note: This email address does not offer support. To get support, please visit our Help Center and start a chat with our support bot.

Manchmal vergisst ChatGPT auch, dass es um ChatGPT geht und gibt allgemein Ratschläge zum Umgang mit dem Support.

Tja und dann das Help Center – schwierig.

Die Hürden mit Anmeldung & Co genommen, landet man in einem Bot. Nach ein paar Stufen sogar bei echten Menschen, aber es gibt kein Ticket, sondern nur einen Bot im Browser. Und spätestens, wenn ein Mensch dahinter steckt gibt es Antwortzeiten. Das passt überhaupt nicht zu einem Bot-Fenster im Browser.

Email-Notification Fehlanzeige. Sorry, das Konzept ist nicht durchdacht – geradezu dilettantisch.

Umso ärgerlicher, wenn man für das Abo zahlt. Aktuell warte ich schon über eine Stunde auf eine Antwort. Das ist in einem Bot auf Echtzeit angelegt indiskutabel., aber ein Ticketsystem gibt es nicht. Dabei habe ich schon mehr gemacht, als von mi erwartet werden kann. Top1-7 aus dem Chat sind abgearbeitet und bevor ich überhaupt den Support kontaktiert habe, habe ich Hilfe bei einem Pro (danke, Torsten!) gesucht.

>> Update in den Kommentaren >>

Noch so ein Learning: Abgesehen davon, dass ich zur Zeit verzweifelt versuche Dateien aus ChatGPT herunterzuladen („Datei nicht gefunden“) – jetzt warte ich auf den Support, habe ich die KI gerade als Excel-Hilfe genutzt: Bitte generiere mir die Formeln um eine Zelle („Name, Vorname (Abteilung)“) in Ihre Bestandteile zu zerlegen.

Das klappt auf den ersten Blick auch verdammt gut:

Aber natürlich kommt beim Ausprobieren gleich eine Fehlermeldung.

Erst ein Stirnrunzeln und dann werden die „Röntgenaugen“ angeschmissen und siehe da, der Fehler ist schnell gefunden: Im deutschen Excel werden die Formelbestandteile mit Semikolon getrennt. im englischen mit Kommata und hier mischt ChatGPT deutsche Nomenklatur der Befehle mit der englischen und nutzt die falschen Zeichen für die Separierung. Manuell korrigiert und siehe da, es funktioniert.

Habe jetzt Glück gehabt, dass ich ohne größere Suche den Fehler gleich entdeckt habe, aber anscheinend ist ChatGPT gut in den Sprachmodellen (übersetzt englische Befehle ins Deutsche, aber nur auf der Begriffebene und vernachlässigtdie Nomenklatur).

Again what learned, würde Lothar sagen.

Aktuell stoße ich gerade an meine Grenzen mit ChatGPT:

Excel-Export funktioniert nicht

Ich habe ChatGPT angelernt und eine Tabellenstruktur nahe gebracht. Nur der Export nach Excel funktioniert nicht. Die erstellten Links funktionieren nicht. Weder der direkte Download, noch das Zusenden per Mail oder ein Dropbox-Link. Weist man die KI darauf hin, macht sie beharrlich weiter. Nicht besonders intelligent. Mal schauen, ob sich der Support noch meldet. Habe Freitag via Bot eine entsprechende Meldung abgesetzt (Antwort soll per Mail kommen). Eine Google-Recherche findet aber Treffer mit ähnlichen Fehlern. Dummerweise waren die in der ChatGPT Community gestern großteils nicht erreichbar. Da klingt nach größeren Problemen.

Ich weiß nicht, dass ich nichts weiß.

Eigentlich hatte ich ChatGPT mit eigenen Dokumenten angelernt. Ich hatte die KI gebeten eine Methode aus diesen Dokumenten aufzubereiten. Jetzt handelt es sich um eine Eigenentwicklung, das heißt ChatGPT kann außerhalb des gelernten Dokuments kaum etwas dazu finden. Nun dann erfindet er/sie/es halt was. Selbst der Hinweis auf das entsprechende Dokument und den entsprechenden Abschnitt wird ignoriert. Krudes Halbwissen und ich weiß noch nicht einmal, welche meiner Inhalte tatsächlich gelernt wurden. Es finden sich zwar Hinweise auf Zeichenbegrenzungen, aber die KI schluckt ohne Feedback alles und antwortet in diesem Fall dann dumm.
Fehlende Selbstreflexion in Kombination mit einem eloquenten Auftreten ist eine fatale Kombination.
KI heute fühlt sich leider besser an, als sie ist.

Zahlen haben fast schon eine „magische“ Wirkung auf uns. Wir schenken ihnen Vertrauen und sie liefern uns exakte Aussagen.

Schön wäre es, denn im Detail liegen ein paar Tücken: Messen bzw. zeigen die Zahlen tatsächlich das, was sie vermeintlich vorgeben zu zeigen? Und mit welcher Zuverlässigkeit und Genauigkeit tun sie es?

Die Krux mathematischer Modelle und Berechnungen liegt darin, dass sie uns Ergebnisse mit Nachkommastellen liefern. Das aber ist lediglich eine Scheingenauigkeit, denn das Ergebnis kann nicht besser sein als das zugrundeliegende Modell. Wie sehr uns das überfordert, zeigt der aktuelle Umgang mit den Covid Statistiken. Von uns Laien werden Zahlen vogelwild interpretiert ohne das wir wirklich wissen, was sie aussagen, ohne das wir statistische Effekte aus Erfassung und Verarbeitung, wie z.B. durch die Änderung der Teststrategie oder das Meldeverhalten, berücksichtigen.

Wir sind in guter Gesellschaft. Seit langem bemängelt  Gerd Gigerenzer (Amazon Affiliate Link), dass die meisten Mediziner, medizinische Wahrscheinlichkeitsaussagen nicht interpretieren können. Wie soll das dann bei Covid anders sein?

Oder im Risikomanagement?

Die bekannteste Quantifizierung eines Risikos ergibt sich aus der versicherungmathematischen Formel als Produkt von Eintritswahrscheinlichkeit und potentiellem Schaden, dem sogenannten Erwartungwert.

Aber welche Aussagekraft hat der Erwartungswert?

Nun statistisch gesehen, ist das der durchschnittlich zu erwartende Schaden. Aber nutzt uns das was? Das ist in etwas wie die durchschnittliche Fiebertemperatur aller Krankenhauspatienten. Nehmen wir einmal an, ein Unternehmen würde aufgrund eines solchen Modells finanzielle Rückstellungen in Höhe des Erwartungswerts treffen. Bei Risiken die digital eintreten, d.h. sie treten entweder ein oder sie treten nicht ein, stecken wir in dem Dilemma, dass wir im einen Fall zu niedrige und im anderen Fall zu hohe Rückstellungen getroffen haben. Worst case ist beides existenzbedrohend, z.B. im Falles des Eintretens eines „schwarzen Schwans“ (Amazon Affilitate Link), also eines äußerst unwahrscheinlichen Ereignisses – z.B. einer Covid-Pandemie….

Das Projektmagazin lädt wieder zu einer Blogparade: Grenzen im Projektmanagement abbauen oder bewahren?

Für einen System Thinker stellt sich die Frage nicht wirklich, denn Systeme konstituieren sich durch ihre Grenzen. Also lohnt sich der Blick auf die Grenzen allemal. Aber welches System wollen wir betrachten? Das Projekt selbst? Den Projektgegenstand? Das Unternehmen, das ein Projekt initiiert und durchführt? Die Gesellschaft? Oder die Projektmanagement-Community?

Und schon schwimmen sie wieder die Grenzen. Je nach Wahl des Betrachtungsgegenstandes, je nachdem welches System wir betrachten rücken andere Grenzen in den Fokus.

Das Spiel mit den Grenzen ist also Bestandteil des Perspektivenwechsels und ohne Perspektivenwechsel ist in unseren komplexen Welt kaum eine Problemlösung möglich – egal ob bei der Scope-Definition für unser Projekt, bei der Wahl des Vorgehensmodells oder bei der Methodenauswahl.

Insofern ist die Antwort auf die Eingangsfrage ein sowohl als auch – und permanenter Auftrag, denn Grenzen verschieben sich. Nichts ist so stetig wie der Wandel. Wir haben nicht nur eine einmalige Betrachtung, sondern müssen auch die zeitliche Dimension im Auge behalten. Das ist vielleicht lästig, aber unvermeidlich. Es ist unser Job…

Mein geschätzter Kollege Till sagt immer:“Jedes Problem beginnt mit einer Excel-Liste, dann wird eine Datenbank daraus und schließlich eine Applikation.“

Die Zwischenstadien „Schmierzettel“ und Sharepoint-Liste überspringt er gleich.

Vielleicht aus gutem Grund. Aktuell strapaziere ich Sharepoint, mit einem Access-Frontend, dass mehrere Sharepointlisten zusammenführt.

Und man glaubt gar nicht, wie schnell man an die Grenzen von Sharepoint stößt. Auch wenn eine SQL-Datenbank darunter liegt, so sind doch insbesondere dem Web-Frontend einige Einschränkungen geschuldet: So sollten es beispielsweise nicht mehr als 5000 Datensätze in einer Tabelle sein, mehrwertige Felder sind ganz BÖSE und Bulk-Jobs, also Massenbearbeitung, z.B. durch eine Aktualisierungsabfrage aus Access sollte nicht mehr als 100 Datensätze umfassen.

Auf diese und eine Reihe weiterer Einschränkungen verweist selbst Micsrosoft im Technet.

Warum wir trotzdem Sharepoint nutzen? Als Provisorium und zur Vorbereitung der späteren Applikation. Till hat doch Recht…