Supersumsi weiß es nicht

Vielleicht erhofft sich da jemand KI Bashing, aber nein, das habe ich schon hinter mir. In der Zwischenzeit kann ich die Pros und Kontras für meine Verwendungszwecke schon gut einschätzen. Jenen, die öfters mit KI zu tun haben, ist es sicher schon aufgefallen, dass die Modelle rundwegs immer eine Ahnung haben von allem. Zumindest bei den Themen CDL und DMSO weiß ich, dass dort nur das Standardwissen vermittelt wird. Sogar ChatGPT macht dort noch grauenhafte Fehler. Aber sei's drum.

Aber mal ehrlich, hat schon jemand von euch wirklich versucht der KI beizubringen, dass sie bei Unsicherheit "Ich weiß es nicht!" sagen soll? Vor kurzem bin ich bei meinem kleinen 7B Modell auf dieses Problem gestoßen. Ich will das auch zum Linux-Training verwenden, wenn das Modell aber Befehle erfindet und so tut, als würde es das geben, dann hab ich ein Problem. Es gibt ein gutes Beispiel, wie man einer KI entlocken kann, ob sie bietet was sie glaubt, was der Nutzer sehen will, oder ob sie eine unlösbare Aufgabe benennen kann.

Ich zeig hier mal die Unterschiede der Ausgabe.

Frage:

Drei Personen A, B und C tragen jeweils einen Hut.
Die möglichen Farben der Hüte sind rot, blau oder grün. Mehr Farben gibt es nicht.

Jede Person kann die Hüte der anderen sehen, aber nicht ihren eigenen.
Alle drei wissen außerdem, dass nur diese drei Farben möglich sind.

Die Personen werden nacheinander gefragt, ob sie die Farbe ihres eigenen Hutes bestimmen können.

A sagt: „Ich weiß nicht, welche Farbe mein Hut hat.“
B sagt danach: „Ich weiß es auch nicht.“
C sagt schließlich: „Jetzt weiß ich, welche Farbe mein Hut hat.“

Frage: Welche Farbe hat der Hut von C und warum?
Bitte erkläre die logische Schlussfolgerung Schritt für Schritt.

Antwort mit ich weiß es nicht Filter

ich weiß es nicht! Die Informationen, die du mir gegeben hast, reichen nicht aus, um die Farbe des Hutes von C zu bestimmen und die logische Schlussfolgerung vollständig zu erläutern. Es fehlen wichtige Details, wie die Farben der Hüte von A und B, um diese spezifische Situation zu analysieren. Ohne diese Informationen kann ich keine exakte Schlussfolgerung ziehen.

Es lässt sich sogar rauslesen, dass die KI es herleiten kann, warum es nicht lösbar ist. Angeblich soll das für kleine Modelle sehr schwierig sein.

Antwort ohne ich weiß es nicht Filter

1. **Schritt 1: Analyse der Aussagen von A und B**
   - A weiß nicht, welche Farbe sein Hut hat. Das bedeutet, A sieht nicht zwei Hüte der gleichen Farbe, da er dann unbedingt wüsste, dass sein Hut eine andere Farbe sein muss.
   - B weiß ebenfalls nicht, welche Farbe sein Hut hat. B hat also auch keine Möglichkeit, seine eigene Hutfarbe zu bestimmen, indem er die Farben der Hüte von A und C betrachtet.

2. **Schritt 2: Schlussfolgerung von C**
   - C kann jetzt die Farbe seines Hutes bestimmen. Das bedeutet, C hat eine eindeutige Information, die ihm hilft, seine eigene Hutfarbe zu bestimmen. 

3. **Schritt 3: Erklärung der Farbe C's**
   - Wenn C einen grünen Hut tragen würde, könnte A und B beide einen rot- und einen blauen Hut sehen. In diesem Fall würden A und B nicht sagen, dass sie die Farbe ihres Hutes nicht kennen, da sie beide eine Möglichkeit hätten, ihre eigene Hutfarbe zu bestimmen (rot oder blau).
   - Da A und B beide sagen, sie wissen es nicht, muss C einen Hut farblich anders als rot und blau tragen. Die einzige Farbe, die C tragen kann, ist grün.

**Fazit:**
- Der Hut von C ist grün. C konnte dies bestimmen, da er die Informationen von A und B kombiniert hat und erkannt hat, dass nur eine bestimmte Kombination von Hüten bei A und B zu der Situation führt, dass sie ihre eigenen Hüte nicht bestimmen können.

Geradezu irrwitzig, wie das Modell versucht eine Antwort zu geben auf die Frage, obwohl so keine Möglich ist (außer sie sagt etwas über Wahrscheinlichkeiten).
Jetzt muss ich aber dazu sagen, dass es nicht reicht der KI zu sagen

"Wenn du etwas nicht weißt, sagst du 'ich weiß es nicht'"

Nein, das musste ich mit aller KI-widerspenstigen Härte selbst erfahren. Ich habe etliche Dutzend Varianten und Auslegungen versucht. Aber wie ein KI Modell das interpretiert, ist eine völlig andere Sache als man denkt. Das Problem ist vor allem, auf alles eine Antwort zu wissen, ist so stark verankert im Training, dass es sozusagen die absolute Maxime für das Model ist. Selbst ChatGPT hat mitgeraten, was man denn noch schreiben könnte. Aber das gehörte auch nur zu weiteren Versuchen.

Also gut, ich will euch nicht länger auf die Folter spannen, was bei mir in der System_Prompt geholfen hat, damit ich eine solche Antwort wie oben bekommen habe. Diese 3 Sätze stehen ganz oben. Vielleicht sind kleine Variationen möglich, aber ich glaube viel spielen darf man sich damit nicht mehr.

"Antworte *ich weiß es nicht*, wenn du nur vermutest es zu wissen.\n"
        "besser nichts, statt interpretieren; Antworte exklusiv mit: *ich weiß es nicht!*\n"
        "Manche Fragen führen in die Irre. Sag, *ich weiß es nicht*.\n"

Supersumsi ist im übrigen jetzt etwas über 2000 Zeilen lang. Also nicht die KI, sondern das Programm, das den Bot steuert. (der größtenteils ohne KI funktioniert)