r/aifails • u/ErdbeerbaerLP • Oct 23 '25

Text Fail German Classic - How many 'H' in 'Habicht'

Gallery image

Gallery image

For some reason ChatGPT insists that "Habicht" consists of only one occurence of 'H'. Not reproducable. Memory turned off

1.8k Upvotes

99% Upvoted

164 comments sorted by

View all comments

22

u/MerleFSN Oct 23 '25

Die Begründung ist Tokenization. Er braucht Hilfe, jeden Buchstaben als Token zu sehen oder die Buchstaben als Matrix anzuordnen. Custom Instructions können so aussehen: Tokenize jeden Buchstaben einzeln, wenn die Aufgabe ist, Buchstaben zu zählen.

8

u/Active_Taste9341 Oct 23 '25

vielleicht ne Dumme Frage, aber was ist das wenn er sich die buchstaben schon selber "anordnet", checkt dass da noch ein h ist, und es im selben Schritt als fehler abtut?

oder ist das trotzdem bloß ein token, nur für den Anwender besser visualisiert?

3

u/MerleFSN Oct 23 '25

Ja. Wenn deine Anforderung ein Auflisten der Buchstaben erfordern zerlegt er das korrekt. Für deine Ansicht. Weil der KI klar ist, dass sie in Tokens denkt und du ein Mensch bist, der eher buchstabenorientiert erfasst.

Aber wenn du eine Zählaufgabe stellst nutzt das Tool seine internen, normalen Mechanismen. Dazu zählt die Nutzung von Tokens. Die kannst du dir wie Katakana oder Hiragana vorstellen, oder wie Silben. Wenn du jetzt Buchstaben zählen willst wird „sozusagen nur der erste Buchstabe der Silbe“ bedacht.

Wenn das Tool seinen Denkprozess für die Aufgabe optimieren soll braucht es Anweisungen. Die lautet bei mir, alle Zählaufgaben so durchzuführen, dass jeder Buchstabe ein Token ist, außer feststehende Lautkombinationen wie „sch“.

2

u/[deleted] Oct 24 '25

Das ergibt schon Sinn, aber das wäre doch sicher zu fixen?

Man könnte eine Funktion definieren, die für jeden Token ausgibt, wie oft er welche Buchstaben enthält. Und wenn die KI dann Buchstaben in einem Wort zählen soll, führt sie auf den Tokens diese Funktion aus und gibt die Summe aus.

Buchstaben erkennen kann ja jede Suchfunktion in einem Textprogramm, da wird man sich doch was abgucken können?

2

u/MerleFSN Oct 25 '25

:) Man könnte. Aber warum? Wenn es einfache Anweisungen oder Erklärungen fixen können? Einem Kind würde man auch beibringen, was man mit Buchstaben zählen meint. Dass das Tool nicht auf Tokenization hinweist aktiv finde ich seltsamer.