Mit Max. Tokens bestimmst du die Textlänge der Antwort des Chatbots. Dies ist nur ein Richtwert für die Chat Models. Das Model versucht dann annähernd einen Text in der gewünschten Länge zu generieren.
Was sind Tokens?
Chat Models zerlegen Texte in Segmente (Tokens) um daraus eine mögliche Antwort zu errechnen. Wie viele Tokens aus einem Text generiert werden hängt unter anderem von der Sprache ab in der das Model Texte generiert. Im englischen ist 1 Token ungefähr 4-5 Zeichen oder 1 Wort ungefähr 1,5 Tokens.
Welche Einstellungen sind sinnvoll?
Für nomale Chatunterhaltungen ist ein wert von 50-70 Tokens für die Antwort meist ausreichend. Wenn etwas auführlichere Antworten gewünscht sind (z.B. Entertain Modus), dann empfehlen sich werte zwischen 80-120. In Rollenspielen, wo meist sehr ausführliche Antworten gewünscht werden, sind Werte von 160-260 meist gut. Dies sind gute Empfehlungen. Chatmodelle sind jedoch sehr komplexe systeme, darum empfielt es sich zu experimentieren welche Werte bei bestimmten Models für dich am Besten passen.
Oft ist es auch eine sehr gute Lösung wenn du die Max Tokens höher als oben vorgeschlagen ansetzt und in der Bio deines Bots eine klar Anweisung wie: "Generiere maximal 3-4 Sätze als Antwort" hinzufügst.
Bedenke aber in jedem Fall, je mehr Text dein Chatbot genieriert desto höher ist auch der Tokenverbrauch.
Max. Tokens im Chat AI Menü einstellen:
Max. Tokens im Web Interface einstellen: