Mit Max. Tokens bestimmst du die Textlänge der Antwort des Chatbots. Dies ist nur ein Richtwert für die Chat Models. Das Model versucht dann annähernd einen Text in der gewünschten Länge zu generieren.
Was sind Tokens?
Chat Models zerlegen Texte in Segmente (Tokens) um daraus eine mögliche Antwort zu errechnen. Wie viele Tokens aus einem Text generiert werden hängt unter anderem von der Sprache ab in der das Model Texte generiert. Im englischen ist 1 Token ungeführ 4-5 Zeichen oder 1 Wort ungefähr 1,5 Tokens.
Welche Einstellungen sind sinnvoll?
Für nomale Chatunterhaltungen ist ein wert von 70-100 Tokens für die Antwort meist ausreichend. In Rollenspielen kann es sinnvoll sein diese Zahl zu erhöhen. Meisten ist hier ein Wert von maximal 200 Tokens ausreichend.
Versuche verschiedene Werte um die für dich beste Einstellung für deine Chat Szenarien zu finden. Bedenke aber, je mehr Text generiert wird, desto mehr Kosten entstehen dafür.
Max. Tokens im ChatGPT Menü einstellen:
Max. Tokens im Web Interface einstellen: