Количество максимальных токенов, которые можно сгенерировать. Убедитесь, что сумма введенных токенов и max_tokens не превышает размер контекстного окна модели. Поскольку некоторые сервисы все еще находятся в процессе обновления, рекомендуется не устанавливать max_tokens равным размеру контекстного окна; это позволит избежать избыточных затрат как на ввод данных, так и на работу системы.

Количество максимально возможных токенов, которые можно сгенерировать. Убедитесь, что сумма введенных токенов и max_tokens не превышает размер контекстного окна модели. Поскольку некоторые сервисы все еще находятся в процессе обновления, рекомендуется не устанавливать max_tokens равным размеру контекстного окна; оставьте примерно 10 тысяч токенов в качестве буфера для входных данных и системных затрат. Подробнее см. Models。