要生成的最大 token 數量。確保輸入 token 與 max_tokens 之和不超過模型的上下文窗口。由於部分服務仍在更新中,建議不要將 max_tokens 設置為窗口上限;為輸入和系統開銷預
要生成的最大 token 數量。確保輸入 token 與 max_tokens 之和不超過模型的上下文窗口。由於部分服務仍在更新中,建議不要將 max_tokens 設置為窗口上限;為輸入和系統開銷預留約 10k token 的緩衝空間。詳情請參見 Models。
有用嗎?
要生成的最大 token 數量。確保輸入 token 與 max_tokens 之和不超過模型的上下文窗口。由於部分服務仍在更新中,建議不要將 max_tokens 設置為窗口上限;為輸入和系統開銷預留約 10k token 的緩衝空間。詳情請參見 Models。
有用嗎?