Nombre maximal de tokens à générer. Assurez-vous que la somme des tokens entrés et de max_tokens ne dépasse pas la fenêtre de contexte du modèle.
Nombre maximal de tokens à générer. Assurez-vous que la somme des tokens entrés et de max_tokens ne dépasse pas la fenêtre de contexte du modèle. Comme certaines services sont encore en cours de mise à jour, il est conseillé de ne pas définir max_tokens comme la limite supérieure de la fenêtre ; réservez environ 10 000 tokens de marge pour les entrées et les coûts système. Pour plus de détails, veuillez consulter Models。
Publié par @oneai sur AIRAI. Contactez-nous en cas de question.
Lien de l’article :https://airai.cc/fr/news/44/
Lien de l’article :https://airai.cc/fr/news/44/
Cela vous a-t-il aidé ?