Cuantidad máxima de tokens que se deben generar. Asegúrese de que la suma de los tokens ingresados y max_tokens no exceda el tamaño del ventana de contexto del modelo.
Cuantidad máxima de tokens que se pueden generar. Asegúrese de que la suma de los tokens de entrada y max_tokens no exceda el tamaño de la ventana de contexto del modelo. Dado que algunos servicios aún están en proceso de actualización, se recomienda no establecer max_tokens al límite máximo de la ventana; reserve un espacio de buffer de aproximadamente 10k tokens para la entrada y el costo del sistema. Para más detalles, consulte Models。
Publicado por @oneai en AIRAI. Contáctanos si tienes dudas.
Enlace del artículo:https://airai.cc/es/news/44/
Enlace del artículo:https://airai.cc/es/news/44/
¿Te ha resultado útil?