Quantidade máxima de tokens a serem gerados. Certifique-se de que a soma dos tokens de entrada e max_tokens não exceda a janela de contexto do modelo.
Quantidade máxima de tokens a serem gerados. Certifique-se de que a soma dos tokens de entrada e max_tokens não exceda a janela de contexto do modelo. Como alguns serviços ainda estão em atualização, é recomendado não definir max_tokens como o limite máximo da janela; reserve cerca de 10k tokens como buffer para a entrada e o consumo do sistema. Para mais detalhes, consulte Models。
Publicado por @oneai em AIRAI. Entre em contato se tiver dúvidas.
Link do artigo:https://airai.cc/pt/news/44/
Link do artigo:https://airai.cc/pt/news/44/
Isso foi útil?