Fournisseur et modèle
- Fournisseur - sélectionnez le fournisseur de LLM.
- Modèle - sélectionnez le modèle précis de ce fournisseur. Chaque modèle a ses points forts : les grands modèles de raisonnement pour les tâches exigeant beaucoup de planification, et les petits modèles plus rapides pour les requêtes courantes.
Limites de contexte et de sortie
- Nombre maximal de tokens de contexte - limite la quantité totale de contexte que l’agent envoie au modèle. Laissez System pour utiliser la valeur par défaut du modèle. Réduisez-la pour diminuer le coût ; augmentez-la pour les agents qui doivent traiter de gros volumes d’entrée.
- Nombre maximal de tokens de sortie - limite la taille de la réponse de l’agent. System utilise la valeur par défaut du modèle. Définissez une valeur plus basse si les réponses sont trop longues, ou plus élevée si elles sont tronquées.
- Limite de tokens par fichier - limite le nombre de tokens qu’un seul fichier chargé ajoute au contexte. Utile lorsque les utilisateurs joignent de gros fichiers et que vous ne voulez pas qu’ils monopolisent le reste de la conversation.
Échantillonnage
- Température - aléatoire. Des valeurs plus élevées (0.7–1.0) = plus d’aléatoire, tandis que des valeurs plus faibles (0.0–0.3) = un comportement plus ciblé et plus déterministe. Nous recommandons de modifier ce paramètre ou Top P, mais pas les deux.
- Top P - échantillonnage par noyau. Modifie la manière dont le modèle sélectionne les tokens en sortie.
- Top K - limite l’échantillonnage aux K tokens les plus probables à chaque étape. Pris en charge par certains fournisseurs ; contrôle le déterminisme sur un autre axe que la température.
Contrôles du raisonnement
- Thinking - active ou désactive le mode de raisonnement étendu du modèle. Lorsqu’il est activé, le modèle génère des tokens de réflexion internes avant sa réponse finale ; cela améliore généralement la précision sur les tâches difficiles, au prix d’une latence accrue et d’une consommation de tokens plus élevée.
- Thinking Budget - définit un budget de tokens pour la phase de réflexion. Le modèle cesse de réfléchir et répond une fois ce budget épuisé.
- Effort - réglage général du niveau d’effort de raisonnement (Auto, faible, moyen, élevé). Utilisé par les modèles de raisonnement qui n’exposent pas directement de budget de tokens de réflexion.
- Thought Visibility - détermine si la réflexion du modèle est affichée directement à l’utilisateur, masquée dans une section repliée ou entièrement omise.
Comportement de la conversation
- Renvoyer les fichiers - lorsqu’elle est activée, les fichiers joints dans les échanges précédents sont renvoyés à chaque échange suivant afin que le modèle ne les perde pas de vue. Désactivez cette option pour économiser des tokens si la conversation est courte ou si le modèle résume les fichiers au fur et à mesure.
- Utiliser la mise en cache des prompts - lorsqu’elle est prise en charge par le fournisseur, met en cache les parties réutilisables du prompt afin de réduire les coûts et la latence dans les conversations où les instructions et les descriptions des outils se répètent d’un échange à l’autre.
- Recherche web - active ou désactive la recherche web native du fournisseur sur les modèles pris en charge. Cela se distingue de l’outil de recherche web, qui s’exécute comme l’un des outils de l’agent plutôt qu’en tant que fonctionnalité du fournisseur.