Vous soumettez le même prompt deux fois à Claude et obtenez des réponses complètement différentes. Même entrée, sortie aléatoire. Le problème n’est pas votre prompt, ce sont les paramètres d’échantillonnage que vous n’avez pas touchés.
La température, le top-p et le top-k sont des réglages qui contrôlent la créativité ou le caractère déterministe de votre modèle. Mal les régler et vous courrez après des fantômes avec des révisions de prompts. Bien les régler et vous pouvez exécuter des systèmes de production qui ne vous surprendront pas.
Ce que font réellement ces paramètres
Lorsqu’un LLM génère du texte, il ne choisit pas simplement le
