prompt-engineering

Effective prompt engineering is fundamentally about closing two gaps between human intent and model behavior. Understanding which gap you're dealing with determines whether prompt refinement will actually solve your problem.

This gulf separates what you mean from what you actually wrote in the prompt. Your intent — the task you want the LLM to perform — is often only loosely captured by the words you write. Specifying tasks precisely in natural language is surprisingly hard.

Even prompts that seem clear often leave crucial details unstated. For example:

Utilisez cette compétence lors de la création, de la révision ou de l'amélioration des invites pour les pipelines LLM, y compris les invites de tâches, les invites système et les invites LLM-as-Judge. Les déclencheurs incluent : les demandes d'écriture ou d'affinement d'une invite, diagnostiquer pourquoi un LLM produit des sorties incohérentes ou incorrectes, combler le fossé entre l'intention et le comportement du modèle, réduire l'ambiguïté dans les instructions, ajouter quelques exemples, structurer des invites complexes ou améliorer le formatage de la sortie. À utiliser également lorsque l'utilisateur a besoin d'aide pour distinguer les échecs de spécification (instructions peu claires) des échecs de généralisation (limitations du modèle), ou lors d'une itération sur des invites basées sur les modes de défaillance observés. Ne PAS utiliser pour des tâches générales de codage, la création de documents ou l'écriture non-LLM. Source : maragudk/evals-skills.