prompt-engineering

Effective prompt engineering is fundamentally about closing two gaps between human intent and model behavior. Understanding which gap you're dealing with determines whether prompt refinement will actually solve your problem.

This gulf separates what you mean from what you actually wrote in the prompt. Your intent — the task you want the LLM to perform — is often only loosely captured by the words you write. Specifying tasks precisely in natural language is surprisingly hard.

Even prompts that seem clear often leave crucial details unstated. For example:

Utilizza questa competenza durante la creazione, la revisione o il miglioramento dei prompt per le pipeline LLM, inclusi i prompt delle attività, i prompt di sistema e i prompt LLM-as-Judge. I trigger includono: richieste di scrivere o perfezionare un prompt, diagnosticare il motivo per cui un LLM produce output incoerenti o errati, colmare il divario tra intento e comportamento del modello, ridurre l'ambiguità nelle istruzioni, aggiungere pochi esempi, strutturare prompt complessi o migliorare la formattazione dell'output. Da utilizzare anche quando l'utente ha bisogno di aiuto per distinguere gli errori di specifica (istruzioni poco chiare) dagli errori di generalizzazione (limitazioni del modello) o quando si eseguono iterazioni su prompt in base alle modalità di errore osservate. NON utilizzare per attività generali di codifica, creazione di documenti o scrittura non LLM. Fonte: maragudk/evals-skills.