prompt-engineering

Effective prompt engineering is fundamentally about closing two gaps between human intent and model behavior. Understanding which gap you're dealing with determines whether prompt refinement will actually solve your problem.

This gulf separates what you mean from what you actually wrote in the prompt. Your intent — the task you want the LLM to perform — is often only loosely captured by the words you write. Specifying tasks precisely in natural language is surprisingly hard.

Even prompts that seem clear often leave crucial details unstated. For example:

Nutzen Sie diese Fertigkeit beim Erstellen, Überprüfen oder Verbessern von Eingabeaufforderungen für LLM-Pipelines – einschließlich Aufgabeneingabeaufforderungen, Systemeingabeaufforderungen und LLM-as-Judge-Eingabeaufforderungen. Zu den Auslösern gehören: Anfragen, eine Eingabeaufforderung zu schreiben oder zu verfeinern, zu diagnostizieren, warum ein LLM inkonsistente oder falsche Ausgaben erzeugt, die Lücke zwischen Absicht und Modellverhalten zu schließen, Mehrdeutigkeiten in Anweisungen zu reduzieren, Beispiele mit wenigen Schüssen hinzuzufügen, komplexe Eingabeaufforderungen zu strukturieren oder die Ausgabeformatierung zu verbessern. Verwenden Sie es auch, wenn der Benutzer Hilfe bei der Unterscheidung von Spezifikationsfehlern (unklaren Anweisungen) von Generalisierungsfehlern (Modelleinschränkungen) benötigt oder wenn er Eingabeaufforderungen basierend auf beobachteten Fehlermodi iteriert. NICHT für allgemeine Codierungsaufgaben, Dokumenterstellung oder Nicht-LLM-Schreiben verwenden. Quelle: maragudk/evals-skills.