prompt-engineering

Effective prompt engineering is fundamentally about closing two gaps between human intent and model behavior. Understanding which gap you're dealing with determines whether prompt refinement will actually solve your problem.

This gulf separates what you mean from what you actually wrote in the prompt. Your intent — the task you want the LLM to perform — is often only loosely captured by the words you write. Specifying tasks precisely in natural language is surprisingly hard.

Even prompts that seem clear often leave crucial details unstated. For example:

このスキルは、タスク プロンプト、システム プロンプト、LLM-as-Judge プロンプトなど、LLM パイプラインのプロンプトを作成、レビュー、または改善するときに使用します。トリガーには、プロンプトの作成または調整のリクエスト、LLM が一貫性のない出力または不正確な出力を生成する理由の診断、意図とモデルの動作の間のギャップを埋める、命令の曖昧さの軽減、ショット数の少ないサンプルの追加、複雑なプロンプトの構造、または出力フォーマットの改善などのリクエストが含まれます。また、ユーザーが仕様の失敗 (不明確な指示) と一般化の失敗 (モデルの制限) を区別する助けが必要な場合、または観察された失敗モードに基づいてプロンプトを反復処理するときにも使用します。一般的なコーディング作業、ドキュメント作成、LLM 以外の執筆には使用しないでください。 ソース: maragudk/evals-skills。