prompt-repetition

LLMs are trained as Causal Language Models, where each token attends only to previous tokens. This leads to:

Prompt repetition enables the second pass to reference the entire first pass, effectively mimicking some benefits of bidirectional attention.

In the second repetition, the model reprocesses information across the entire first prompt and strengthens attention weights on key concepts, resulting in improved performance.

تقنية التكرار السريع لتحسين دقة LLM. يحقق مكاسب كبيرة في الأداء بنسبة 67% (47/70) من 70 معيارًا. يتم تطبيقه تلقائيًا على الموديلات خفيفة الوزن (هايكو، فلاش، ميني). المصدر: akillness/skills-template.