ما هي long-context؟
قم بتوسيع نوافذ السياق لنماذج المحولات باستخدام تقنيات RoPE وYaRN وALiBi واستيفاء الموضع. يُستخدم عند معالجة المستندات الطويلة (32 ألف - 128 ألف+ الرموز المميزة)، أو توسيع النماذج المدربة مسبقًا إلى ما هو أبعد من حدود السياق الأصلية، أو تنفيذ ترميز موضعي فعال. يغطي التضمينات الدوارة، وتحيزات الانتباه، وطرق الاستيفاء، واستراتيجيات الاستقراء لماجستير القانون. المصدر: ovachiever/droid-tings.