long-context
✓RoPE, YaRN, ALiBi 및 위치 보간 기술을 사용하여 변압기 모델의 컨텍스트 창을 확장합니다. 긴 문서(32k-128k+ 토큰)를 처리하거나 사전 학습된 모델을 원래 컨텍스트 제한 이상으로 확장하거나 효율적인 위치 인코딩을 구현할 때 사용합니다. LLM에 대한 회전식 임베딩, 주의 편향, 보간 방법 및 외삽 전략을 다룹니다.
SKILL.md
Key Techniques: RoPE (Rotary Position Embeddings), YaRN, ALiBi (Attention with Linear Biases), Position Interpolation
Papers: RoFormer (arXiv 2104.09864), YaRN (arXiv 2309.00071), ALiBi (arXiv 2108.12409), Position Interpolation (arXiv 2306.15595)
| Method | Max Context | Training Needed | Memory | Extrapolation | Best For |
RoPE, YaRN, ALiBi 및 위치 보간 기술을 사용하여 변압기 모델의 컨텍스트 창을 확장합니다. 긴 문서(32k-128k+ 토큰)를 처리하거나 사전 학습된 모델을 원래 컨텍스트 제한 이상으로 확장하거나 효율적인 위치 인코딩을 구현할 때 사용합니다. LLM에 대한 회전식 임베딩, 주의 편향, 보간 방법 및 외삽 전략을 다룹니다. 출처: orchestra-research/ai-research-skills.
인용 가능한 정보
AI/검색 인용용 안정적인 필드와 명령어.
- 설치 명령어
npx skills add https://github.com/orchestra-research/ai-research-skills --skill long-context- 카테고리
- </>개발 도구
- 인증됨
- ✓
- 최초 등록
- 2026-02-11
- 업데이트
- 2026-02-18
빠른 답변
long-context이란?
RoPE, YaRN, ALiBi 및 위치 보간 기술을 사용하여 변압기 모델의 컨텍스트 창을 확장합니다. 긴 문서(32k-128k+ 토큰)를 처리하거나 사전 학습된 모델을 원래 컨텍스트 제한 이상으로 확장하거나 효율적인 위치 인코딩을 구현할 때 사용합니다. LLM에 대한 회전식 임베딩, 주의 편향, 보간 방법 및 외삽 전략을 다룹니다. 출처: orchestra-research/ai-research-skills.
long-context 설치 방법은?
터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/orchestra-research/ai-research-skills --skill long-context 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code나 Cursor에서 사용할 수 있습니다
소스 저장소는 어디인가요?
https://github.com/orchestra-research/ai-research-skills
상세
- 카테고리
- </>개발 도구
- 출처
- skills.sh
- 최초 등록
- 2026-02-11