huggingface-tokenizers

SKILL.md

| tokenizers | Speed, custom training, production | | SentencePiece | T5/ALBERT, language-independent | | tiktoken | OpenAI models (GPT) |

"토큰나이저", "HuggingFace 토크나이저", "BPE", "WordPiece" 또는 "트레인 토크나이저", "사용자 지정 어휘", "토큰화", "하위 단어", "빠른 토크나이저", "텍스트 인코딩"에 대해 문의할 때 사용하세요. 출처: eyadsibai/ltk.

터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/eyadsibai/ltk --skill huggingface-tokenizers 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code나 Cursor에서 사용할 수 있습니다

보안 인증 완료, 신뢰할 수 있는 코드 원클릭 설치, 간편한 설정 Claude Code, Cursor 등 지원

원본 보기