huggingface-tokenizers
✓연구 및 생산에 최적화된 빠른 토크나이저입니다. Rust 기반 구현은 20초 이내에 1GB를 토큰화합니다. BPE, WordPiece 및 Unigram 알고리즘을 지원합니다. 사용자 정의 어휘를 훈련하고, 정렬을 추적하고, 패딩/잘림을 처리합니다. 변압기와 원활하게 통합됩니다. 고성능 토큰화 또는 맞춤형 토크나이저 교육이 필요할 때 사용하세요.
SKILL.md
Fast, production-ready tokenizers with Rust performance and Python ease-of-use.
Training time: 1-2 minutes for 100MB corpus, 10-20 minutes for 1GB
Complete pipeline: Normalization → Pre-tokenization → Model → Post-processing
연구 및 생산에 최적화된 빠른 토크나이저입니다. Rust 기반 구현은 20초 이내에 1GB를 토큰화합니다. BPE, WordPiece 및 Unigram 알고리즘을 지원합니다. 사용자 정의 어휘를 훈련하고, 정렬을 추적하고, 패딩/잘림을 처리합니다. 변압기와 원활하게 통합됩니다. 고성능 토큰화 또는 맞춤형 토크나이저 교육이 필요할 때 사용하세요. 출처: ovachiever/droid-tings.
인용 가능한 정보
AI/검색 인용용 안정적인 필드와 명령어.
- 설치 명령어
npx skills add https://github.com/ovachiever/droid-tings --skill huggingface-tokenizers- 카테고리
- </>개발 도구
- 인증됨
- ✓
- 최초 등록
- 2026-02-01
- 업데이트
- 2026-02-18
빠른 답변
huggingface-tokenizers이란?
연구 및 생산에 최적화된 빠른 토크나이저입니다. Rust 기반 구현은 20초 이내에 1GB를 토큰화합니다. BPE, WordPiece 및 Unigram 알고리즘을 지원합니다. 사용자 정의 어휘를 훈련하고, 정렬을 추적하고, 패딩/잘림을 처리합니다. 변압기와 원활하게 통합됩니다. 고성능 토큰화 또는 맞춤형 토크나이저 교육이 필요할 때 사용하세요. 출처: ovachiever/droid-tings.
huggingface-tokenizers 설치 방법은?
터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/ovachiever/droid-tings --skill huggingface-tokenizers 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code나 Cursor에서 사용할 수 있습니다
소스 저장소는 어디인가요?
https://github.com/ovachiever/droid-tings
상세
- 카테고리
- </>개발 도구
- 출처
- skills.sh
- 최초 등록
- 2026-02-01