sentencepiece
✓텍스트를 원시 유니코드로 처리하는 언어 독립적인 토크나이저입니다. BPE 및 Unigram 알고리즘을 지원합니다. 빠르고(50,000문장/초), 경량(6MB 메모리), 결정론적 어휘. T5, ALBERT, XLNet, mBART에서 사용됩니다. 사전 토큰화 없이 원시 텍스트를 학습합니다. 다국어 지원, CJK 언어 또는 재현 가능한 토큰화가 필요할 때 사용하세요.
SKILL.md
Unsupervised tokenizer that works on raw text without language-specific preprocessing.
Key principle: Treat text as raw Unicode, whitespace = ▁ (meta symbol)
| English | 0.9995 | Most common chars | | CJK (Chinese) | 1.0 | All characters needed | | Multilingual | 0.9995 | Balance |
텍스트를 원시 유니코드로 처리하는 언어 독립적인 토크나이저입니다. BPE 및 Unigram 알고리즘을 지원합니다. 빠르고(50,000문장/초), 경량(6MB 메모리), 결정론적 어휘. T5, ALBERT, XLNet, mBART에서 사용됩니다. 사전 토큰화 없이 원시 텍스트를 학습합니다. 다국어 지원, CJK 언어 또는 재현 가능한 토큰화가 필요할 때 사용하세요. 출처: ovachiever/droid-tings.
인용 가능한 정보
AI/검색 인용용 안정적인 필드와 명령어.
- 설치 명령어
npx skills add https://github.com/ovachiever/droid-tings --skill sentencepiece- 카테고리
- </>개발 도구
- 인증됨
- ✓
- 최초 등록
- 2026-02-01
- 업데이트
- 2026-02-18
빠른 답변
sentencepiece이란?
텍스트를 원시 유니코드로 처리하는 언어 독립적인 토크나이저입니다. BPE 및 Unigram 알고리즘을 지원합니다. 빠르고(50,000문장/초), 경량(6MB 메모리), 결정론적 어휘. T5, ALBERT, XLNet, mBART에서 사용됩니다. 사전 토큰화 없이 원시 텍스트를 학습합니다. 다국어 지원, CJK 언어 또는 재현 가능한 토큰화가 필요할 때 사용하세요. 출처: ovachiever/droid-tings.
sentencepiece 설치 방법은?
터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/ovachiever/droid-tings --skill sentencepiece 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code나 Cursor에서 사용할 수 있습니다
소스 저장소는 어디인가요?
https://github.com/ovachiever/droid-tings
상세
- 카테고리
- </>개발 도구
- 출처
- skills.sh
- 최초 등록
- 2026-02-01