sentencepiece
✓獨立於語言的分詞器將文字視為原始 Unicode。支援 BPE 和 Unigram 演算法。快速（50k 句子/秒）、輕量級（6MB 記憶體）、確定性詞彙。由 T5、ALBERT、XLNet、mBART 使用。在沒有預標記化的情況下訓練原始文字。當您需要多語言支援、CJK 語言或可重現的標記化時使用。
SKILL.md
Unsupervised tokenizer that works on raw text without language-specific preprocessing.
Key principle: Treat text as raw Unicode, whitespace = ▁ (meta symbol)
| English | 0.9995 | Most common chars | | CJK (Chinese) | 1.0 | All characters needed | | Multilingual | 0.9995 | Balance |
獨立於語言的分詞器將文字視為原始 Unicode。支援 BPE 和 Unigram 演算法。快速（50k 句子/秒）、輕量級（6MB 記憶體）、確定性詞彙。由 T5、ALBERT、XLNet、mBART 使用。在沒有預標記化的情況下訓練原始文字。當您需要多語言支援、CJK 語言或可重現的標記化時使用。 來源：orchestra-research/ai-research-skills。
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/orchestra-research/ai-research-skills --skill sentencepiece- 分類
- </>開發工具
- 認證
- ✓
- 收錄時間
- 2026-02-11
- 更新時間
- 2026-02-18
快速解答
什麼是 sentencepiece？
獨立於語言的分詞器將文字視為原始 Unicode。支援 BPE 和 Unigram 演算法。快速（50k 句子/秒）、輕量級（6MB 記憶體）、確定性詞彙。由 T5、ALBERT、XLNet、mBART 使用。在沒有預標記化的情況下訓練原始文字。當您需要多語言支援、CJK 語言或可重現的標記化時使用。 來源：orchestra-research/ai-research-skills。
如何安裝 sentencepiece？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/orchestra-research/ai-research-skills --skill sentencepiece 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
這個 Skill 的原始碼在哪？
https://github.com/orchestra-research/ai-research-skills
詳情
- 分類
- </>開發工具
- 來源
- skills.sh
- 收錄時間
- 2026-02-11