huggingface-tokenizers
✓À utiliser lorsque "tokenizers", "HuggingFace tokenizer", "BPE", "WordPièce" ou lorsque vous posez des questions sur "train tokenizer", "vocabulaire personnalisé", "tokenisation", "sous-mot", "fast tokenizer", "encodage de texte"
Installation
SKILL.md
| tokenizers | Speed, custom training, production | | SentencePiece | T5/ALBERT, language-independent | | tiktoken | OpenAI models (GPT) |
À utiliser lorsque "tokenizers", "HuggingFace tokenizer", "BPE", "WordPièce" ou lorsque vous posez des questions sur "train tokenizer", "vocabulaire personnalisé", "tokenisation", "sous-mot", "fast tokenizer", "encodage de texte" Source : eyadsibai/ltk.
Ouvrez votre terminal ou outil de ligne de commande (Terminal, iTerm, Windows Terminal, etc.) Copiez et exécutez cette commande : npx skills add https://github.com/eyadsibai/ltk --skill huggingface-tokenizers Une fois installé, le skill sera automatiquement configuré dans votre environnement de programmation IA et prêt à être utilisé dans Claude Code ou Cursor
Certifié sécurisé pour un code sûr et fiable Installation en un clic et configuration simplifiée Compatible avec Claude Code, Cursor et plus
Faits (prêts à citer)
Champs et commandes stables pour les citations IA/recherche.
- Commande d'installation
npx skills add https://github.com/eyadsibai/ltk --skill huggingface-tokenizers- Source
- eyadsibai/ltk
- Catégorie
- </>Développement
- Vérifié
- ✓
- Première apparition
- 2026-02-17
- Mis à jour
- 2026-02-18
Réponses rapides
Qu'est-ce que huggingface-tokenizers ?
À utiliser lorsque "tokenizers", "HuggingFace tokenizer", "BPE", "WordPièce" ou lorsque vous posez des questions sur "train tokenizer", "vocabulaire personnalisé", "tokenisation", "sous-mot", "fast tokenizer", "encodage de texte" Source : eyadsibai/ltk.
Comment installer huggingface-tokenizers ?
Ouvrez votre terminal ou outil de ligne de commande (Terminal, iTerm, Windows Terminal, etc.) Copiez et exécutez cette commande : npx skills add https://github.com/eyadsibai/ltk --skill huggingface-tokenizers Une fois installé, le skill sera automatiquement configuré dans votre environnement de programmation IA et prêt à être utilisé dans Claude Code ou Cursor
Où se trouve le dépôt source ?
https://github.com/eyadsibai/ltk
Détails
- Catégorie
- </>Développement
- Source
- skills.sh
- Première apparition
- 2026-02-17