huggingface-tokenizers
✓Tokenizers rapides optimisés pour la recherche et la production. L’implémentation basée sur Rust tokenise 1 Go en <20 secondes. Prend en charge les algorithmes BPE, WordPièce et Unigram. Entraînez des vocabulaires personnalisés, suivez les alignements, gérez le remplissage/troncation. S'intègre parfaitement aux transformateurs. À utiliser lorsque vous avez besoin d'une tokenisation hautes performances ou d'une formation sur la tokenisation personnalisée.
Installation
SKILL.md
Fast, production-ready tokenizers with Rust performance and Python ease-of-use.
Training time: 1-2 minutes for 100MB corpus, 10-20 minutes for 1GB
Complete pipeline: Normalization → Pre-tokenization → Model → Post-processing
Tokenizers rapides optimisés pour la recherche et la production. L’implémentation basée sur Rust tokenise 1 Go en <20 secondes. Prend en charge les algorithmes BPE, WordPièce et Unigram. Entraînez des vocabulaires personnalisés, suivez les alignements, gérez le remplissage/troncation. S'intègre parfaitement aux transformateurs. À utiliser lorsque vous avez besoin d'une tokenisation hautes performances ou d'une formation sur la tokenisation personnalisée. Source : ovachiever/droid-tings.
Faits (prêts à citer)
Champs et commandes stables pour les citations IA/recherche.
- Commande d'installation
npx skills add https://github.com/ovachiever/droid-tings --skill huggingface-tokenizers- Source
- ovachiever/droid-tings
- Catégorie
- </>Développement
- Vérifié
- ✓
- Première apparition
- 2026-02-01
- Mis à jour
- 2026-02-18
Réponses rapides
Qu'est-ce que huggingface-tokenizers ?
Tokenizers rapides optimisés pour la recherche et la production. L’implémentation basée sur Rust tokenise 1 Go en <20 secondes. Prend en charge les algorithmes BPE, WordPièce et Unigram. Entraînez des vocabulaires personnalisés, suivez les alignements, gérez le remplissage/troncation. S'intègre parfaitement aux transformateurs. À utiliser lorsque vous avez besoin d'une tokenisation hautes performances ou d'une formation sur la tokenisation personnalisée. Source : ovachiever/droid-tings.
Comment installer huggingface-tokenizers ?
Ouvrez votre terminal ou outil de ligne de commande (Terminal, iTerm, Windows Terminal, etc.) Copiez et exécutez cette commande : npx skills add https://github.com/ovachiever/droid-tings --skill huggingface-tokenizers Une fois installé, le skill sera automatiquement configuré dans votre environnement de programmation IA et prêt à être utilisé dans Claude Code ou Cursor
Où se trouve le dépôt source ?
https://github.com/ovachiever/droid-tings
Détails
- Catégorie
- </>Développement
- Source
- skills.sh
- Première apparition
- 2026-02-01