huggingface-tokenizers
✓Tokenizadores rápidos optimizados para investigación y producción. La implementación basada en Rust tokeniza 1 GB en <20 segundos. Admite algoritmos BPE, Wordpiece y Unigram. Entrene vocabularios personalizados, realice un seguimiento de las alineaciones y maneje el relleno/truncamiento. Se integra perfectamente con transformadores. Úselo cuando necesite tokenización de alto rendimiento o capacitación personalizada en tokenizadores.
SKILL.md
Fast, production-ready tokenizers with Rust performance and Python ease-of-use.
Training time: 1-2 minutes for 100MB corpus, 10-20 minutes for 1GB
Complete pipeline: Normalization → Pre-tokenization → Model → Post-processing
Tokenizadores rápidos optimizados para investigación y producción. La implementación basada en Rust tokeniza 1 GB en <20 segundos. Admite algoritmos BPE, Wordpiece y Unigram. Entrene vocabularios personalizados, realice un seguimiento de las alineaciones y maneje el relleno/truncamiento. Se integra perfectamente con transformadores. Úselo cuando necesite tokenización de alto rendimiento o capacitación personalizada en tokenizadores. Fuente: orchestra-research/ai-research-skills.
Datos (listos para citar)
Campos y comandos estables para citas de IA/búsqueda.
- Comando de instalación
npx skills add https://github.com/orchestra-research/ai-research-skills --skill huggingface-tokenizers- Categoría
- </>Desarrollo
- Verificado
- ✓
- Primera vez visto
- 2026-02-11
- Actualizado
- 2026-02-18
Respuestas rápidas
¿Qué es huggingface-tokenizers?
Tokenizadores rápidos optimizados para investigación y producción. La implementación basada en Rust tokeniza 1 GB en <20 segundos. Admite algoritmos BPE, Wordpiece y Unigram. Entrene vocabularios personalizados, realice un seguimiento de las alineaciones y maneje el relleno/truncamiento. Se integra perfectamente con transformadores. Úselo cuando necesite tokenización de alto rendimiento o capacitación personalizada en tokenizadores. Fuente: orchestra-research/ai-research-skills.
¿Cómo instalo huggingface-tokenizers?
Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/orchestra-research/ai-research-skills --skill huggingface-tokenizers Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code o Cursor
¿Dónde está el repositorio de origen?
https://github.com/orchestra-research/ai-research-skills
Detalles
- Categoría
- </>Desarrollo
- Fuente
- skills.sh
- Primera vez visto
- 2026-02-11