·huggingface-tokenizers
</>

huggingface-tokenizers

✓
orchestra-research/ai-research-skillsGitHub: orchestra-research/ai-research-skillsFonte: orchestra-research/ai-research-skills

Tokenizzatori veloci ottimizzati per la ricerca e la produzione. L'implementazione basata su Rust tokenizza 1 GB in <20 secondi. Supporta gli algoritmi BPE, WordPiece e Unigram. Addestra vocabolari personalizzati, tieni traccia degli allineamenti, gestisci il riempimento/troncamento. Si integra perfettamente con i trasformatori. Da utilizzare quando è necessaria una tokenizzazione ad alte prestazioni o una formazione personalizzata sui tokenizer.

orchestra-research·huggingface·tokenizers
38Installazioni·2Tendenza·@orchestra-research

Installazione

GitHub: orchestra-research/ai-research-skills
$npx skills add https://github.com/orchestra-research/ai-research-skills --skill huggingface-tokenizers

Come installare huggingface-tokenizers

Installa rapidamente la skill AI huggingface-tokenizers nel tuo ambiente di sviluppo tramite riga di comando

  1. Apri il terminale: Apri il tuo terminale o strumento da riga di comando (Terminal, iTerm, Windows Terminal, ecc.)
  2. Esegui il comando di installazione: Copia ed esegui questo comando: npx skills add https://github.com/orchestra-research/ai-research-skills --skill huggingface-tokenizers
  3. Verifica l'installazione: Dopo l'installazione, la skill verrà configurata automaticamente nel tuo ambiente AI di coding e sarà pronta all'uso in Claude Code, Cursor o OpenClaw

Fonte: orchestra-research/ai-research-skills.

SKILL.md

Visualizza raw

Fast, production-ready tokenizers with Rust performance and Python ease-of-use.

Training time: 1-2 minutes for 100MB corpus, 10-20 minutes for 1GB

Complete pipeline: Normalization → Pre-tokenization → Model → Post-processing

Tokenizzatori veloci ottimizzati per la ricerca e la produzione. L'implementazione basata su Rust tokenizza 1 GB in <20 secondi. Supporta gli algoritmi BPE, WordPiece e Unigram. Addestra vocabolari personalizzati, tieni traccia degli allineamenti, gestisci il riempimento/troncamento. Si integra perfettamente con i trasformatori. Da utilizzare quando è necessaria una tokenizzazione ad alte prestazioni o una formazione personalizzata sui tokenizer. Fonte: orchestra-research/ai-research-skills.

Fatti (pronti per citazione)

Campi e comandi stabili per citazioni AI/ricerca.

Comando di installazione
npx skills add https://github.com/orchestra-research/ai-research-skills --skill huggingface-tokenizers
Fonte
orchestra-research/ai-research-skills
Categoria
</>Sviluppo
Verificato
✓
Prima apparizione
2026-02-11
Aggiornato
2026-03-10
URL
https://www.learn-skills.dev/it/skills/orchestra-research/ai-research-skills/huggingface-tokenizers

Browse more skills from orchestra-research/ai-research-skills

Risposte rapide

Che cos'è huggingface-tokenizers?

Tokenizzatori veloci ottimizzati per la ricerca e la produzione. L'implementazione basata su Rust tokenizza 1 GB in <20 secondi. Supporta gli algoritmi BPE, WordPiece e Unigram. Addestra vocabolari personalizzati, tieni traccia degli allineamenti, gestisci il riempimento/troncamento. Si integra perfettamente con i trasformatori. Da utilizzare quando è necessaria una tokenizzazione ad alte prestazioni o una formazione personalizzata sui tokenizer. Fonte: orchestra-research/ai-research-skills.

Come installo huggingface-tokenizers?

Apri il tuo terminale o strumento da riga di comando (Terminal, iTerm, Windows Terminal, ecc.) Copia ed esegui questo comando: npx skills add https://github.com/orchestra-research/ai-research-skills --skill huggingface-tokenizers Dopo l'installazione, la skill verrà configurata automaticamente nel tuo ambiente AI di coding e sarà pronta all'uso in Claude Code, Cursor o OpenClaw

Dov'è il repository sorgente?

https://github.com/orchestra-research/ai-research-skills

Dettagli

Categoria
</>Sviluppo
Fonte
skills.sh
Prima apparizione
2026-02-11

Skills correlate

ml-paper-writing
146 Installazioni
prompt-guard
49 Installazioni
faiss
49 Installazioni
mlflow
49 Installazioni
ray-train
49 Installazioni
serving-llms-vllm
49 Installazioni