Utilizzare quando "tokenizer", "HuggingFace tokenizer", "BPE", "WordPiece" o quando si chiedono informazioni su "train tokenizer", "vocabolario personalizzato", "tokenizzazione", "sottoparola", "tokenizer veloce", "codifica testo"
Installa rapidamente la skill AI huggingface-tokenizers nel tuo ambiente di sviluppo tramite riga di comando
Fonte: eyadsibai/ltk.
| tokenizers | Speed, custom training, production | | SentencePiece | T5/ALBERT, language-independent | | tiktoken | OpenAI models (GPT) |
Utilizzare quando "tokenizer", "HuggingFace tokenizer", "BPE", "WordPiece" o quando si chiedono informazioni su "train tokenizer", "vocabolario personalizzato", "tokenizzazione", "sottoparola", "tokenizer veloce", "codifica testo" Fonte: eyadsibai/ltk.
Apri il tuo terminale o strumento da riga di comando (Terminal, iTerm, Windows Terminal, ecc.) Copia ed esegui questo comando: npx skills add https://github.com/eyadsibai/ltk --skill huggingface-tokenizers Dopo l'installazione, la skill verrà configurata automaticamente nel tuo ambiente AI di coding e sarà pronta all'uso in Claude Code, Cursor o OpenClaw
Certificata per la sicurezza, per codice affidabile Installazione con un clic e configurazione semplificata Compatibile con Claude Code, Cursor, OpenClaw e altri
Campi e comandi stabili per citazioni AI/ricerca.
npx skills add https://github.com/eyadsibai/ltk --skill huggingface-tokenizersUtilizzare quando "tokenizer", "HuggingFace tokenizer", "BPE", "WordPiece" o quando si chiedono informazioni su "train tokenizer", "vocabolario personalizzato", "tokenizzazione", "sottoparola", "tokenizer veloce", "codifica testo" Fonte: eyadsibai/ltk.
Apri il tuo terminale o strumento da riga di comando (Terminal, iTerm, Windows Terminal, ecc.) Copia ed esegui questo comando: npx skills add https://github.com/eyadsibai/ltk --skill huggingface-tokenizers Dopo l'installazione, la skill verrà configurata automaticamente nel tuo ambiente AI di coding e sarà pronta all'uso in Claude Code, Cursor o OpenClaw
https://github.com/eyadsibai/ltk