NVIDIA's open-source library for optimizing LLM inference with state-of-the-art performance on NVIDIA GPUs.
Ottimizza l'inferenza LLM con NVIDIA TensorRT per il massimo throughput e la latenza più bassa. Utilizzalo per la distribuzione in produzione su GPU NVIDIA (A100/H100), quando hai bisogno di un'inferenza 10-100 volte più veloce rispetto a PyTorch o per servire modelli con quantizzazione (FP8/INT4), batching in volo e ridimensionamento multi-GPU. Fonte: orchestra-research/ai-research-skills.
Apri il tuo terminale o strumento da riga di comando (Terminal, iTerm, Windows Terminal, ecc.) Copia ed esegui questo comando: npx skills add https://github.com/orchestra-research/ai-research-skills --skill tensorrt-llm Dopo l'installazione, la skill verrà configurata automaticamente nel tuo ambiente AI di coding e sarà pronta all'uso in Claude Code, Cursor o OpenClaw
Certificata per la sicurezza, per codice affidabile Installazione con un clic e configurazione semplificata Compatibile con Claude Code, Cursor, OpenClaw e altri