tensorrt-llm

NVIDIA's open-source library for optimizing LLM inference with state-of-the-art performance on NVIDIA GPUs.

Оптимизирует вывод LLM с помощью NVIDIA TensorRT для максимальной пропускной способности и минимальной задержки. Используйте для производственного развертывания на графических процессорах NVIDIA (A100/H100), когда вам требуется в 10–100 раз более быстрый вывод, чем PyTorch, или для обслуживания моделей с квантованием (FP8/INT4), пакетной обработкой в ​​реальном времени и масштабированием с использованием нескольких графических процессоров. Источник: orchestra-research/ai-research-skills.

Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/orchestra-research/ai-research-skills --skill tensorrt-llm После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw

Сертификация безопасности для надёжного и безопасного кода Установка в один клик с упрощённой настройкой Совместимо с Claude Code, Cursor, OpenClaw и другими