Esegue l'inferenza LLM su CPU, Apple Silicon e GPU consumer senza hardware NVIDIA. Da utilizzare per la distribuzione edge, Mac M1/M2/M3, GPU AMD/Intel o quando CUDA non è disponibile. Supporta la quantizzazione GGUF (1,5-8 bit) per una memoria ridotta e una velocità 4-10 volte maggiore rispetto a PyTorch sulla CPU.
Installa rapidamente la skill AI llama-cpp nel tuo ambiente di sviluppo tramite riga di comando
Fonte: ovachiever/droid-tings.
Pure C/C++ LLM inference with minimal dependencies, optimized for CPUs and non-NVIDIA hardware.
| Format | Bits | Size (7B) | Speed | Quality | Use Case |
| Q4KM | 4.5 | 4.1 GB | Fast | Good | Recommended default | | Q4KS | 4.3 | 3.9 GB | Faster | Lower | Speed critical | | Q5KM | 5.5 | 4.8 GB | Medium | Better | Quality critical | | Q6K | 6.5 | 5.5 GB | Slower | Best | Maximum quality | | Q80 | 8.0 | 7.0 GB | Slow | Excellent | Minimal degradation | | Q2K | 2.5 | 2.7 GB | Fastest | Poor | Testing only |
Esegue l'inferenza LLM su CPU, Apple Silicon e GPU consumer senza hardware NVIDIA. Da utilizzare per la distribuzione edge, Mac M1/M2/M3, GPU AMD/Intel o quando CUDA non è disponibile. Supporta la quantizzazione GGUF (1,5-8 bit) per una memoria ridotta e una velocità 4-10 volte maggiore rispetto a PyTorch sulla CPU. Fonte: ovachiever/droid-tings.
Campi e comandi stabili per citazioni AI/ricerca.
npx skills add https://github.com/ovachiever/droid-tings --skill llama-cppEsegue l'inferenza LLM su CPU, Apple Silicon e GPU consumer senza hardware NVIDIA. Da utilizzare per la distribuzione edge, Mac M1/M2/M3, GPU AMD/Intel o quando CUDA non è disponibile. Supporta la quantizzazione GGUF (1,5-8 bit) per una memoria ridotta e una velocità 4-10 volte maggiore rispetto a PyTorch sulla CPU. Fonte: ovachiever/droid-tings.
Apri il tuo terminale o strumento da riga di comando (Terminal, iTerm, Windows Terminal, ecc.) Copia ed esegui questo comando: npx skills add https://github.com/ovachiever/droid-tings --skill llama-cpp Dopo l'installazione, la skill verrà configurata automaticamente nel tuo ambiente AI di coding e sarà pronta all'uso in Claude Code, Cursor o OpenClaw
https://github.com/ovachiever/droid-tings