📄 Local LLM Inference in 2026 — Starmorph
Fuente: blog.starmorph.com
Autor: Dylan Boudro
Fecha: 2026-03-21
Resumen
Guía completa de inferencia local de LLMs. Compara 10 herramientas de inferencia, formatos de cuantización, compatibilidad de hardware, modelos open-weight y los constructores del ecosistema.
Takeaways clave
- Ollama es el camino más rápido: 1 comando para instalar, 1 para correr. API compatible con OpenAI en localhost:11434. 166k estrellas — el proyecto open-source de IA más grande de GitHub.
- LM Studio es el explorador visual más fácil para no-developers.
- llama.cpp (98.6k estrellas) es el motor C/C++ fundacional sobre el que se construyen la mayoría de herramientas.
- vLLM (31k+) es para producción con GPU, sirviendo high-throughput.
- Q4_K_M es el formato práctico de cuantización para GGUF.
Comparativa de herramientas clave
| Herramienta | Estrellas | ¿GPU? | Formato | Mejor para |
|---|---|---|---|---|
| Ollama | 166k | No | GGUF | Developer workflows |
| llama.cpp | 98.6k | No | GGUF | Power users |
| MLX | 24.6k | Solo Apple | safetensors | Mac-native dev |
| LM Studio | N/A (closed) | No | GGUF/MLX | Visual exploration |
| vLLM | 31k+ | Sí | safetensors, AWQ | Producción GPU |
Hardware
- Ollama en M3 Pro: 40-60 tok/s en modelos 7B
- La mayoría corren en Mac, PC y servidores GPU
- Herramientas como Exo permiten inferencia distribuida
Formato estándar
- GGUF es el formato más común (Ollama, llama.cpp, LM Studio, etc.)
- MLX solo en Apple Silicon
- safetensors / AWQ / GPTQ para GPU dedicadas