💻 Local LLM Inference
Ejecutar modelos de lenguaje localmente en lugar de usar APIs cloud. En 2026 el ecosistema ha madurado hasta el punto de que modelos open-weight útiles corren en Macs, PCs y servidores GPU de consumo.
Por qué ejecutar localmente
- Reducir costes de API
- Privacidad (datos sensibles no salen del dispositivo)
- Apps offline
- Entender cómo funcionan realmente los modelos
Stack recomendado según perfil
| Perfil | Herramienta | Razón |
|---|---|---|
| Developer | Ollama | 1 comando, API OpenAI-compatible |
| No-developer | LM Studio | GUI visual, one-click downloads |
| Power user | llama.cpp | Control total, menor overhead |
| Producción GPU | vLLM | High-throughput serving |
| Mac-native | MLX | Optimizado Apple Silicon |
Herramientas principales
Todas excepto LM Studio son open-source. La mayoría construyen sobre llama.cpp, el motor C/C++ fundacional.
| Herramienta | Estrellas | Plataformas | Formato |
|---|---|---|---|
| Ollama | 166k | Mac/Win/Linux | GGUF |
| llama.cpp | 98.6k | All + mobile | GGUF |
| Exo | 42.7k | Mac/Linux/mobile | MLX/tinygrad |
| Jan.ai | 41.1k | Mac/Win/Linux | GGUF/MLX |
| LocalAI | 35-42k | Multi | Multi-formato |
| vLLM | 31k+ | Linux | safetensors/AWQ/GPTQ |
| MLX | 24.6k | macOS only | safetensors |
Formatos de cuantización
- GGUF → el estándar, soportado por casi todo
- Q4_K_M → punto de partida práctico
- safetensors / AWQ / GPTQ → para GPU dedicadas
- MLX → Apple Silicon
Rendimiento
- Ollama en M3 Pro: 40-60 tok/s en modelos 7B
- llama.cpp ofrece hasta 35% más rápido con optimizaciones CES 2026 (NVIDIA)