⚙️ llama.cpp

Motor de inferencia C/C++ fundacional que permite ejecutar LLMs en hardware de consumo. La mayoría de herramientas de local LLM inference construyen sobre él.

Datos clave

• 98.6k estrellas en GitHub
• Formato: GGUF
• Plataformas: todas, incluyendo móvil
• OpenAI API compatible
• Código abierto

Por qué es importante

Es la base sobre la que se construyen Ollama, LM Studio, KoboldCpp, LocalAI y muchas otras herramientas. Sus optimizaciones benefician a todo el ecosistema.

Mejor para

• Power users que quieren control total
• Menor overhead que Ollama (al ser más raw)
• Se beneficia de optimizaciones NVIDIA CES 2026 (hasta 35% más rápido)