🦙 Ollama

Herramienta open-source (MIT) para ejecutar LLMs localmente. Escrita en Go, 166k estrellas en GitHub — el proyecto open-source de IA más grande de GitHub.

Características clave

• 1 comando para instalar, 1 para ejecutar
• API compatible OpenAI en localhost:11434
• 166k+ estrellas en GitHub
• 100+ modelos disponibles con ollama pull
• Multiplataforma: Mac, Windows, Linux
• Formato nativo: GGUF

Uso básico

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3

Rendimiento

• M3 Pro: 40-60 tok/s en modelos 7B
• Se beneficia de optimizaciones de llama.cpp

Limitaciones

• Solo GGUF como formato nativo (safetensors/PyTorch requieren conversión vía Modelfile)
• Sin GUI nativa (terceros como Open WebUI la proveen)
• Ligero overhead vs llama.cpp puro
• Importar modelos personalizados requiere Modelfile

Mejor para

• Flujos de desarrollo
• Developers que quieren un backend local compatible con OpenAI API
• Claude Code y OpenAI Codex CLI pueden usar Ollama como backend local