AI

Ollama en Docker Compose con GPU y almacenamiento persistente de modelos

Ollama en Docker Compose con GPU y almacenamiento persistente de modelos

Servidor Ollama con prioridad en composición, GPU y persistencia.

Ollama funciona muy bien en hardware físico (bare metal). Se vuelve aún más interesante cuando lo tratas como un servicio: un punto de conexión estable, versiones fijas, almacenamiento persistente y una GPU que está disponible o no lo está.

LocalAI QuickStart: Ejecute LLM compatibles con OpenAI localmente

LocalAI QuickStart: Ejecute LLM compatibles con OpenAI localmente

Ejecuta APIs compatibles con OpenAI de forma autohospedada con LocalAI en minutos.

LocalAI es un servidor de inferencia autohospedado y local-first diseñado para comportarse como una API de OpenAI de reemplazo directo para ejecutar cargas de trabajo de IA en tu propio hardware (portátil, estación de trabajo o servidor local).

Inicio rápido de llama.cpp con CLI y servidor

Inicio rápido de llama.cpp con CLI y servidor

Cómo instalar, configurar y utilizar OpenCode

Sigo volviendo a llama.cpp para la inferencia local: te da un control que Ollama y otros abstraen, y simplemente funciona. Es fácil ejecutar modelos GGUF de forma interactiva con llama-cli o exponer una API HTTP compatible con OpenAI con llama-server.