Docker

Ollama es una de las formas más sencillas de ejecutar un modelo de lenguaje local, pero la conveniencia puede ocultar el momento en que un experimento local se convierte en un servicio de inferencia compartido que necesita una mejor programación y observabilidad.

Docker Compose y Podman Quadlet resuelven problemas superpuestos, pero provienen de diferentes filosofías de diseño. Elegir entre ellos depende de si piensas en términos de pilas de aplicaciones o de servicios de Linux.

Docker Compose en un servidor Linux debe iniciarse al arranque, detenerse correctamente al apagarse y sobrevivir a los reinicios sin intervención manual.

La instalación de Docker en Ubuntu debería ser sencilla, pero en la práctica, varias opciones con forma de Docker compiten por el mismo nombre de comando, cada una con diferente empaquetado, comportamiento de actualización e implicaciones de seguridad.

Vane es una de las entradas más pragmáticas en el espacio de “búsqueda de IA con citas”: un motor de respuestas autoalojado que combina la recuperación web en vivo con LLM locales o en la nube, manteniendo toda la pila bajo tu control.

Hermes Agent es un asistente de IA autoalojado y agnóstico al modelo que se ejecuta en una máquina local o en un VPS de bajo costo, funciona a través de interfaces de terminal y mensajería, y mejora con el tiempo convirtiendo tareas repetidas en habilidades reutilizables.

Text Generation Inference (TGI) tiene una energía muy específica. No es el último en llegar en la calle de la inferencia, pero es el que ya aprendió cómo se rompen las cosas en producción -

Ollama funciona muy bien en hardware físico (bare metal). Se vuelve aún más interesante cuando lo tratas como un servicio: un punto de conexión estable, versiones fijas, almacenamiento persistente y una GPU que está disponible o no lo está.

Neo4j es a lo que recurres cuando las relaciones son los datos. Si tu dominio parece un pizarrón lleno de círculos y flechas, forzarlo en tablas es doloroso.

SGLang es un marco de servicio de alto rendimiento para grandes modelos de lenguaje y modelos multimodales, diseñado para ofrecer inferencia de baja latencia y alto rendimiento en todo, desde una sola GPU hasta clústeres distribuidos.

Pronto estarás manejando vLLM, llama.cpp y más, cada stack en su propio puerto. Todo lo que viene aguas abajo aún quiere una URL base /v1; de lo contrario, seguirás moviendo puertos, perfiles y scripts de una sola vez. llama-swap es el proxy /v1 antes de esos stacks.

Apache Kafka 4.2.0 es la versión actual soportada y constituye la mejor base para una guía de inicio rápido moderna, ya que Kafka 4.x está completamente libre de ZooKeeper y se basa en KRaft de forma predeterminada.

El desarrollo de software implica el uso de Git para el control de versiones, Docker para la contenedorización, bash para la automatización, PostgreSQL para las bases de datos y VS Code para la edición, junto con innumerables otras herramientas que pueden potenciar o limitar tu productividad. Esta página recopila las hojas de referencia, flujos de trabajo y comparaciones esenciales que necesitas para trabajar de manera eficiente en toda la pila de desarrollo.

OpenHands es una plataforma de código abierto e agnóstica a modelos para agentes de desarrollo de software impulsados por IA. Permite que un agente se comporte más como un compañero de codificación que como una simple herramienta de autocompletado.

LocalAI es un servidor de inferencia autohospedado y local-first diseñado para comportarse como una API de OpenAI de reemplazo directo para ejecutar cargas de trabajo de IA en tu propio hardware (portátil, estación de trabajo o servidor local).

La inferencia de LLM parece ser “solo otra API” hasta que se producen picos de latencia, las colas se saturan y tus GPUs se mantienen al 95% de uso de memoria sin una explicación obvia.