Self-Hosting

Cada chamada de API parece uma transação simples – até que se acumulem o suficiente para que seus dados de ajuste fino (fine-tuning), seus mecanismos de avaliação e seus esquemas de ferramentas estejam todos moldados em torno de um único fornecedor, e mudar deixe de ser apenas uma alteração de roteamento.

Ollama é uma das formas mais fáceis de executar um modelo de linguagem local, mas a conveniência pode esconder o momento em que um experimento local se torna um serviço de inferência compartilhado que precisa de melhor agendamento e observabilidade.

Docker Compose e Podman Quadlet resolvem problemas sobrepostos, mas vêm de centros de design diferentes, e a escolha entre eles depende de você pensar em pilhas de aplicativos ou em serviços Linux.

O Docker Compose em um servidor Linux deve iniciar na boot, parar limpaamente durante o desligamento e sobreviver a reinicializações sem intervenção manual.

Instalar o Docker no Ubuntu deveria ser simples, mas na prática, várias opções relacionadas ao Docker competem pelo mesmo nome de comando, cada uma com empacotamento, comportamento de atualização e implicações de segurança diferentes.

Falhas no APT são comuns em máquinas Ubuntu de longa duração e geralmente surgem após uma atualização de versão, uma mudança em repositórios de terceiros, a remoção de um PPA, a instalação manual de um .deb ou uma instalação de pacote interrompida.

o modo roteador do llama.cpp é uma das mudanças mais úteis no llama-server em anos. Ele finalmente oferece aos operadores de LLMs locais uma experiência de gerenciamento de modelos próxima do que as pessoas esperam do Ollama, mantendo o desempenho bruto e o controle de baixo nível que tornam o llama.cpp digno de uso em primeiro lugar.

Esta página é uma referência prática para ajuste de inferência de LLMs agênicos (temperatura, top_p, top_k, penalidades e como elas interagem em fluxos de trabalho multi-step e com uso intenso de ferramentas).

Você já conversa com o Hermes Agent pelo seu telefone usando texto. Agora você quer falar com ele diretamente e receber respostas faladas. Geralmente, essa é a melhor abordagem, especialmente se você já usa o Hermes como um assistente auto-hospedado persistente. Digitar prompts longos em uma tela pequena é lento e propenso a erros.

A maioria das pilhas de agentes de IA ainda trata a segurança como um ajuste pós-demonstração. NemoClaw parte da premissa oposta e torna o isolamento, a política e o roteamento padrões desde o primeiro dia.

A gestão de conhecimento pessoal abrange Obsidian, Logseq, DokuWiki, Zettelkasten e PARA — a escolha certa depende se você deseja um gráfico de notas local, uma wiki auto-hospedada ou um fluxo de trabalho orientado por outliners.

A brecha silenciosa que impulsionou uma onda de experimentação com agentes agora está fechada.

Vane é uma das entradas mais pragmáticas no espaço de “busca de IA com citações”: um motor de respostas auto-hospedado que combina recuperação da web em tempo real com LLMs locais ou na nuvem, mantendo toda a pilha sob seu controle.

A Inferência de Geração de Texto (TGI) tem uma energia muito específica. Não é o mais novo na rua da inferência, mas é aquele que já aprendeu como a produção quebra -

Aqui estou comparando a velocidade de vários LLMs rodando em GPU com 16GB de VRAM e escolhendo o melhor para auto-hospedagem.

A Austrália tem estoque de RTX 5090. Quase nada. E se você encontrar uma, pagará um prêmio que parece descolado da realidade.