VRAM gratuito sem comprometer o llama-server.
o modo roteador do llama.cpp é uma das mudanças mais úteis no llama-server em anos. Ele finalmente oferece aos operadores de LLMs locais uma experiência de gerenciamento de modelos próxima do que as pessoas esperam do Ollama, mantendo o desempenho bruto e o controle de baixo nível que tornam o llama.cpp digno de uso em primeiro lugar.
Referência para ajuste de LLMs agênticos
Esta página é uma referência prática para ajuste de inferência de LLMs agênicos (temperatura, top_p, top_k, penalidades e como elas interagem em fluxos de trabalho multi-step e com uso intenso de ferramentas).
Fale com o Hermes pelo seu celular
Você já conversa com o Hermes Agent pelo seu telefone usando texto. Agora você quer falar com ele diretamente e receber respostas faladas. Geralmente, essa é a melhor abordagem, especialmente se você já usa o Hermes como um assistente auto-hospedado persistente. Digitar prompts longos em uma tela pequena é lento e propenso a erros.
Execute o OpenClaw com segurança usando o NemoClaw
A maioria das pilhas de agentes de IA ainda trata a segurança como um ajuste pós-demonstração. NemoClaw parte da premissa oposta e torna o isolamento, a política e o roteamento padrões desde o primeiro dia.
Ferramentas, métodos e wikis auto-hospedados de Gerenciamento Pessoal de Conhecimento (PKM) comparados.
A gestão de conhecimento pessoal abrange Obsidian, Logseq, DokuWiki, Zettelkasten e PARA — a escolha certa depende de se você deseja um gráfico de notas local, uma wiki auto-hospedada ou um fluxo de trabalho impulsionado por outliners.
As assinaturas do Claude já não alimentam agentes
A brecha silenciosa que impulsionou uma onda de experimentação com agentes agora está fechada.
Busca de IA autohospedada com LLMs locais
Vane é uma das entradas mais pragmáticas no espaço de “busca de IA com citações”: um motor de respostas auto-hospedado que combina recuperação da web em tempo real com LLMs locais ou na nuvem, mantendo toda a pilha sob seu controle.
Instale o TGI, desenvolva rapidamente e depure ainda mais rápido.
A Inferência de Geração de Texto (TGI) tem uma energia muito específica. Não é o mais novo na rua da inferência, mas é aquele que já aprendeu como a produção quebra -
Velocidade de tokens do llama.cpp em 16 GB de VRAM (tabelas).
Aqui estou comparando a velocidade de vários LLMs rodando em GPU com 16GB de VRAM e escolhendo o melhor para auto-hospedagem.
A RTX 5090 está escassa e com preço inflado na Austrália.
A Austrália tem estoque de RTX 5090. Quase nada. E se você encontrar uma, pagará um prêmio que parece descolado da realidade.
Acesso remoto ao Ollama sem portas públicas
Ollama está em seu melhor quando é tratado como um daemon local: a CLI e seus aplicativos se comunicam com uma API HTTP em loopback, e o resto da rede nunca fica sabendo que ele existe.
Servidor Ollama com prioridade na composição, suporte a GPU e persistência.
Ollama funciona muito bem em metal nu. Torna-se ainda mais interessante quando tratado como um serviço: um endpoint estável, versões fixas, armazenamento persistente e uma GPU que está disponível ou não.
HTTPS Ollama sem interromper as respostas em streaming.
Executar o Ollama atrás de um proxy reverso é a maneira mais simples de obter HTTPS, controle de acesso opcional e comportamento de streaming previsível.
Embeddings RAG - Python, Ollama, APIs da OpenAI.
Se você está estudando geração aumentada por recuperação (RAG), esta seção explica embeddings de texto de forma simples — o que são, como se encaixam na pesquisa e recuperação, e como chamar duas configurações locais comuns em Python usando Ollama ou uma API HTTP compatível com OpenAI (como muitos servidores baseados em llama.cpp expõem).
Atualize as URLs de push nos motores de busca após a implantação.
Sites estáticos e blogs mudam sempre que você faz o deploy. Motores de busca que suportam IndexNow podem aprender sobre essas mudanças sem esperar pelo próximo rastreamento cego.
Execute modelos abertos com rapidez usando o SGLang.
O SGLang é um framework de serviço de alto desempenho para grandes modelos de linguagem e modelos multimodais, construído para fornecer inferência de baixa latência e alto throughput, desde uma única GPU até clusters distribuídos.
