O ponto ideal para LLMs abertos em 2026: cerca de 30B.
Em setembro de 2026, a fronteira eficiente dos modelos abertos situa-se entre 25B e 34B parâmetros: trabalho agêntico próximo da fronteira em uma única GPU de 24 GB, com uma fração do hardware de classe 70B.
Por que a contextualização de 128K falha em 16 GB
Um modelo pode anunciar uma janela de contexto de 128K e ainda assim falhar com 40K tokens em uma GPU de 16 GB. O limite arquitetural nunca prometeu que pesos, cache de KV, buffers de computação e o compositor do ambiente gráfico caberiam no seu cartão ao mesmo tempo.
Inferência de LLM mais rápida sem perda de qualidade – um guia prático
Um modelo de 70B gera um token por passagem de frente, e cada passagem recarrega os pesos da VRAM, calcula a atenção através do contexto e sincroniza a memória. Entre os tokens, a GPU fica ociosa enquanto aguarda que as dependências sequenciais sejam resolvidas.
MTP vs. decodificação padrão na RTX 4080 — benchmarks reais
Testei o desempenho da decodificação especulativa (Previsão de Múltiplos Tokens, MTP) no Qwen 3.6 27B e 35B em uma RTX 4080 com 16 GB de VRAM.
Pare de interpretar vibes. Valide contratos.
A maioria dos tutoriais sobre “saída estruturada” de LLMs é superficial. Eles ensinam você a pedir JSON educadamente e depois torcer para que o modelo se comporte. Isso não é validação. Isso é otimismo com chaves.
Referência para ajuste de LLMs agênticos
Esta página é uma referência prática para ajuste de inferência de LLMs agênicos (temperatura, top_p, top_k, penalidades e como elas interagem em fluxos de trabalho multi-step e com uso intenso de ferramentas).
Velocidade de tokens do llama.cpp em 16 GB de VRAM (tabelas).
Aqui estou comparando a velocidade de vários LLMs executados em uma GPU com 16GB de VRAM, e escolhendo o melhor para auto-hospedagem.
Teste de velocidade de LLM em RTX 4080 com 16 GB de VRAM
Rodar modelos de linguagem grandes localmente oferece privacidade, capacidade de uso offline e zero custos de API. Este benchmark revela exatamente o que se pode esperar de 14 modelos populares de LLMs no Ollama em uma RTX 4080.
Saídas de LLM com segurança de tipo usando BAML e Instructor
Ao trabalhar com Modelos de Linguagem Grande (LLMs) em produção, obter saídas estruturadas e com segurança de tipos é fundamental. Dois frameworks populares — BAML e Instructor — adotam abordagens diferentes para resolver este problema.
Reduza os custos de LLMs em 80% com otimização inteligente de tokens
A otimização de tokens é a habilidade crucial que separa aplicações de LLMs com custo-efetividade de experimentos que drenam o orçamento.
Benchmarks do GPT-OSS 120b em três plataformas de IA
Descobri alguns testes de desempenho interessantes do GPT-OSS 120b rodando no Ollama em três plataformas diferentes: NVIDIA DGX Spark, Mac Studio e RTX 4080. O modelo GPT-OSS 120b da biblioteca Ollama pesa 65 GB, o que significa que ele não cabe na VRAM de 16 GB de uma RTX 4080 (ou na mais recente RTX 5080).
As ASICs e o silício personalizado aumentam a velocidade e a eficiência da inferência de LLMs.
O futuro da IA não se trata apenas de modelos mais inteligentes. Também se trata de silício que corresponda à forma como esses modelos são realmente servidos. O hardware especializado para inferência de LLMs segue um caminho reminiscente da transição da mineração de Bitcoin das GPUs para ASICs de propósito específico, mas com restrições ainda mais rígidas, pois os modelos e as receitas de precisão continuam a evoluir.
Comparando velocidade, parâmetros e desempenho desses dois modelos
Aqui está uma comparação entre Qwen3:30b e GPT-OSS:20b, focando no seguimento de instruções e nos parâmetros de desempenho, especificações e velocidade.
Não é muito agradável.
Os modelos GPT-OSS da Ollama apresentam problemas recorrentes no manuseio de saída estruturada, especialmente quando utilizados com frameworks como LangChain, SDK da OpenAI, vllm e outros.
APIs ligeiramente diferentes exigem uma abordagem especial.
Aqui está uma comparação lado a lado do suporte para saída estruturada (obter JSON confiável de volta) em provedores populares de LLMs, além de exemplos mínimos em Python
