Inferência de LLMs mais rápida sem perda de qualidade: um guia prático
Um modelo de 70B gera um token por passagem direta (forward pass), e cada passagem recarrega os pesos da VRAM, calcula a atenção em todo o contexto e sincroniza a memória. Entre os tokens, a GPU fica ociosa enquanto aguarda a resolução das dependências sequenciais.
MTP versus decodificação padrão na RTX 4080 — benchmarks reais
Testei o desempenho da Decodificação Especulativa (Previsão de Múltiplos Tokens, MTP) nos modelos Qwen 3.6 27B e 35B em uma RTX 4080 com 16 GB de VRAM.
Pare de interpretar vibes. Valide contratos.
A maioria dos tutoriais sobre “saída estruturada” de LLMs é superficial. Eles ensinam você a pedir JSON educadamente e depois torcer para que o modelo se comporte. Isso não é validação. Isso é otimismo com chaves.
Referência para ajuste de LLMs agênticos
Esta página é uma referência prática para ajuste de inferência de LLMs agênicos (temperatura, top_p, top_k, penalidades e como elas interagem em fluxos de trabalho multi-step e com uso intenso de ferramentas).
Velocidade de tokens do llama.cpp em 16 GB de VRAM (tabelas).
Aqui estou comparando a velocidade de vários LLMs rodando em GPU com 16GB de VRAM e escolhendo o melhor para auto-hospedagem.
Teste de velocidade de LLM no RTX 4080 com 16GB de VRAM
Executar modelos de linguagem grandes localmente oferece privacidade, capacidade offline e zero custos de API. Este benchmark revela exatamente o que se pode esperar de 14 LMs populares no Ollama com uma RTX 4080.
Saídas de LLM com segurança de tipo usando BAML e Instructor
Ao trabalhar com Modelos de Linguagem Grande (LLMs) em produção, obter saídas estruturadas e com segurança de tipos é fundamental. Dois frameworks populares — BAML e Instructor — adotam abordagens diferentes para resolver este problema.
Benchmarks do GPT-OSS 120b em três plataformas de IA
Descobri alguns testes de desempenho interessantes do GPT-OSS 120b rodando no Ollama em três plataformas diferentes: NVIDIA DGX Spark, Mac Studio e RTX 4080. O modelo GPT-OSS 120b da biblioteca Ollama pesa 65 GB, o que significa que ele não cabe na VRAM de 16 GB de uma RTX 4080 (ou na mais recente RTX 5080).
ASICs e silício personalizado impulsionam a velocidade e a eficiência da inferência de LLMs.
O futuro da IA não se trata apenas de modelos mais inteligentes. Trata-se também de silício que corresponda à forma como esses modelos são realmente servidos. Hardware especializado para inferência de LLM está seguindo um caminho que remete à migração da mineração de Bitcoin de GPUs para ASICs de propósito construído, mas com restrições mais difíceis, pois os modelos e receitas de precisão continuam evoluindo.
Comparando velocidade, parâmetros e desempenho desses dois modelos
Aqui está uma comparação entre Qwen3:30b e GPT-OSS:20b, com foco na capacidade de seguir instruções e nos parâmetros de desempenho, especificações e velocidade.
Não é muito agradável.
Os modelos GPT-OSS da Ollama apresentam problemas recorrentes no manuseio de saída estruturada, especialmente quando utilizados com frameworks como LangChain, SDK da OpenAI, vllm e outros.
APIs ligeiramente diferentes exigem uma abordagem especial.
Aqui está uma comparação lado a lado do suporte a saída estruturada (obter JSON confiável) entre os principais provedores de LLM, com exemplos mínimos em Python
Meu próprio teste de agendamento de modelos Ollama
Aqui estou comparando quanto VRAM a nova versão do Ollama alocava para o modelo em relação à versão anterior do Ollama. A nova versão é pior.
Pensando em instalar uma segunda GPU para LLMs?
Como as Pistas PCIe Afetam o Desempenho de LLM? Depende da tarefa. Para treinamento e inferência multi-GPU, a queda de desempenho é significativa.
Ollama em CPUs Intel: núcleos eficientes versus núcleos de desempenho
Tenho uma teoria para testar: se utilizar todos os núcleos de uma CPU Intel aumentaria a velocidade dos LLMs? Isso tem me incomodado: o novo modelo gemma3 de 27 bilhões (gemma3:27b, 17GB no Ollama) não cabe nos 16GB de VRAM da minha GPU e está rodando parcialmente na CPU.
