LLM

A democratização da IA chegou. Com LLMs de código aberto como Llama, Mistral e Qwen rivalizando agora com modelos proprietários, as equipes podem construir uma poderosa infraestrutura de IA usando hardware de consumo - reduzindo drasticamente os custos enquanto mantêm controle total sobre a privacidade dos dados e a implantação.

Geração Aumentada por Recuperação (RAG) evoluiu muito além da simples busca de similaridade vetorial. LongRAG, Self-RAG e GraphRAG representam o estado da arte dessas capacidades.

O FLUX.1-dev é um modelo poderoso de geração de imagens a partir de texto que produz resultados impressionantes, mas seu requisito de memória de 24GB+ torna-o desafiador de executar em muitos sistemas. A quantização GGUF do FLUX.1-dev oferece uma solução, reduzindo o uso de memória em aproximadamente 50%, mantendo a excelente qualidade de imagem.

A configuração de tamanhos de contexto no Docker Model Runner é mais complexa do que deveria.

A Black Forest Labs lançou o FLUX.1-Kontext-dev, um modelo avançado de IA para transformação de imagem em imagem que aprimora imagens existentes usando instruções de texto.

Docker Model Runner é a ferramenta oficial da Docker para executar modelos de IA localmente, mas habilitar a aceleração de GPU da NVidia no Docker Model Runner requer configuração específica.

A otimização de tokens é a habilidade crítica que separa aplicações de LLM economicamente eficientes de experimentos que drenam o orçamento.

Descobri alguns testes de desempenho interessantes do GPT-OSS 120b rodando no Ollama em três plataformas diferentes: NVIDIA DGX Spark, Mac Studio e RTX 4080. O modelo GPT-OSS 120b da biblioteca Ollama pesa 65 GB, o que significa que ele não cabe na VRAM de 16 GB de uma RTX 4080 (ou na mais recente RTX 5080).

O Protocolo de Contexto de Modelo (MCP) está revolucionando a forma como assistentes de IA interagem com fontes de dados externas e ferramentas. Neste guia, exploraremos como construir servidores MCP em Python, com exemplos focados em capacidades de pesquisa e raspagem web.

Convertendo HTML para Markdown é uma tarefa fundamental nos fluxos de trabalho de desenvolvimento modernos, especialmente ao preparar conteúdo web para Modelos de Linguagem de Grande Porte (LLMs), sistemas de documentação ou geradores de sites estáticos como o Hugo.

Docker Model Runner (DMR) é a solução oficial do Docker para executar modelos de IA localmente, introduzida em abril de 2025. Esta lista de comandos essenciais fornece uma referência rápida para todos os comandos, configurações e melhores práticas.

Execução local de grandes modelos de linguagem (LLMs) tornou-se cada vez mais popular devido à privacidade, controle de custos e capacidades offline. O cenário mudou significativamente em abril de 2025, quando a Docker introduziu o Docker Model Runner (DMR), sua solução oficial para implantação de modelos de IA.

O futuro da IA não se trata apenas de modelos mais inteligentes. Trata-se também de silício que corresponda à forma como esses modelos são realmente servidos. Hardware especializado para inferência de LLM está seguindo um caminho que remete à migração da mineração de Bitcoin de GPUs para ASICs de propósito construído, mas com restrições mais difíceis, pois os modelos e receitas de precisão continuam evoluindo.

NVIDIA DGX Spark é real, à venda a partir de 15 de outubro de 2025, e voltado para desenvolvedores de CUDA que necessitam de trabalho local com LLMs, com uma pilha de IA da NVIDIA integrada. O MSRP nos EUA é de $3.999; o varejo no Reino Unido/Alemança/Japão é mais alto devido ao IVA e aos canais de distribuição. Os preços públicos de etiqueta em AUD/KRW ainda não foram amplamente divulgados.

Aqui está uma comparação entre Qwen3:30b e GPT-OSS:20b, com foco na capacidade de seguir instruções e nos parâmetros de desempenho, especificações e velocidade.

Neste post, exploraremos duas maneiras de conectar sua aplicação Python ao Ollama: 1. Via API REST HTTP; 2. Via a biblioteca oficial Python do Ollama.