Llm

Aqui estou comparando quanto VRAM a nova versão do Ollama alocava para o modelo em relação à versão anterior do Ollama. A nova versão é pior.

Ollama tornou-se rapidamente uma das ferramentas mais populares para executar LLMs localmente. Sua interface de linha de comando simples e o gerenciamento de modelos streamlined o tornaram uma opção preferida para desenvolvedores que desejam trabalhar com modelos de IA fora da nuvem.

O Ollama hospedado localmente permite executar modelos de linguagem grandes na sua própria máquina, mas usá-lo via linha de comando não é amigável. Aqui estão vários projetos de código aberto que oferecem interfaces estilo ChatGPT que se conectam a uma instância local do Ollama.

A Nvidia está prestes a lançar o NVIDIA DGX Spark - um pequeno supercomputador de IA baseado na arquitetura Blackwell, com mais de 128 GB de RAM unificada e desempenho de IA de 1 PFLOPS. Um ótimo dispositivo para executar LLMs.

Aqui temos uma descrição do Protocolo de Contexto de Modelo (MCP), notas breves sobre como implementar um servidor MCP em Go, incluindo estrutura de mensagens e especificações do protocolo.

Como o Ollama padrão não possui uma API de rerank direta, você precisará implementar a rerank usando o Qwen3 Reranker em GO gerando embeddings para pares de consulta-documento e atribuindo pontuações a eles.

Neste teste, estou comparando como diferentes LLMs hospedados no Ollama traduzem páginas do Hugo de inglês para alemão.

Este pequeno Exemplo de código Go para reranking que chama o Ollama para gerar embeddings é usado para a consulta e para cada documento candidato, ordenando em ordem decrescente por similaridade cosseno.

Os modelos Qwen3 de Embedding e Reranker são os lançamentos mais recentes da família Qwen, projetados especificamente para tarefas avançadas de incorporação (embedding), recuperação e reclassificação de texto.

Como as faixas PCIe afetam o desempenho de LLMs? Depende da tarefa. Para treinamento e inferência com múltiplas GPUs, a queda de desempenho é significativa.

Na biblioteca de modelos do Ollama, existem modelos capazes de converter conteúdo HTML para Markdown, o que é útil para tarefas de conversão de conteúdo.

• Search (Busca) é o método mais adequado para a recuperação rápida e direta de informações utilizando palavras-chave.
• Deep Search destaca-se na compreensão do contexto e da intenção, fornecendo resultados mais relevantes e abrangentes para consultas complexas.

Listarei aqui algumas ferramentas de codificação assistida por IA e Assistentes de Codificação com IA e seus aspectos positivos.

Usar LLMs não é muito caro; pode ser que não haja necessidade de comprar uma nova GPU incrível. Abaixo está uma lista de provedores de LLM na nuvem com os LLMs que hospedam.

Tenho uma teoria para testar: se utilizar todos os núcleos de uma CPU Intel aumentaria a velocidade dos LLMs? Isso tem me incomodado: o novo modelo gemma3 de 27 bilhões (gemma3:27b, 17GB no Ollama) não cabe nos 16GB de VRAM da minha GPU e está rodando parcialmente na CPU.

No meio da agitação do mundo moderno, estou aqui comparando as especificações técnicas de diferentes placas adequadas para tarefas de IA (Aprendizado Profundo, Detecção de Objetos e LLMs). Elas são todas incrivelmente caras, no entanto.