MTP versus decodificação padrão na RTX 4080 — benchmarks reais
Testei o desempenho da Decodificação Especulativa (Previsão de Múltiplos Tokens, MTP) nos modelos Qwen 3.6 27B e 35B em uma RTX 4080 com 16 GB de VRAM.
Velocidade de tokens do llama.cpp em 16 GB de VRAM (tabelas).
Aqui estou comparando a velocidade de vários LLMs rodando em GPU com 16GB de VRAM e escolhendo o melhor para auto-hospedagem.
A RTX 5090 está escassa e com preço inflado na Austrália.
A Austrália tem estoque de RTX 5090. Quase nada. E se você encontrar uma, pagará um prêmio que parece descolado da realidade.
Controle dados e modelos com LLMs auto-hospedados
Hospedar LLMs localmente mantém dados, modelos e inferência sob seu controle – um caminho prático para a soberania de IA para equipes, empresas e nações.
Teste de velocidade de LLM no RTX 4080 com 16GB de VRAM
Executar modelos de linguagem grandes localmente oferece privacidade, capacidade offline e zero custos de API. Este benchmark revela exatamente o que se pode esperar de 14 LMs populares no Ollama com uma RTX 4080.
Verificação de preços de GPUs e RAM de janeiro de 2025
Hoje, estamos analisando os GPUs de consumo e módulos de RAM de topo. Especificamente, estou olhando para os preços da RTX-5080 e RTX-5090, e 32GB (2x16GB) DDR5 6000.
Escolha o terminal ideal para o seu fluxo de trabalho com Linux
Uma das ferramentas mais essenciais para usuários de Linux é o emulador de terminal.
Preços reais em AUD de varejistas australianos agora
O NVIDIA DGX Spark (GB10 Grace Blackwell) está agora disponível na Austrália nas principais lojas de computadores, com estoque local. Se você tem acompanhado os preços e disponibilidade globais do DGX Spark, terá interesse em saber que os preços na Austrália variam de A$ 6.249 a A$ 7.999, dependendo da configuração de armazenamento e do varejista.
Testando o Cognee com LLMs locais – resultados reais
Cognee é um framework em Python para construir grafos de conhecimento a partir de documentos usando LLMs. Mas ele funciona com modelos auto-hospedados?
Como resolvi problemas de rede no Ubuntu
Após instalar automaticamente um novo kernel, o Ubuntu 24.04 perdeu a rede ethernet. Este problema frustrante ocorreu comigo pela segunda vez, por isso estou documentando a solução aqui para ajudar outros que enfrentam o mesmo problema.
Postagem curta, apenas registrando o preço.
Com essa volatilidade louca dos preços da RAM, para formar e ter uma melhor compreensão, vamos acompanhar os preços da RAM na Austrália nós mesmos primeiro.
Os preços da memória RAM disparam entre 163% e 619% à medida que a demanda por IA tensiona o fornecimento.
O mercado de memória está experimentando uma volatilidade de preços sem precedentes no final de 2025, com os preços da RAM disparando dramaticamente em todos os segmentos.
Preços de GPUs de Consumo Adequadas para IA - RTX 5080 e RTX 5090
Vamos comparar os preços das GPUs de consumo de topo, que são adequadas, em particular, para LLMs e, em geral, para IA. Especificamente, estou analisando os preços das RTX-5080 e RTX-5090.
Implante IA empresarial em hardware de baixo custo com modelos abertos
A democratização da IA chegou. Com LLMs de código aberto como Llama, Mistral e Qwen rivalizando agora com modelos proprietários, as equipes podem construir uma poderosa infraestrutura de IA usando hardware de consumo - reduzindo drasticamente os custos enquanto mantêm controle total sobre a privacidade dos dados e a implantação.
Ative a aceleração por GPU para o Docker Model Runner com suporte NVIDIA CUDA.
Docker Model Runner é a ferramenta oficial da Docker para executar modelos de IA localmente, mas habilitar a aceleração de GPU da NVidia no Docker Model Runner requer configuração específica.
