Revisión de la realidad de los precios - RTX 5080 y RTX 5090
Hace solo 3 meses no veíamos la RTX 5090 en tiendas, y ahora aquí están, pero los precios son ligeramente más altos que el MRSP. Comparemos los precios más baratos para RTX 5080 y RTX 5090 en Australia y veamos cómo va.
Más RAM, menos potencia, y aún así cara como...
Sistema automatizado de alto rendimiento para algún trabajo increíble.
¿Piensa en instalar una segunda GPU para LLMs?
Cómo afectan los canales PCIe al rendimiento de los LLM? Dependiendo de la tarea. Para el entrenamiento y la inferencia con múltiples GPUs, la caída de rendimiento es significativa.
Y por qué he estado viendo este error de BSOD...
Fui golpeado con fuerza por este problema. Pero debes investigar y probar tu PC si tu BSOD es como el mío.
La causa fue el problema de degradación del CPU de Intel en las generaciones 13ª y 14ª.
Ollama en CPU de Intel: núcleos eficientes vs. núcleos de rendimiento
Tengo una teoría para probar: ¿si utilizamos todos los núcleos en una CPU de Intel aumentaría la velocidad de los LLMs? Me molesta que el nuevo modelo gemma3 de 27 bits (gemma3:27b, 17 GB en ollama) no se ajuste a los 16 GB de VRAM de mi GPU, y se ejecute parcialmente en la CPU.
La IA requiere mucha potencia...
En medio del caos del mundo moderno aquí estoy comparando especificaciones técnicas de diferentes tarjetas adecuadas para tareas de IA
(Deep Learning,
Deteción de objetos
y LLMs).
Aunque todas son increíblemente caras.
Configurando ollama para la ejecución de solicitudes en paralelo.
Cuando el servidor Ollama recibe dos solicitudes al mismo tiempo, su comportamiento depende de su configuración y de los recursos del sistema disponibles.
Probemos la velocidad de los LLM en GPU frente a CPU
Comparando la velocidad de predicción de varias versiones de LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) en CPU y GPU.
