Hardware

Как линии PCIe влияют на производительность LLM? Это зависит от задачи. Для обучения и инференса на нескольких GPU — снижение производительности значительное.

Я сильно пострадал от этой проблемы. Но вы должны проверить и протестировать свой компьютер, если ваш BSOD похож на мой.
Причина заключается в проблеме деградации процессоров Intel 13-го и 14-го поколений.

У меня есть теория, которую нужно проверить - использование всех ядер Intel CPU повысит скорость работы LLMs? (Тест: Как Ollama использует производительность и эффективные ядра Intel CPU)

Меня беспокоит, что новая модель gemma3 27 бит (gemma3:27b, 17ГБ в ollama) не помещается в 16ГБ видеопамяти моей GPU и частично работает на CPU.

В условиях современной турбулентности я сравниваю технические характеристики различных видеокарт, подходящих для задач ИИ (Глубокое обучение, Обнаружение объектов и Языковые модели). Они все невероятно дороги.

В этом руководстве объясняется как Ollama обрабатывает параллельные запросы (конкурентность, очередь и ограничения ресурсов), и как настроить это с помощью переменной окружения OLLAMA_NUM_PARALLEL (и связанных параметров).

Установка ET-8500 на Windows подробно описана в руководстве. Установка драйвера ET-8500 для Linux проста, но не является тривиальной. Это руководство является частью нашего Руководства по инструментам документации в 2026 году: Markdown, LaTeX, PDF и рабочие процессы печати хаба.

Сравнение скорости предсказания нескольких версий ЛЛМ: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (открытый исходный код) на CPU и GPU.