Почему контекст 128K не работает на 16 ГБ
Модель может заявлять о поддержке контекстного окна в 128K, но проваливаться уже на 40K токенах на видеокарте с 16 ГБ. Архитектурный потолок никогда не обещал, что веса, KV-кэш, вычислительные буферы и системный композитор смогут одновременно уместиться на вашем устройстве.
Почему ваш стек ИИ становится всё более «липким» каждый месяц.
Каждый вызов API кажется простой транзакцией — пока их количество не накопится настолько, что ваши данные для тонкой настройки, системы оценки и схемы инструментов не окажутся привязаны к одному вендору, и переключение перестанет быть просто изменением маршрутизации.
Сравнение AI-GPU от трёх производителей
Ландшафт аппаратных решений для ИИ значительно изменился в 2026 году: NVIDIA, AMD и Intel соревнуются за разработчиков, которым требуются GPU, способные запускать локальные большие языковые модели (LLM) и выполнять задачи инференса.
MTP и стандартное декодирование на RTX 4080 — реальные бенчмарки
Я протестировал производительность спекулятивного декодирования (Multi-Token Prediction, MTP) в моделях Qwen 3.6 27B и 35B на видеокарте RTX 4080 с 16 ГБ видеопамяти (VRAM).
Скорость обработки токенов в llama.cpp на видеокарте с 16 ГБ видеопамяти (таблицы).
Здесь я сравниваю скорость нескольких LLM, работающих на GPU с 16 ГБ видеопамяти (VRAM), и выбираю лучшую из них для локального развертывания.
В Австралии RTX 5090 дефицитна и завышена в цене.
В Австралии есть в наличии RTX 5090. Вроде бы. И если вам повезет ее найти, вы заплатите премию, оторванную от реальности.
Управляйте данными и моделями с помощью развернутых локально LLM
Хостинг больших языковых моделей (LLM) на собственных серверах обеспечивает контроль над данными, моделями и процессом инференса — это практический путь к суверенному искусственному интеллекту для команд, предприятий и целых стран.
Тест скорости LLM на RTX 4080 с 16 ГБ видеопамяти
Запуск больших языковых моделей локально обеспечивает конфиденциальность, возможность работы в автономном режиме и нулевые расходы на API. Этот бенчмарк показывает, чего можно ожидать от 14 популярных LLM на Ollama на видеокарте RTX 4080.
Проверка цен на GPU и RAM в январе 2025 года
Сегодня мы рассматриваем топовые потребительские графические процессоры и модули оперативной памяти. Конкретно я смотрю на цены на RTX-5080 и RTX-5090, а также на 32ГБ (2x16ГБ) DDR5 6000.
Выберите подходящий терминал для вашего рабочего процесса в Linux
Актуальные цены в австралийских долларах от местных розничных продавцов уже доступны.
Компьютер NVIDIA DGX Spark (GB10 Grace Blackwell) поступил в продажу в Австралии у крупных розничных продавцов компьютеров с наличием на местных складах. Если вы следите за мировым ценообразованием и доступностью DGX Spark, то вам будет интересно узнать, что в Австралии цены варьируются от 6 249 до 7 999 австралийских долларов в зависимости от конфигурации накопителей и конкретного продавца.
Тестирование Cognee с локальными ЛЛМ - реальные результаты
Cognee — это фреймворк на Python для создания знаний из документов с использованием LLMs. Но работает ли он с самонастраиваемыми моделями?
Как я исправил проблемы с сетью в Ubuntu
После автоматической установки нового ядра, Ubuntu 24.04 потеряла сетевое подключение по Ethernet. Эта раздражающая проблема произошла со мной во второй раз, поэтому я документирую решение здесь, чтобы помочь другим, столкнувшимся с той же проблемой.
Короткий пост, просто фиксируем цену.
Учитывая эту безумную волатильность цен на оперативную память, чтобы составить более полную картину, давайте сначала сами отслежим цены на ОЗУ в Австралии.
Цены на оперативную память выросли на 163–619% из-за дефицита, вызванного спросом на ИИ.
Рынок памяти переживает беспрецедентную волатильность цен в конце 2025 года, когда цены на оперативную память резко выросли по всем сегментам.
