SelfHosting

Память превращает ассистентов из реактивных в персистентные системы, но именно здесь многие системы тихо деградируют. Исследования показывают, что разделение на кратковременную и долгосрочную память больше не достаточно для современной памяти агентов; OpenAI и SDK LangGraph указывают на более простую архитектуру — рабочую память, персистентное состояние и извлечение данных.

Фреймворки для ИИ-агентов с открытым исходным кодом стремительно набирают популярность на GitHub. Два проекта, являющихся основой экосистемы самохостинговых ИИ-систем — OpenClaw и Hermes Agent — настолько опередили остальных, что вся остальная отрасль борется за отдаленное третье место.

Я протестировал производительность спекулятивного декодирования (Multi-Token Prediction, MTP) в моделях Qwen 3.6 27B и 35B на видеокарте RTX 4080 с 16 ГБ видеопамяти (VRAM).

Режим маршрутизации llama.cpp — одно из самых полезных изменений в llama-server за последние годы. Наконец-то локальным операторам LLM предоставляется опыт управления моделями, близкий к тому, к которому пользователи привыкли в Ollama, при этом сохраняются высокая производительность и низкоуровневый контроль, которые делают llama.cpp стоящими того, чтобы использовать их в первую очередь.

Эта страница представляет собой практическое руководство по настройке агентов на базе LLM (температура, top_p, top_k, штрафы и их взаимодействие в многоступенчатых рабочих процессах с интенсивным использованием инструментов).

Вы уже общаетесь с агентом Hermes через телефон, используя текстовые сообщения. Теперь вы хотите говорить с ним напрямую и получать ответы голосом. Как правило, это правильное решение, особенно если вы уже используете Hermes как постоянно работающего автономного ассистента. Ввод длинных подсказок на маленьком экране медленный и подвержен ошибкам.

Агент Hermes поставляется с доской в стиле Канбан и шлюзом Hermes Gateway, который может перегрузить вашу локально развернутую модель LLM, если одновременно будет отправлено слишком много задач.

Hermes Agent рассматривает навыки (skills) как основной способ обучения повторяемым рабочим процессам. В официальной документации они описываются как документы с знаниями, доступные по требованию и соответствующие открытому формату agentskills.io. Они загружаются через механизм постепенного раскрытия (progressive disclosure), благодаря чему модель сначала видит небольшой индекс и извлекает полные инструкции только тогда, когда задача действительно в них нуждается.

Hermes Agent от Nous Research — это модельно-независимый ассистент, использующий инструменты, который вы можете запускать локально или на VPS.

MinIO Community Edition больше не является безопасным выбором по умолчанию для новых производственных систем.

Этот раздел содержит руководства по постоянному хранению знаний и памяти для ИИ-систем — как ассистенты сохраняют факты, предпочтения и сжатый контекст между сеансами, не перегружая один промпт всеми токенами. Здесь под памятью подразумевается осознанное удержание данных (факты о пользователе, резюме, хранилища, поддерживаемые плагинами), а не оперативная память GPU или веса моделей.

Современные ассистенты по-прежнему забывают всё, когда вы закрываете вкладку, если ничего не сохраняется за пределами окна контекста. Провайдеры памяти агентов — это сервисы или библиотеки, которые хранят факты и резюме между сессиями; они часто подключаются как плагины, чтобы фреймворк оставался легковесным, в то время как память масштабируется.

Вы знаете, как это бывает. Вы открываете чат с ИИ-агентом, объясняете проект, делитесь предпочтениями, получаете результаты работы и закрываете вкладку. Возвращаетесь на следующей неделе — и оказывается, что вы общаетесь с незнакомцем: весь контекст потерян, все предпочтения забыты, проект нужно объяснять заново.

OpenClaw не провалилась как продукт. Он потерял свое топливо.

Долгое время у llama.cpp была очевидная limitation:
вы могли обслуживать только одну модель в процессе, а переключение требовало перезапуска.

Управление личными знаниями охватывает такие инструменты, как Obsidian, Logseq, DokuWiki, метод Zettelkasten и систему PARA — правильный выбор зависит от того, хотите ли вы локальный граф заметок, собственный вики-сервер или рабочий процесс, основанный на аутлайнерах.