Системы ИИ: локальные ассистенты, RAG и локальная инфраструктура

Содержимое страницы

Большинство локальных AI-систем начинаются с модели и рантайма.

Вы скачиваете квантованную модель, запускаете её через Ollama или другой рантайм и начинаете писать промпты. Для экспериментов этого более чем достаточно. Но как только вы выходите за пределы любопытства — начинаете задумываться о памяти, качестве поиска, маршрутизации решений или контроле затрат — простота начинает показывать свои ограничения.

Этот кластер исследует иной подход: рассматривать ИИ-ассистента не как вызов единичной модели, а как согласованную систему.

На первый взгляд это различие может показаться незначительным, но оно полностью меняет ваше представление о локальном ИИ.

Оркестрация AI-систем с локальными LLM, RAG и слоями памяти

Что такое AI-система?

AI-система — это больше, чем просто модель. Это слой оркестрации, связывающий вывод (инференс), поиск (ретривал), память и выполнение в нечто, что ведет себя как связный ассистент.

Запуск модели локально — это инфраструктурная работа. Проектирование ассистента вокруг этой модели — это системная работа.

Если вы уже ознакомились с нашими более обширными гайдами по темам:

— вы уже знаете, что инференс — лишь один слой стека.

Кластер AI Systems лежит поверх этих слоев. Он не заменяет их, а комбинирует.

Для поперечной карты того, как эти слои объединяются в production-ассистентах — LLM, память, инструменты, маршрутизация и наблюдаемость, с OpenClaw и Hermes в качестве референсных систем — см. Архитектура ИИ-ассистента: LLM, память, инструменты, маршрутизация, наблюдаемость.

Как только архитектура ассистента становится прочной, следующий шаг — сделать его проактивным. Опросные агенты (Polling Agents) в ИИ-ассистентах: 11 паттернов реализации рассказывает о том, как фоновые воркеры опроса, выполнение на основе очередей, долговечные воркфлоу и семантические LLM-эвалуаторы превращают реактивный ассистент в того, кто сам наблюдает, решает и действует.

Когда одного ассистента недостаточно и требуется координация нескольких агентов, выбор паттерна координации определяет все: латентность, отказоустойчивость, стоимость и отлаживаемость. Паттерны многоагентной оркестрации: практический гайд рассматривает шесть канонических паттернов — оркестратор-работник, последовательный пайплайн, fan-out, иерархический, стайный и сетевой — с конкретными режимами отказа и фреймворком для выбора правильной архитектуры.

Прежде чем добавлять больше автономии, стоит задать вопрос, какие решения агентам вообще разрешено принимать. LLM для принятия решений: когда модели стоит решать — а когда нет разделяет суждение модели и авторитет системы: пять ролей принятия решений, маршрутизация каждого решения к наименее компетентному слою, а также хранилища решений, инварианты и шлюзы радиуса поражения, делающие выбор модели аудируемым постфактум.

OpenClaw: self-hosted система ИИ-ассистента

OpenClaw — это open-source, self-hosted ИИ-ассистент, предназначенный для работы через различные мессенджеры при использовании локальной инфраструктуры.

На практическом уровне он:

  • Использует локальные LLM-рантаймы, такие как Ollama или vLLM
  • Интегрирует поиск по индексированным документам
  • Поддерживает память за пределами одной сессии
  • Выполняет инструменты и задачи автоматизации
  • Может быть оснажден инструментами мониторинга и наблюдаем
  • Работает в пределах аппаратных ограничений

Это не просто обертка над моделью. Это слой оркестрации, связывающий инференс, поиск, память и выполнение в нечто, что ведет себя как связный ассистент.

Начало работы и архитектура:

  • Быстрый старт OpenClaw — установка на основе Docker с использованием либо локальной модели Ollama, либо облачной конфигурации Claude
  • Обзор системы OpenClaw — архитектурный разбор того, чем OpenClaw отличается от более простых локальных конфигураций
  • Гайд по NemoClaw для безопасной работы с OpenClaw — путь безопасности для OpenClaw с песочницей OpenShell, уровнями политик, маршрутизированным инференсом и эксплуатацией на второй день

Контекст и анализ:

Расширение и настройка OpenClaw:

Плагины расширяют рантайм OpenClaw — добавляя бэкенды памяти, провайдеров моделей, каналы коммуникации, веб-инструменты и наблюдаемость. Навыки (Skills) расширяют поведение агента — определяя, как и когда агент использует эти возможности. Production-конфигурация означает сочетание обоих элементов, выстроенное вокруг того, кто на самом деле использует систему.

Hermes: персистентный агент с навыками и песочницей инструментов

Hermes Agent — это self-hosted, модель-агностичный ассистент, сфокусированный на персистентной работе: он может выполняться как долгоживущий процесс, исполнять инструменты через настраиваемые бэкенды и улучшать воркфлоу со временем благодаря памяти и переиспользуемым навыкам.

На практическом уровне Hermes полезен, когда вы хотите:

  • Ассистента с приоритетом терминала, который также может выходить в мессенджеры
  • Гибкость провайдеров через OpenAI-совместимые эндпоинты и переключение моделей
  • Границы выполнения инструментов через локальные и изолированные (sandboxed) бэкенды
  • Эксплуатацию на второй день с диагностикой, логами и гигиеной конфигурации

Профили Hermes — это полностью изолированные среды — каждая со своей конфигурацией, секретами, памятью, сессиями, навыками и состоянием — что делает профили реальным юнитом ownership в production, а не отдельный навык.

Персистентные знания и память

Некоторые проблемы не решаются просто увеличением окна контекста — они требуют персистентных знаний (графы, пайплайны инжеста) и плагинов памяти агентов (Honcho, Mem0, Hindsight и подобные бэкенды), встроенных в ассистенты, такие как Hermes или OpenClaw.

MCP: серверы протокола контекста модели

Протокол контекста модели (Model Context Protocol, MCP) — это открытый стандарт, введенный Anthropic для подключения языковых моделей ИИ к внешним источникам данных, инструментам и системам. Он решает проблему интеграции N×M, предоставляя универсальный интерфейс — представьте это как порт USB-C для приложений ИИ. Создание MCP-серверов позволяет расширять ИИ-ассистенты кастомными интеграциями для файлов, баз данных, API и вызываемых инструментов, используя простой протокол на основе JSON-RPC поверх stdio или HTTP.

  • Навыки агентов против MCP-серверов: фреймворк принятия решений — практический фреймворк для определения, когда использовать навыки, когда строить MCP-серверы и как паттерн тонкого сервера объединяет оба
  • MCP-сервер на Go — архитектура протокола, структура сообщений JSON-RPC, переговоры возможностей, официальный Go SDK и пошаговый туториал по построению MCP-серверов на Go
  • Создание MCP-серверов на Python — практический гайд по реализации на Python, покрывающий MCP-серверы веб-поиска и скрапинга, транспорт stdio и SSE, и интеграцию с Claude Desktop

A2A: протокол агента к агенту

Протокол Agent2Agent (A2A) — это открытый стандарт для коммуникации между независимо развернутыми системами ИИ-агентов. Там, где MCP подключает агента к инструментам, A2A подключает агентов друг к другу — позволяя им обнаруживать друг друга через Agent Cards, обмениваться задачами и сообщениями, стримить прогресс и возвращать типизированные артефакты. A2A предназначен для систем, где агентами управляют разные команды, они построены на разных фреймворках или развернуты как отдельные сервисы, которым необходимо взаимодействовать.

Что отличает AI-системы

Несколько характеристик делают AI-системы достойными более пристального внимания.

Маршрутизация моделей как выбор проектирования

Большинство локальных конфигураций по умолчанию используют одну модель. AI-системы поддерживают намеренный выбор моделей.

Это порождает вопросы:

  • Должны ли мелкие запросы использовать меньшие модели?
  • Когда рассуждения оправдывают более крупное окно контекста?
  • Какова разница в стоимости на 1000 токенов?

Эти вопросы напрямую связаны с компромиссами производительности, обсуждаемыми в гайде по производительности LLM, и инфраструктурными решениями, описанными в гайде по хостингу LLM.

AI-системы выводят эти решения на поверхность, вместо того чтобы прятать их.

Поиск (Retrieval) рассматривается как эволюционирующий компонент

AI-системы интегрируют поиск документов, но не как примитивный шаг «эмбед и ищи».

Они признают:

  • Размер чанков влияет на полноту и стоимость
  • Гибридный поиск (BM25 + вектор) может превосходить чисто плотный поиск
  • Ре ранкинг улучшает релевантность ценой латентности
  • Стратегия индексирования влияет на потребление памяти

Эти темы согласуются с более глубокими архитектурными рассуждениями, обсуждаемыми в туториале по RAG.

Разница в том, что AI-системы встраивают поиск в живого ассистента, а не представляют его как изолированный демо. Deep Research доводит эту идею до предела: вместо одного прохода поиска система планирует, ветвится, перепроверяет и итерирует, пока доказательства не станут достаточными. Self-hosted системы Deep Research: сравнение 12 инструментов разбирает двенадцать self-hosted систем — рекурсивные деревья исследований, дизайны «планировщик плюс сабагент» и циклы обнаружения разрывов доказательств среди прочего — и то, как каждая превращает поиск в адаптивный цикл исследования.

Память как инфраструктура

Бессостоятельные LLM забывают все между сессиями.

AI-системы вводят персистентные слои памяти. Это немедленно порождает вопросы проектирования:

  • Что должно храниться долгосрочно?
  • Когда контекст должен суммироваться?
  • Как предотвратить взрыв токенов?
  • Как эффективно индексировать память?

Эти вопросы напрямую пересекаются с рассуждениями о слое данных из гайда по инфраструктуре данных. Для агента Hermes в частности — ограниченная 2-файловая память, префиксное кэширование, внешние плагины — начните с Система памяти агента Hermes и поперечного сравнения Сравнение провайдеров памяти для агентов. Автоматический захват и рефлексия также могут превращать собственное рассуждение модели в будущие «доказательства» — см. Самоусиливающиеся циклы памяти в ИИ-агентах для режима отказа и Mnemosyne для агента Hermes для консервативной локальной реализации. В хабе памяти AI Systems перечислены связанные гайды по Cognee и слоям знаний.

Память перестает быть фичей и становится проблемой хранения.

Наблюдаемость не является опциональной

Большинство локальных экспериментов с ИИ останавливаются на «он отвечает».

AI-системы делают возможным наблюдение:

  • Использованию токенов
  • Латентности
  • Использованию железа
  • Паттернам пропускной способности

Это естественно связано с принципами мониторинга, описанными в гайде по наблюдаемости.

Если ИИ работает на железе, он должен быть измерим, как любая другая нагрузка.

Как это ощущается в использовании

Снаружи AI-система может по-прежнему выглядеть как чат-интерфейс.

Под поверхностью происходит больше.

Если вы попросите его резюмировать технический отчет, сохраненный локально:

  1. Он извлекает релевантные сегменты документа.
  2. Он выбирает подходящую модель.
  3. Он генерирует ответ.
  4. Он записывает использование токенов и латентность.
  5. Он обновляет персистентную память при необходимости.

Видимое взаимодействие остается простым. Поведение системы — многоуровневое.

Именно это многоуровневое поведение отличает систему от демо.

Где AI-системы занимают место в стеке

Кластер AI Systems находится на пересечении нескольких инфраструктурных слоев:

  • Хостинг LLM: слой рантайма, где выполняются модели (Ollama, vLLM, llama.cpp)
  • RAG: слой поиска, обеспечивающий контекст и основу
  • Производительность: слой измерений, отслеживающий латентность и пропускную способность
  • Наблюдаемость: слой мониторинга, предоставляющий метрики и отслеживание затрат
  • Инфраструктура данных: слой хранения, обрабатывающий память и индексирование

Понимание этого различения полезно. Запуск собственной системы делает разницу яснее.

Для минимальной локальной установки с OpenClaw см. гайд быстрого старта OpenClaw, который разбирает настройку на основе Docker с использованием либо локальной модели Ollama, либо облачной конфигурации Claude.

Если ваша конфигурация зависит от Claude, это изменение политики для инструментов агентов поясняет, почему для сторонних воркфлоу OpenClaw теперь требуется тарификация через API.

Связанные ресурсы

A2A: протокол агента к агенту:

MCP-серверы:

Сравнения:

Гайды по ИИ-ассистентам:

Инфраструктурные слои:

Подписаться

Получайте новые материалы про системы, инфраструктуру и AI engineering.