Selfhosting

Эта статья посвящена плагинам OpenClaw — нативным пакетам шлюза, которые добавляют каналы, провайдеры моделей, инструменты, речевые функции, память, медиа, веб-поиск и другие возможности runtime.

OpenClaw выглядит простым в демонстрациях. В производственной среде он становится полноценной системой.

Vane — это один из наиболее прагматичных проектов в пространстве «поиска с использованием ИИ и цитированием»: самохостинговое средство ответов, которое сочетает в себе живой поиск в вебе с локальными или облачными LLM, сохраняя при этом полный контроль над всем стеком технологий.

Hermes Agent — это самоуправляемый AI-ассистент, не привязанный к конкретной модели, работающий на локальном компьютере или недорогом VPS. Он функционирует через терминал и мессенджеры и со временем совершенствуется, превращая повторяющиеся задачи в переиспользуемые навыки.

Text Generation Inference (TGI) обладает очень специфической энергетикой. Это не самый новый проект на улице инференса, но это тот, который уже научился, как происходит работа в продакшене, —

SGLang — это высокопроизводительный фреймворк для развертывания больших языковых и мультимодальных моделей, созданный для обеспечения низколатентного и высокопроизводительного вывода на устройствах от одной GPU до распределенных кластеров.

Вскоре вы будете жонглировать vLLM, llama.cpp и другими решениями — каждый стек на своем порту. Все downstream-системы все еще хотят один базовый URL /v1; иначе вы постоянно переставляете порты, профили и одноразовые скрипты. llama-swap — это прокси /v1 перед этими стеками.

Большинство локальных конфигураций ИИ начинаются с модели и среды выполнения.

Я снова и снова возвращаюсь к llama.cpp для локального инференса — он предоставляет уровень контроля, который Ollama и другие инструменты скрывают за фасадом, и он просто работает. Легко запускать модели GGUF в интерактивном режиме через llama-cli или открывать HTTP API, совместимое с OpenAI, с помощью llama-server.

Большинство локальных конфигураций искусственного интеллекта начинаются одинаково: модель, среда выполнения и интерфейс чата.

Выбор правильной headless CMS может сделать или сломать вашу стратегию управления контентом. Давайте сравним три открытых решения, которые влияют на то, как разработчики создают приложения, основанные на контенте.

Nextcloud — ведущая платформа для хранения данных в облаке и совместной работы с открытым исходным кодом, которая позволяет вам полностью контролировать ваши данные.

Здесь я перечислю некоторые инструменты для программирования с поддержкой ИИ и ИИ-ассистентов для программирования, а также их преимущества.

Вот шпаргалка по Docker, охватывающая самые важные команды и концепции: от установки до запуска контейнеров и очистки системы:

Когда я начал экспериментировать с LLM, их интерфейсы находились в активной стадии разработки, и теперь некоторые из них стали действительно хорошими.