Установка и быстрый старт агента Hermes для разработчиков
Hermes Agent — это хостящийся на собственном сервере (self-hosted), независимый от конкретной модели искусственный интеллект, который работает на локальной машине или недорогом VPS, взаимодействует через терминал и мессенджеры, а также совершенствуется со временем, превращая повторяющиеся задачи в повторно используемые навыки.
Установите TGI, развертывайте быстро, отлаживайте ещё быстрее.
Text Generation Inference (TGI) обладает очень специфической энергетикой. Это не самый новый проект на улице инференса, но это тот, который уже научился, как происходит работа в продакшене, —
Скорость генерации токенов llama.cpp на 16 ГБ видеопамяти (таблицы).
Здесь я сравниваю скорость нескольких больших языковых моделей (LLM), работающих на видеокарте с 16 ГБ видеопамяти, и выбираю лучшую для локального развертывания.
Ollama-сервер с приоритетом композинга, поддержкой GPU и сохранением состояния.
Ollama отлично работает на «голом» железе. Но становится еще интереснее, если рассматривать его как сервис: стабильный конечный пункт, зафиксированные версии, постоянное хранилище данных и GPU, который либо доступен, либо нет.
HTTPS для Ollama без нарушения потоковой передачи ответов.
Запуск Ollama через обратный прокси — самый простой способ обеспечить поддержку HTTPS, опциональный контроль доступа и предсказуемое поведение потоковой передачи данных.
Запускайте открытые модели быстро с помощью SGLang.
SGLang — это высокопроизводительный фреймворк для развертывания больших языковых и мультимодальных моделей, созданный для обеспечения низколатентного и высокопроизводительного вывода на устройствах от одной GPU до распределенных кластеров.
Горячая замена локальных LLM без изменения клиентов.
Вскоре вы будете жонглировать vLLM, llama.cpp и другими решениями — каждый стек на своем порту. Все downstream-системы все еще хотят один базовый URL /v1; иначе вы постоянно переставляете порты, профили и одноразовые скрипты. llama-swap — это прокси /v1 перед этими стеками.
Большинство локальных установок ИИ начинаются с модели и среды выполнения.
Что происходит на самом деле при запуске Ultrawork.
Oh My Opencode обещает «виртуальную команду AI-разработчиков» — Сизиф координирует специалистов, задачи выполняются параллельно, а волшебное ключевое слово ultrawork активирует всё это.
Установите Oh My Opencode и ускоряйте разработку.
Oh My Opencode превращает OpenCode в многоагентскую среду для разработки: оркестратор делегирует работу специализированным агентам, которые выполняются параллельно.
Тест LLM OpenCode — статистика по кодированию и точности
Я протестировал, как OpenCode работает с несколькими локальными LLM, запущенными через Ollama и llama.cpp, а для сравнения добавил несколько бесплатных моделей из OpenCode Zen.
Познакомьтесь с Sisyphus и его командой специализированных агентов.
Наибольший скачок в возможностях OpenCode обеспечивается специализированными агентами: осозванным разделением оркестрации, планирования, выполнения и исследований.
Быстрый старт с OpenHands CLI за несколько минут
OpenHands — это открытая платформа, не зависящая от конкретной модели, для агентов ИИ в сфере разработки программного обеспечения. Она позволяет агенту вести себя скорее как партнер по программированию, чем как простой инструмент автодополнения.
Запустите собственные API, совместимые с OpenAI, с помощью LocalAI за несколько минут.
LocalAI — это самодостаточный сервер вывода с приоритетом на локальное использование, разработанный для работы как прямая замена OpenAI API для запуска ИИ-нагрузок на вашем собственном оборудовании (ноутбук, рабочая станция или сервер в центре обработки данных).
Установка, настройка и использование OpenCode
Я постоянно возвращаюсь к llama.cpp для локального инференса — он дает контроль, который скрывают Ollama и другие решения, и просто работает. Легко запускать модели GGUF интерактивно через llama-cli или предоставлять совместимый с OpenAI HTTP-интерфейс через llama-server.
Искусственный интеллект трансформирует процессы написания, проверки, развертывания и поддержки программного обеспечения. От ИИ-ассистентов для написания кода до автоматизации GitOps и DevOps-процессов — разработчики теперь полагаются на инструменты, powered by AI, на всех этапах жизненного цикла разработки ПО.
