Installatie en quickstart van Hermes Agent voor ontwikkelaars
Hermes Agent is een zelfgehoste, model-onafhankelijke AI-assistent die lokaal op een machine of een goedkope VPS draait, werkt via terminal- en berichtinterfaces en door de tijd heen verbetert door herhaalde taken om te zetten in herbruikbare vaardigheden.
Installeer TGI, schip snel af, debuggen sneller.
Text Generation Inference (TGI) heeft een zeer specifieke energie. Het is niet de nieuwste speler op de inference-straat, maar het is wel degene die al heeft geleerd hoe productie faalt en
llama.cpp tokensnelheid op 16 GB VRAM (tabellen).
Hier vergelijk ik de snelheid van verschillende LLM’s die op een GPU met 16 GB VRAM draaien, en kies ik de beste optie voor zelfhosting.
De RTX 5090 is in Australië schaars en overprijsd.
Australië heeft voorraad RTX 5090. Amper. En als je er eentje vindt, betaal je een premie die los staat van de realiteit.
Toegang op afstand tot Ollama zonder openbare poorten
Ollama is het meest tevreden wanneer het wordt behandeld als een lokale daemon: de CLI en uw apps communiceren met een loopback HTTP API, en de rest van het netwerk komt er nooit achter dat het bestaat.
Componeren-als-basis Ollama-server met GPU en persistentie.
Ollama werkt uitstekend op bare metal. Het wordt nog interessanter wanneer je het als een service behandelt: een stabiel eindpunt, vastgezet versies, persistente opslag en een GPU die ofwel beschikbaar is of niet.
HTTPS voor Ollama zonder streaming-responses te onderbreken.
Ollama achter een reverse proxy draaien is de eenvoudigste manier om HTTPS, optionele toegangscontrole en voorspelbaar streamgedrag te krijgen.
RAG-embeddings: Python, Ollama, OpenAI-API's.
Als u werkt aan generatie versterkt met ophalen (RAG), leidt dit gedeelte u in eenvoudige taal door tekst-embeddings: wat ze zijn, hoe ze passen binnen zoeken en ophalen, en hoe u twee veelvoorkomende lokale opstellingen in Python kunt aanroepen via Ollama of een OpenAI-compatibele HTTP-API (zoals veel op llama.cpp gebaseerde servers exposen).
Serveer open modellen snel met SGLang.
SGLang is een high-performance framework voor het uitvoeren van inference bij grote taalmodellen en multimodale modellen, ontworpen om lage latentie en hoge doorvoer te leveren, variërend van een enkele GPU tot gedistribueerde clusters.
Wissel lokale LLM's heet uit zonder de clients te wijzigen.
Binnenkort balanceren vLLM, llama.cpp en meer—elk stack op zijn eigen poort. Alles downstream wil nog steeds één /v1 basis-URL; anders blijf je met poorten, profielen en eenmalige scripts shuffelen. llama-swap is de /v1 proxy voor die stacks.
De meeste lokale AI-opstellingen beginnen met een model en een runtime.
Wat gebeurt er eigenlijk als je Ultrawork uitvoert?
Oh My Opencode belooft een “virtueel AI-ontwikkelteam” — Sisyphus die specialisten coördineert, taken die parallel worden uitgevoerd en het magische ultrawork-sleutelwoord dat alles activeert.
Maak kennis met Sisyphus en zijn team van gespecialiseerde agents.
De grootste sprong in capaciteit in OpenCode komt van gespecialiseerde agents: een doordachte scheiding van orkestratie, planning, uitvoering en onderzoek.
Installeer Oh My Opencode en schip sneller uit.
Oh My Opencode maakt van OpenCode een multi-agent codeerhulpmiddel: een orchestrator delegeert werk aan specialistische agenten die parallel draaien.
OpenCode LLM-test — coderings- en nauwkeurigheidsstatistieken
Ik heb getest hoe OpenCode werkt met verschillende lokaal gehoste LLM’s op Ollama en llama.cpp, en voor de vergelijking heb ik enkele gratis modellen van OpenCode Zen toegevoegd.
OpenHands CLI: snelstart in enkele minuten
OpenHands is een open-source, model-agnostisch platform voor door AI-aangedreven softwareontwikkelingsagenten.
Het stelt een agent in staat om zich meer te gedragen als een programmeerpartner dan als een eenvoudig hulpmiddel voor automatische voltooijing.
