Agentbaserad kodning, nu med lokala modellbackends.
Claude Code är inte bara autocomplete med bättre marknadsföring. Det är ett agentic-kodverktyg: det läser din kodbas, redigerar filer, kör kommandon och integreras med dina utvecklingsverktyg.
Installation och snabbstart av Hermes Agent för utvecklare
Hermes Agent är en självhostad, modellagnostisk AI-assistent som körs på en lokal maskin eller en lågkostnad-VPS, fungerar via terminal- och meddelandesgränssnitt och förbättras över tid genom att omvandla upprepade uppgifter till återanvändbara färdigheter.
Installera TGI, leverera snabbt, felsök ännu snabbare
Text Generation Inference (TGI) har en mycket specifik energi. Det är inte den nyaste killen på inferensgatan, men det är den som redan har lärt sig hur produktion bryts –
Tokenhastighet för llama.cpp på 16 GB VRAM (tabeller).
Här jämför jag hastigheten för flera LLM-modeller som körts på en GPU med 16 GB VRAM och väljer den bästa för självhostning.
Ollama-server med komposition i förgrunden, GPU och uthållighet.
Ollama fungerar utmärkt på “bare metal”. Det blir ännu mer intressant när du behandlar det som en tjänst: en stabil slutpunkt, fastlagda versioner, beständig lagring och en GPU som antingen är tillgänglig eller inte.
HTTPS för Ollama utan att störa strömande svar.
Att köra Ollama bakom en omvänd proxy är det enklaste sättet att få HTTPS, valfri åtkontroll och förutsägbart strömmande beteende.
Servera öppna modeller snabbt med SGLang.
SGLang är ett högpresterande ramverk för servering av stora språkmodeller och multimodala modeller, byggt för att leverera inferens med låg latens och hög genomströmning över allt från en enda GPU till distribuerade kluster.
Byt lokala LLM:ar utan att ändra klienterna.
Snart kastar du mellan vLLM, llama.cpp och mer – varje stack på sin egen port. Allt nedströms vill fortfarande ha en enda bas-URL /v1; annars fortsätter du att shuffla med portar, profiler och skript för enskilda fall. llama-swap är /v1-proxyn som ligger framför dessa stackar.
De flesta lokala AI-installationer börjar med en modell och en körningstid (runtime).
Vad som egentligen händer när du kör Ultrawork.
Oh My Opencode lovar om ett “virtuellt AI-utvecklingsteam” — där Sisyphus dirigerar specialister, uppgifter körs parallellt och magiska nyckelordet ultrawork aktiverar allt.
Installera Oh My Opencode och leverera snabbare.
Oh My Opencode gör OpenCode till en multi-agent kodningsplattform: en orkestrator delegerar arbete till specialiserade agenter som kör parallellt.
OpenCode LLM-test – kodnings- och noggrannhetsstatistik
Jag har testat hur OpenCode fungerar med flera lokalt körda LLM:er på Ollama och llama.cpp, och för jämförelsens skull har jag även lagt till några kostnadsfria modeller från OpenCode Zen.
Möt Sisyphus och dess specialiserade agenter.
Det största kapacitetsspranget i OpenCode kommer från specialiserade agenter: en medveten separering av orkestrering, planering, exekvering och forskning.
OpenHands-kommandotolken: Kom igång på några minuter
OpenHands är en öppen källkodsplattform som är modellagnostisk för AI-drivna agenter för mjukvaruutveckling. Den låter en agent bete sig mer som en kodpartner än ett enkelt verktyg för automatisk komplettering.
Självhänseende av OpenAI-kompatibla API:n med LocalAI på några minuter.
LocalAI är en självhostad, lokal-först inferensserver designad för att bete sig som en drop-in OpenAI API för att köra AI-arbetsbelastningar på din egen hårdvara (bärbar dator, arbetsstation eller on-prem-server).
Så installerar, konfigurerar och använder du OpenCode
Jag återvänder alltid till llama.cpp för lokal inferens – det ger dig kontroll som Ollama och andra abstraherar bort, och det fungerar helt enkelt. Det är enkelt att köra GGUF-modeller interaktivt med llama-cli eller exponera en OpenAI-kompatibel HTTP-API med llama-server.
