LLM

Beste LLM's voor OpenCode – lokaal getest

Beste LLM's voor OpenCode – lokaal getest

OpenCode LLM-test — coderings- en nauwkeurigheidscijfers

Ik heb getest hoe OpenCode werkt met verschillende lokaal gehoste LLM’s via Ollama, en ter vergelijking heb ik ook enkele gratis modellen van OpenCode Zen toegevoegd.

LocalAI QuickStart: Voer OpenAI-compatibele LLM's lokaal uit

LocalAI QuickStart: Voer OpenAI-compatibele LLM's lokaal uit

Host OpenAI-compatibele API's in enkele minuten met LocalAI.

LocalAI is een self-hosted, local-first inference server die ontworpen is om te gedragen als een drop-in OpenAI API voor het uitvoeren van AI-werklasten op uw eigen hardware (laptop, workstation of on-premise server).

llama.cpp Quickstart met CLI en Server

llama.cpp Quickstart met CLI en Server

Hoe te installeren, configureren en gebruiken van OpenCode

Ik kom steeds terug bij llama.cpp voor lokale inferentie — het geeft je controle die Ollama en anderen abstracten, en het werkt gewoon. Eenvoudig om GGUF-modellen interactief te draaien met llama-cli of een OpenAI-compatibele HTTP API te tonen met llama-server.

AI-ontwikkeltools: De volledige gids voor door AI-aangedreven ontwikkeling

AI-ontwikkeltools: De volledige gids voor door AI-aangedreven ontwikkeling

AI-tools voor ontwikkelaars: De complete gids voor AI-gedreven ontwikkeling

Kunstmatige intelligentie (AI) verandert de manier waarop software wordt geschreven, gecontroleerd, uitgezet en onderhouden. Van AI-coderingsassistenten tot GitOps-automatisering en DevOps-werkstromen, ontwikkelaars vertrouwen nu op AI-aangedreven tools in de volledige softwarelevenscyclus.

Observability voor LLM-systemen: Metrieken, Traces, Logs en Testen in Productie

Observability voor LLM-systemen: Metrieken, Traces, Logs en Testen in Productie

Eind-aan-eind observabiliteitsstrategie voor LLM-inferentie en LLM-toepassingen

LLM-systemen falen op manieren die traditionele API-bewaking niet kan oppassen — wachtrijen vullen zich stil, GPU-geheugen wordt lang voor CPU-busigheid volledig gebruikt, en latentie explodeert op het batchlaag-niveau in plaats van op het applicatie-laag-niveau. Deze gids behandelt een eind-afwerking observabiliteitsstrategie voor LLM-inferentie en LLM-toepassingen: wat je moet meten, hoe je het moet instrumenteren met Prometheus, OpenTelemetry en Grafana, en hoe je de telemetriepijplijn op schaal moet implementeren.