Prometheus

L’alerting viene descritto come una funzione di monitoraggio molto più spesso di quanto dovrebbe. Questa inquadratura è comoda, ma nasconde il vero problema.

Continuo a tornare a llama.cpp per l’inferenza locale: offre un livello di controllo che Ollama e altri strumenti astraggono, e funziona semplicemente. È facile eseguire modelli GGUF in modo interattivo con llama-cli o esporre un’API HTTP compatibile con OpenAI con llama-server.

L’inferenza LLM sembra “un altro API” — fino a quando i picchi di latenza, le code si ingorgano e le tue GPU rimangono al 95% di memoria senza una spiegazione ovvia.

I sistemi LLM falliscono in modi che il monitoraggio tradizionale delle API non riesce a rilevare: le code si riempiono in silenzio, la memoria GPU si satura molto prima che la CPU appaia occupata e la latenza esplode a livello di batching anziché a livello dell’applicazione.

Osservabilità è la base dei sistemi di produzione affidabili.

Senza metriche, dashboard e allarmi, i cluster Kubernetes si degradano silenziosamente, i carichi di lavoro AI falliscono in silenzio e le regressioni di latenza passano inosservate fino a quando gli utenti non si lamentano.

Prometheus è diventato lo standard de facto per il monitoraggio delle applicazioni e dell’infrastruttura cloud-native, offrendo la raccolta di metriche, interrogazioni e integrazione con strumenti di visualizzazione.

Grafana è la piattaforma open-source leader per il monitoraggio e l’osservabilità, trasformando metriche, log e tracce in insight utili attraverso visualizzazioni straordinarie.