Sirva e troque LLMs sem reinicializações.
Por muito tempo, o llama.cpp teve uma limitação flagrante:
você só podia servir um modelo por processo, e alternar significava reiniciar.
Execute modelos abertos com rapidez usando o SGLang.
O SGLang é um framework de serviço de alto desempenho para grandes modelos de linguagem e modelos multimodais, construído para fornecer inferência de baixa latência e alto throughput, desde uma única GPU até clusters distribuídos.
Troque modelos de LLM locais a quente sem alterar os clientes.
Em breve, você estará alternando entre vLLM, llama.cpp e mais — cada pilha em sua própria porta. Tudo a jusante ainda quer uma única URL base /v1; caso contrário, você continuará trocando portas, perfis e scripts pontuais. O llama-swap é o proxy /v1 antes dessas pilhas.
Execute modelos GGUF com o CLI e o servidor
llama.cpp é um motor de inferência em C/C++ para modelos GGUF: llama-cli para chat interativo, llama-completion para prompts roteirizados e llama-server para uma API HTTP compatível com OpenAI.
