DevOps

Ollama w Docker Compose z obsługą GPU i trwałą pamięcią modeli

Ollama w Docker Compose z obsługą GPU i trwałą pamięcią modeli

Serwer Ollama z pierwszeństwem kompozycji, obsługą GPU i trwałością danych.

Ollama świetnie działa na “gołym metalu”. Zyskuje jednak na ciekawości, gdy potraktujesz ją jako usługę: stabilny punkt końcowy, zablokowane wersje, trwałe przechowywanie danych oraz dostępność GPU, która jest albo dostępna, albo nie.

Szybki start przełącznika modeli llama.swap dla lokalnych LLM kompatybilnych z OpenAI

Szybki start przełącznika modeli llama.swap dla lokalnych LLM kompatybilnych z OpenAI

Gorące wymiana lokalnych modeli LLM bez konieczności zmiany klientów.

Wkrótce będziesz balansować między vLLM, llama.cpp i innymi rozwiązaniami – każdy stos na własnym porcie. Wszystko w dalszym ciągu oczekuje jednego podstawowego adresu URL /v1; inaczej ciągle będziesz przesuwać porty, profile i skrypty ad-hoc. llama-swap jest proxy /v1 przed tymi stosami.

Narzędzia dla programistów: Kompletny przewodnik po nowoczesnych przepływach pracy w rozwoju oprogramowania

Narzędzia dla programistów: Kompletny przewodnik po nowoczesnych przepływach pracy w rozwoju oprogramowania

Tworzenie oprogramowania obejmuje Git do kontroli wersji, Docker do konteneryzacji, bash do automatyzacji, PostgreSQL do baz danych oraz VS Code do edycji — wraz z licznymi innymi narzędziami, które decydują o Twojej produktywności. Ta strona gromadzi niezbędne skrótowce, przepływy pracy i porównania, których potrzebujesz, aby efektywnie pracować w całym stosie deweloperskim.

LocalAI QuickStart: Uruchamianie lokalnie modeli LLM zgodnych z OpenAI

LocalAI QuickStart: Uruchamianie lokalnie modeli LLM zgodnych z OpenAI

Uruchom własny serwer z API zgodnym z OpenAI przy użyciu LocalAI w kilka minut.

LocalAI to serwer inferencji typu self-hosted i first-local zaprojektowany tak, aby zachowywał się jak kompatybilny zamiennik API OpenAI do uruchamiania obciążeń AI na Twoim własnym sprzęcie (laptop, stacja robocza lub serwer lokalny).

Szybki start z llama.cpp: CLI i serwer

Szybki start z llama.cpp: CLI i serwer

Jak zainstalować, skonfigurować i korzystać z OpenCode

Nieustannie wracam do llama.cpp do wnioskowania lokalnego – daje ono kontrolę, której Ollama i inne rozwiązania abstrahują, a po prostu działa. Łatwo uruchamiać modele GGUF interaktywnie za pomocą llama-cli lub narażać API HTTP zgodne z OpenAI za pomocą llama-server.

Airtable dla programistów i DevOps - plany, API, Webhooki oraz przykłady w Go i Pythonie

Airtable dla programistów i DevOps - plany, API, Webhooki oraz przykłady w Go i Pythonie

Airtable - ograniczenia planu bezpłatnego, API, webhooks, Go & Python.

Airtable najlepiej można opisać jako platformę o niskim poziomie kodowania, zbudowaną wokół współdzielonego interfejsu “spreadsheet-like” (podobnego do arkusza kalkulacyjnego), który jest świetny do szybkiego tworzenia narzędzi operacyjnych (wewnętrznych śledzi, lekkich CRM, potoków treści, kolejek ocen AI), gdzie nieprogramiści potrzebują przyjaznego interfejsu, a programiści potrzebują powierzchni API do automatyzacji i integracji.

Porównanie magazynowania obiektów i macierz funkcji: Garage vs MinIO vs AWS S3

Porównanie magazynowania obiektów i macierz funkcji: Garage vs MinIO vs AWS S3

AWS S3, Garage lub MinIO – omówienie i porównanie.

AWS S3 pozostaje “domyślnym” punktem wyjścia dla przechowywania obiektów: jest pełni zarządzany, zapewnia silną spójność i został zaprojektowany w celu zapewnienia ekstremalnej trwałości i dostępności.
Garage i MinIO to samoobsługowe, kompatybilne z S3 alternatywy: Garage został zaprojektowany do lekkich, geograficznie rozproszonych klastrów małych i średnich rozmiarów, podczas gdy MinIO podkreśla szeroki zakres funkcji API S3 oraz wysoką wydajność w większych wdrożeniach.