LLM

L’uso degli LLM non è molto costoso, potrebbe non esserci bisogno di acquistare un nuovo GPU fantastico. Ecco un elenco se LLM provider in the cloud con gli LLM che ospitano.

Ho un’ipotesi da testare: se utilizzare TUTTI i core su un processore Intel aumenterebbe la velocità degli LLM? Mi sta infastidendo il fatto che il nuovo modello gemma3 27 bit (gemma3:27b, 17 GB su ollama) non si adatti ai 16 GB di VRAM della mia GPU, e venga eseguito parzialmente sul CPU.

Nel mezzo del caos del mondo moderno qui sto confrontando le specifiche tecniche di diverse schede adatte a compiti legati all’AI (Deep Learning, Rilevamento Oggetti e LLMs). Sono però tutte incredibilmente costose.

Quando il server Ollama riceve due richieste contemporaneamente, il suo comportamento dipende dalla sua configurazione e dalle risorse del sistema disponibili.

La programmazione a “vibe” è un approccio alla programmazione guidato dall’IA in cui gli sviluppatori descrivono la funzionalità desiderata in linguaggio naturale e lasciano che gli strumenti di IA generino il codice automaticamente, con una scrittura diretta minima.

DeepSeek’s prima generazione di modelli di ragionamento con prestazioni paragonabili a quelle di OpenAI-o1, inclusi sei modelli densi distillati da DeepSeek-R1 basati su Llama e Qwen.

Questa scheda di riferimento per Ollama CLI si concentra sui comandi che utilizzi ogni giorno (ollama ls, ollama serve, ollama run, ollama ps, gestione dei modelli e flussi di lavoro comuni), con esempi pronti per il copia-incolla.

Non molto tempo fa è stato rilasciato. Veniamo al punto e testiamo come si comporta Mistral Small rispetto ad altri LLM.

Reranking è un secondo passo nella Generazione Aumentata dal Recupero (RAG) sistemi, posizionato esattamente tra il Recupero e la Generazione.

Recentemente Black Forest Labs ha pubblicato un insieme di modelli AI testo-immagine.
Questi modelli si dice che abbiano una qualità di output molto superiore.
Proviamoli

Il cibo meraviglioso è un piacere anche per i tuoi occhi. Ma in questo post confronteremo due sistemi di ricerca basati sull’IA, Farfalle e Perplexica.

È davvero entusiasmante! Invece di chiamare Copilot o Perplexity.ai e rivelare al mondo intero cosa stai cercando, ora puoi ospitare un servizio simile sul tuo PC o laptop!

Recentemente abbiamo visto l’uscita di diversi nuovi LLM. Tempi eccitanti. Proviamo a testarli e a vedere come si comportano nel rilevare le fallacie logiche.

Tuttavia, esistono alcuni approcci comuni per scrivere promemoria efficaci in modo che i modelli linguistici non si confondano cercando di capire cosa si desidera da essi.

Testare come si comportano i modelli con diverso numero di parametri e quantizzazione.

Dopo aver installato ollama, è meglio riconfigurare Ollama per memorizzarli subito in un nuovo luogo. In questo modo, dopo aver scaricato un nuovo modello, non verrà scaricato nella posizione vecchia.