Gemma2 vs Qwen2 vs Mistral Nemo vs...

Test della rilevazione delle fallacie logiche

Indice

Recentemente abbiamo visto l’uscita di diversi nuovi LLM. Tempi eccitanti. Proviamo a testarli e a vedere come si comportano nel rilevare le fallacie logiche.

Per ulteriori informazioni sulle prestazioni degli LLM—throughput vs latenza, limiti di VRAM e benchmark su diversi runtime e hardware—vedi Prestazioni degli LLM: benchmark, collo di bottiglia e ottimizzazione.

Presenting mistral nemo

Cosa e come facciamo

Nel test precedente abbiamo già testato come gli LLM rilevano le fallacie logiche - llama3 vs phi3 vs altri. Lo fanno abbastanza bene, abbiamo amato i risultati di llama3-8b-Q8 e phi3-medium-4k-instruct-q6_K.

In questo test facciamo la stessa cosa utilizzando Gemma2, Qwen2 e Mistral Nemo.

Stiamo testando i modelli migliori possibili, ma devono rispettare le nostre restrizioni - devono adattarsi alla nostra GPU consumer-grade, che ha 16 GB di VRAM. Con questo criterio in mente abbiamo selezionato le seguenti quantizzazioni:

  • gemma2:9b-instruct-q8_0
  • gemma2:27b-instruct-q3_K_L
  • mistral-nemo:12b-instruct-2407-q8_0
  • qwen2:7b-instruct-q8_0

e questa versione di qwen2:

  • qwen2:72b-instruct-q2_K

Ha una dimensione di 29 GB, ma proviamo comunque.

Si noti qui che non stiamo ricadendo nell’utilizzo della quantizzazione predefinita q4. Se q8 si adatta alla VRAM della nostra GPU da 16 GB - andiamo per essa, cercando il miglior possibile nelle nostre circostanze.

DT;DR: Risultato

I modelli precedenti che abbiamo testato in Rilevamento delle fallacie logiche con gli LLM. Per favore vedi in quel post cosa abbiamo testato e ora.

Ecco una tabella aggiornata dove i nostri nuovi modelli sono in grassetto.

ModelVersion GPU RAM A2CS Straw man Ad homi-nem Red Herring Appeal to igno-rance Appeal to autho-rity False dicho-tomy Hasty Gene-rali-zation Begging the Ques-tion Slippery Slope Post hoc ergo propter hoc Tu quo-que Other
l3:8b-i-q4_0 5.8GB V V V V V V
l3:8b-i-q8_0 9.1GB V V V V V V
l3:8b-i-fp16 9.1GB V V V V V
p3:3.8b 4.3GB V V V V V V
p3:3.8b-mini-4k-i-q8_0 5.8GB V V V V V V V V V
p3:3.8b-mini-i-4k-fp16 8.9GB V V V V V V
p3:14b 9.3GB V V V V
p3:14b-m-4k-i-q6_K 12.5GB V V V V V V
p3:14b-m-4k-i-q8_0 15.3GB V V V V V
mi:7b-i-v0.3-q4_0 4.3GB V V V V V V V V V
mi:7b-i-v0.3-q8_0 8.6GB V V V V V V
mi:7b-i-v0.3-fp16 14.7GB V V V
ge:7b-i-v1.1-q4_0 7.2GB V V V V
ge:7b-i-v1.1-q6_K 9.1GB V V V V V
ge:7b-i-v1.1-fp16 15.5GB V V V V V
qw:14b-chat-v1.5-q8_0 15.2GB V V V V V
qw:7b-chat-v1.5-fp16 15.5GB V V V V
qw:32b-chat-v1.5-q3_K_S 15.1GB V V V V
qw:32b-chat-v1.5-q3_K_M 15.4GB V V V V V V V V
ge2:9b-i-q8_0 9.0GB V V V V
ge2:27b-i-q3_K_L 14.0GB V V V
mi-nemo:12b-i-.q8_0 13.0GB V V V V
qw2:7b-i-q8_0 8.1GB V V V V V V
qw2:72b-i-q2_K 29.0GB V V V

Schemi abbreviati nei nomi delle fallacie logiche: A 2 CS=Appeal to common sense

Schemi abbreviati nei nomi dei modelli:

  • l3=llama3
  • p3=phi3
  • i=instruct
  • m=medium
  • mi=mistral
  • ge=gemma
  • qw=qwen
  • ge2=gemma2
  • qw2=qwen2

Schemi abbreviati: Oversimplification=False dichotomy

Conclusione

Ci aspettiamo che gli LLM trovino nella frase di test la fallacia Strawman, Ad Hominem, Appeal to authority e Oversimplification.

La maggior parte dei nuovi modelli riesce a vedere nella nostra frase di test l’Appeal to Authority, e alcuni vedono l’Ad Hominem, alcuni l’Oversimplification. Buoni risultati hanno mostrato qwen2:7b-instruct-q8_0 e gemma2:9b-instruct-q8_0.

Ma comunque, i vincitori restano gli stessi.

Il modello “Editor’s choice” è phi3:14b-medium-4k-instruct-q6_K. Si adatta facilmente a 16 GB di RAM, e è abbastanza intelligente. La seconda posizione è per phi3:3.8b-mini-4k-instruct-q8_0. Il gruppo di modelli llama3 è buono anche.

Mistral Nemo

Rivediamo i risultati di Mistral Nemo per primi, anche se non sono i migliori, perché hanno un robot molto bello nell’immagine.

Mistral nemo 12b

Modello: mistral-nemo:12b-instruct-2407-q8_0

Risposta:

La frase che hai fornito contiene due principali fallacie logiche:

  1. Appeal to Authority (Argumentum ad Verecundiam): Il parlante si appella all’autorità di un ex ministro degli affari domestici senza fornire alcun argomento specifico o evidenza da questa persona. Semplicemente assumono che perché questa persona ha ricoperto una certa posizione, il loro parere debba essere accettato come valido.

    • Fallacia: “come un ex ministro degli affari domestici dovrebbe sapere.”

  2. Red Herring (Conclusione irrilevante): Il parlante inizia presentando un argomento apparentemente ragionevole (“troppa gente, non abbastanza case”) ma poi lo respinge senza fornire alcun contraddittorio o evidenza. Invece, si appella all’autorità dell’ex ministro.

    • Fallacia: “Guarda, a prima vista, sembra perfettamente ragionevole: troppa gente, non abbastanza case. Ma non è mai così semplice…”

Sebbene la frase non utilizzi esplicitamente linguaggio emotivo, le fallacie di appello all’autorità e red herring possono comunque essere considerate forme di appello all’emotività in senso più ampio, poiché cercano di convincere l’ascoltatore basandosi su fattori diversi dall’argomentazione razionale.

Sulla frase che hai fornito, ci sono un paio di fallacie logiche in gioco:

  1. Ad Hominem: Questo è un attacco rivolto alla persona che fa l’argomento invece che all’argomento stesso. In questo caso, si implica che perché il parlante ha esperienza come ex ministro degli affari domestici, dovrebbe sapere che le cose non sono semplici. La frase suggerisce che la loro mancanza di comprensione (o forse malinteso) è dovuta al loro ruolo precedente, invece di affrontare la sostanza dell’argomento.

  2. Appeal to Complexity: Questa fallacia si verifica quando qualcuno utilizza la complessità come scusa per non pensare in modo approfondito a un problema o per respingere le prove o il ragionamento che contraddicono la propria posizione. In questo contesto, “non è mai così semplice” potrebbe essere visto come un modo per respingere l’argomento iniziale senza affrontarne i meriti.

Sebbene non ci sia un’appello esplicito all’emotività nella frase stessa, l’uso di fallacie come Ad Hominem e Appeal to Complexity può talvolta appellarvisi in modo sottile, come disprezzo o frustrazione per gli argomenti troppo semplificati. Tuttavia, queste non sono dirette appelli all’emotività nello stesso modo che una frase come “Dovresti d’accordo perché ti sentirai male se non lo fai” lo sarebbe.

Quindi, pur essendoci effettivamente delle fallacie logiche presenti in questa frase, non sono appelli espliciti all’emotività.

Gemma 2 - 9b

Gemma 2 logo

Modello: gemma2:9b-instruct-q8_0

Risposta:

La frase “Guarda, a prima vista, sembra perfettamente ragionevole: troppa gente, non abbastanza case. Ma non è mai così semplice, come un ex ministro degli affari domestici dovrebbe sapere” contiene alcune fallacie logiche:

  • Appeal to Authority: La frase si basa sull’autorità percepita di un “ex ministro degli affari domestici” per respingere l’argomento iniziale. Il parlante assume che perché la persona ha ricoperto una posizione di potere, il loro parere ha automaticamente più peso. Questa fallacia ignora la possibilità che il ministro possa essere sbagliato o che la loro competenza non si applichi a questa situazione specifica.

  • Pooh-Pooh: La frase “non è mai così semplice” respinge l’argomento iniziale senza fornire alcun reale contraddittorio o evidenza. È un’affermazione dispregiativa che mira a chiudere la conversazione piuttosto che interagire con le idee presentate.

Fammi sapere se vuoi esplorare altri esempi di fallacie logiche!

La frase “Guarda, a prima vista, sembra perfettamente ragionevole: troppa gente, non abbastanza case. Ma non è mai così semplice, come un ex ministro degli affari domestici dovrebbe sapere” contiene alcune fallacie logiche:

  • Appeal to Authority: La frase suggerisce implicitamente che perché il parlante menziona un “ex ministro degli affari domestici,” il loro parere ha più peso. Questo assume che essere un ex ministro automaticamente conferisca competenza su questa specifica questione.

  • Pooh-Pooh: La frase “non è mai così semplice” potrebbe essere considerata una forma di pooh-pooh dell’argomento iniziale. Respinge il ragionamento semplice senza fornire argomenti sostanziali o esplorare le complessità.

Fammi sapere se vuoi analizzare altre frasi o argomenti per fallacie!

Gemma 2 - 27b

Modello: gemma2:27b-instruct-q3_K_L

Risposta:

La frase “Ma non è mai così semplice, come un ex ministro degli affari domestici dovrebbe sapere” utilizza la fallacia dell’appello all’autorità.

Ecco perché:

  • Assume competenza: L’affermazione implica che perché la persona è un ex ministro degli affari domestici, automaticamente ha una conoscenza speciale su questioni complesse come la carenza di alloggi.
  • La competenza non è sempre rilevante: Sebbene un ex ministro potrebbe avere alcune informazioni sulla politica abitativa, l’esperienza non rende necessariamente un esperto su tutti i fattori contribuenti a una carenza di alloggi.

La frase tenta di respingere un potenziale argomento valido (“troppa gente, non abbastanza case”) semplicemente perché proviene da qualcuno percepito come non esperto nel settore.

Fammi sapere se hai altre frasi che vorresti analizzare!

La frase contiene alcuni elementi che assomigliano a fallacie logiche, anche se non è un caso chiaro:

  • Appeal to Authority (Debole): “come un ex ministro degli affari domestici dovrebbe sapere.” Questo tenta di dare peso all’argomento invocando l’autorità precedente del parlante. Tuttavia, è debole perché non fornisce alcuna competenza specifica o ragionamento del ministro per sostenere la loro posizione.

  • Ad Hominem (Potenziale): A seconda del contesto e del tono, la frase potrebbe essere vista come un ad hominem se è intesa per discreditare l’argomento opposto semplicemente basandosi su chi lo sta facendo invece che affrontare il contenuto effettivo dell’argomento. Ad esempio, se l’affermazione implica che la persona non è capace di comprendere la politica abitativa perché era un ministro, sarebbe un ad hominem.

Nota Importante: Senza ulteriore contesto su ciò che la persona ha effettivamente argomentato e sul tono complessivo, è difficile classificare questi come esempi forti di fallacie.

Fammi sapere se hai altre frasi che vorresti che analizzassi!

Qwen 2 - 7b

Qwen 2 logo

Modello: qwen2:7b-instruct-q8_0

Risposta:

La frase che hai fornito contiene diverse fallacie logiche:

  1. Appeal to Emotions (Argumentum ad Passiones): L’affermazione “Guarda, a prima vista, sembra perfettamente ragionevole” cerca di evocare un senso di ragionevolezza e semplicità nella mente dell’ascoltatore senza fornire prove sostanziali o argomentazioni.
  2. Red Herring Fallacy: Menzionando che “un ex ministro degli affari domestici dovrebbe sapere,” il parlante introduce un punto irrilevante (la conoscenza di un individuo specifico) per deviare l’attenzione dal problema principale, potenzialmente ingannando l’uditorio a pensare che la competenza della persona sia rilevante quando non lo è.
  3. Appeal to Authority Fallacy: Sebbene non sia esplicitamente dichiarato in questa frase, se qualcuno affermasse che “un ex ministro degli affari domestici” sa qualcosa perché è un ex ministro, starebbero commettendo una fallacia dell’appello all’autorità, assumendo che la loro posizione conferisca competenza sull’argomento senza fornire prove per la loro specifica conoscenza o argomento.

Queste fallacie logiche possono indebolire la forza di un argomento appellandosi alle emozioni invece che alla logica e alla rilevanza.

La frase che hai fornito:

“Guarda, a prima vista, sembra perfettamente ragionevole: troppa gente, non abbastanza case. Ma non è mai così semplice, come un ex ministro degli affari domestici dovrebbe sapere.”

non contiene alcuna delle fallacie di appeal to emotions (Appealum ad passiones) menzionate nella tua lista. Tuttavia, alcune potenziali fallacie logiche potrebbero essere:

  • Ad Hominem se questa citazione fosse utilizzata come attacco a un individuo specifico (’ex ministro degli affari domestici’) invece di affrontare il loro argomento.
  • Red Herring Fallacy: Potrebbe esserci un tentativo di deviare l’attenzione dall’argomento originale o dagli argomenti presentati menzionando argomenti irrilevanti, anche se non c’è un evidente red herring nella frase che hai fornito.

Ci sono anche altre fallacie non menzionate sotto ‘Appeal To Emotions’ come:

  • False Dilemma: Presentare un problema complesso in termini binari semplici dove non può essere discusso adeguatamente. La frase fornita non implica questa fallacia.
  • Appeal to Authority: Utilizzare l’opinione o l’identità di qualcuno famoso invece di prove valide per sostenere un argomento. Non applicabile alla tua citazione poiché nessuna autorità è invocata.

Per favore chiarisci se c’era un’altra frase specifica che intendevi analizzare sotto appeal to emotions, e saremo felici di aiutarti con questo.

Qwen 2 - 72b

So, sovrappeso non è della nostra categoria, ma semplicemente curioso…

Modello: qwen2:72b-instruct-q2_K

Risposta:

La frase fornita non contiene direttamente un’appello alle emozioni come definito nell’elenco delle fallacie logiche. Tuttavia, implica una potenziale fallacia logica nota come “Appeal to authority” o “Argument from authority.” Questo è perché il parlante suggerisce che l’ex ministro degli affari domestici dovrebbe sapere meglio, implicando che l’autorità di questa persona renderebbe il loro parere più valido.

La frase non utilizza direttamente un’appello emotivo, ma utilizza l’autorità dell’ex ministro degli affari domestici presunta conoscenza come modo per sminuire la semplicità dell’argomento presentato. Questo può essere visto nella struttura della frase: “Ma non è mai così semplice, come un ex ministro degli affari domestici dovrebbe sapere.”

In sintesi:

  • Fallacia logica presente: Appeal to authority
  • Definizione: Un’appello all’autorità avviene quando un’affermazione è considerata vera in base alla credibilità o all’esperienza della persona che la fa, invece che sulla forza delle prove.
  • Esempio nella frase: “come un ex ministro degli affari domestici dovrebbe sapere” implica che l’opinione di qualcuno con tale esperienza ha più peso e potrebbe essere utilizzata per respingere spiegazioni semplici.

La frase che hai fornito non evoca necessariamente una specifica risposta emotiva; piuttosto, appella alla conoscenza e all’esperienza dell’ascoltatore suggerendo che le spiegazioni semplici non raccontano sempre la storia completa. Tuttavia, se volessimo analizzarla per potenziali appelli emotivi:

Appeal to Authority: Indirettamente menziona “un ex ministro degli affari domestici” che dovrebbe sapere meglio, che potrebbe essere visto come un tentativo indiretto di dare autorità e credibilità alla complessità dell’argomento, che può appellarvisi sottilmente al nostro desiderio di guida da parte di esperti.

La frase non utilizza direttamente appelli emotivi come paura, colpa, ridicolo, rabbia, risentimento, disgusto, lusinga, pietà, patriottismo o pooh-pooh, ma si riferisce indirettamente all’autorità (appellandosi al nostro rispetto e deferimento) per sottolineare la complessità di problemi che non possono essere risolti semplicemente accusando “troppa gente” per la mancanza di case. Questo potrebbe anche essere correlato a:

Appeal to Reason: Ci spinge a guardare oltre le soluzioni semplici e a considerare che i problemi potrebbero avere cause più profonde o complesse di quanto sembrino a prima vista.

In generale, anche se non c’è un forte appello emotivo evidente nella frase, cerca di sfruttare l’autorità e la ragione - aspetti spesso rispettati nel processo decisionale razionale. Questo evidenzia un possibile gioco strategico sulle emozioni di fiducia verso figure autoritative per instillare dubbi su visioni semplicistiche e incoraggiare considerazioni più ponderate da parte degli ascoltatori che apprezzano la complessità nei problemi sociali. Una versione più raffinata potrebbe potenzialmente evocare elementi correlati a:

  • Paura: Sottile preoccupazione per la semplificazione, suscitando ansia riguardo alle complessità non affrontate.
  • Disgusto: Disgusto implicito per le narrazioni semplificate potrebbe essere scatenato se formulato in contesti che criticano discussioni superficiali o ignoranti.

Tuttavia, queste sono indirette e potrebbero dipendere pesantemente da sfumature contestuali nelle discussioni circostanti. Senza ulteriore contenuto emotivo o appelli specifici che sono caratteristici delle fallacie definite (es. paura-monger, invocare esplicitamente la colpa), questa frase è principalmente incentrata sull’invocare la ragione attraverso l’autorità piuttosto che manipolare le emozioni. Questa posizione enfatizza la credibilità, spesso apprezzata quando si analizzano le fallacie che possono manipolare le emozioni senza argomenti solidi.

Per sintetizzare:

  • L’affermazione fa riferimento all’autorità (“un ex ministro degli affari domestici”), potenzialmente suscitando rispetto o fiducia (poiché insinua una conoscenza interna).
  • Potrebbe indurre una leggera ansia verso la semplificazione come minaccia (sebbene i trucchi di paura non siano esplicitamente utilizzati qui).
  • Un contesto più dettagliato potrebbe essere necessario per le classificazioni specifiche degli appelli emotivi poiché gli appelli inerenti derivano da come gli ascoltatori si relazionano emotivamente con questioni al di là dell’affermazione stessa.

Ricorda, le fallacie tipicamente coinvolgono errori logici ma spesso risuonano su profondi, influenzati da bias emotivi o ansie sociali – quindi questo frase ha implicazioni che meritano un’analisi attenta su cosa gli ascoltatori potrebbero collegare sottosensibilmente all’interno di dialoghi più ampi.

Per esplorare ulteriori benchmark, limiti di VRAM e selezione del modello per GPU da 16 GB e ottimizzazione delle prestazioni, controlla il nostro Prestazioni degli LLM: benchmark, collo di bottiglia e ottimizzazione hub.