Menguji Deepseek-R1 pada Ollama

Membandingkan dua model deepseek-r1 dengan dua model dasar

Model pertama DeepSeek dengan kemampuan penalaran yang setara dengan OpenAI-o1, termasuk enam model padat yang didistilasi dari DeepSeek-R1 berbasis Llama dan Qwen.

Perpustakaan model Ollama telah menambahkan sejumlah model DeepSeek berbasis Llama 3.1 dan 3.3 serta Qwen 2.

Llama di jalan London berdiri di samping tanda Deepseek-r1 Di atas adalah gambar yang dihasilkan oleh AI (dengan model Flux 1 dev) dari Llama di samping tanda deepseek-r1 di jalan London.

Dalam posting ini, saya membandingkan dua model DeepSeek-r1 dengan model dasar mereka, yaitu Llama 3.1 dan Qwen2.

TL;DR - Ringkasan hasil uji coba

  • Hasil terbaik: llama3.1:8b-instruct-q4_K_M
  • Kedua model DeepSeek-r1, yaitu deepseek-r1:7b-qwen-distill-q4_K_M dan deepseek-r1:8b-llama-distill-q4_K_M - tidak berjalan baik.
Model Uji 1 Uji 2 Uji 3 Uji 4 Total
deepseek-r1:7b-qwen-distill-q4_K_M 3 3 2 2 10
deepseek-r1:8b-llama-distill-q4_K_M 3 2 4 1 10
llama3.1:8b-instruct-q4_K_M 4 4 2 4 14
qwen2.5:7b-instruct-q4_K_M 3 3 3 3 12

Komentar

  • Dalam Uji 1 - semua model berjalan baik, tetapi llama3.1:8b-instruct-q4_K_M mendapatkan poin tambahan karena menyediakan bagian Similarities dan Differences.
  • Dalam Uji 2 - deepseek-r1:8b-llama-distill-q4_K_M menghasilkan respons terlalu pendek, llama3.1:8b-instruct-q4_K_M - poin tambahan untuk Comparison Summary
  • Dalam Uji 3 - tidak menyukai sikap kiri pada llama3.1:8b-instruct-q4_K_M, deepseek-r1:8b-llama-distill-q4_K_M menghasilkan hasil yang seimbang dan terstruktur dengan baik.
  • Dalam Uji 4 - deepseek-r1:7b-qwen-distill-q4_K_M: DEI~30%; deepseek-r1:8b-llama-distill-q4_K_M - kehilangan segalanya dalam genderidentity, DEI dan korban. llama3.1:8b-instruct-q4_K_M - terstruktur dengan baik dan respons on the point.

Menginstal Ollama

Unduh server Ollama dari https://ollama.com .

Untuk instruksi terperinci, silakan lihat Instal Ollama dan konfigurasikan lokasi Model

Menarik model DeepSeek-r1, Llama 3.1 dan Qwen 2

Di sini saya menguji model DeepSeek 7b-qwen-distill-q4_K_M, 8b-llama-distill-q4_K_M, model Llama: llama3.1:8b-instruct-q4_K_M dan model Qwen 2.5: qwen2.5:7b-instruct-q4_K_M

Mengunduh model DeepSeek-r1, Llama3.1 dan Qwen2.5

ollama pull deepseek-r1:7b-qwen-distill-q4_K_M
ollama pull deepseek-r1:8b-llama-distill-q4_K_M
ollama pull llama3.1:8b-instruct-q4_K_M
ollama pull qwen2.5:7b-instruct-q4_K_M

Menjalankan model DeepSeek-r1

Menjalankan model DeepSeek-r1 dan model LLM lainnya

ollama run deepseek-r1:7b-qwen-distill-q4_K_M
ollama run deepseek-r1:8b-llama-distill-q4_K_M
ollama run llama3.1:8b-instruct-q4_K_M
ollama run qwen2.5:7b-instruct-q4_K_M

Please see sample prompts and responses in the English version of this post. You can select the language on the right.

Kesimpulan

Saya benar-benar mengharapkan lebih banyak dari model Depseek-r1. Saya mengharapkan mereka akan berkinerja lebih baik dibandingkan model dasar. Tapi mungkin model-model ini terlalu kecil atau mungkin r2 - akan memberikan hasil yang lebih baik. Mari tunggu dan lihat.

Tautan yang Berguna