مقارنة جودة ترجمة صفحات Hugo - نماذج لغوية كبيرة على Ollama

qwen3 8ب، 14ب و30ب، devstral 24ب، mistral small 24ب

Page content

في هذا الاختبار، أنا مقارنة كيف تترجم نماذج LLM المختلفة المضمنة في Ollama صفحات Hugo من الإنجليزية إلى الألمانية. ثلاث صفحات اختبرتها كانت على مواضيع مختلفة، وتحتوي على بعض العلامات المرجعية الجيدة مع بعض الهيكل: العناوين، والقوائم، والجداول، والروابط، وغيرها.

تم تشغيل جميع هذه النماذج على وحدة معالجة رسومات NVIDIA مع 16 جيجابايت من الذاكرة المؤقتة، بعضها تمت تثبيته تمامًا في الذاكرة المؤقتة، بينما البعض الآخر (24b و30b) لم يتم تثبيته تمامًا، بل انتقل إلى وحدة المعالجة المركزية.

مع ذلك، تم اختبارها أيضًا.

صفحتان - الترجمة جارية

النماذج التي اختبرتها من Ollama:

  • qwen3:8b
  • qwen3:14b
  • qwen3:30b-a3b
  • devstral:24b
  • mistral-small3.1:24b

بعد تشغيل محفزات الترجمة على جميع هذه النماذج، طلبت من نموذج Anthropic ذكي تحليل جودة الترجمات، مقارنتها وتقديم مؤشرات لكل نموذج.

لقد جرّبت أيضًا magistral:24b، لكنه كان يفكر كثيرًا، لذا كان بطيئًا ويتناول كل السياق. لذلك - ليس مناسبًا لوحدة المعالجة المركزية الخاصة بي.

الاستنتاج البسيط: TL;DR

أفضلها هو Mistral Small 3.1 24b. لا يناسب 16 جيجابايت من الذاكرة المؤقتة، لذا كان بطيئًا بعض الشيء على معداتي.

الثانيان الأفضل: Qwen 3 14b و Qwen 3 30b. 14b يناسب بشكل جيد، لكن 30b هو نموذج MoE، لذا سريع أيضًا. على معداتي، سرعتهما كانت مشابهة.

الاختبار 1: موضوع فلسفي

العلامة المرجعية لصفحة الموقع القائمة على Hugo حول موضوع فلسفي رائع - وصف و أمثلة حول الفاشل المنطقي Ad Baculum.

index.de.devstral-24b.md - التقييم: 7/10 النقاط القوية:

  • ترجمة مصطلحات تقنية جيدة (“argumentum ad baculum Fehlschluss”)
  • الحفاظ على تنسيق الروابط والهيكل المناسب
  • ترجمة دقيقة لفكرة فلسفية معقدة
  • نحو ألماني صحيح وتركيب جمل

النقاط الضعيفة:

  • “verunstaltet” لـ “tainted” يبدو بعض الشيء محرجًا؛ “getrübt” سيكون أكثر طبيعية
  • بعض الجمل تبدو قليلاً صارمة أو مفرطة في الترجمة الحرفية
  • بعض مشاكل التدفق في بعض الجمل

index.de.mistral-small3.1-24b.md - التقييم: 8.5/10 النقاط القوية:

  • تدفق لغة ألمانية طبيعي
  • ترجمة ممتازة للمصطلحات التقنية
  • الحفاظ الجيد على المعنى الأصلي والنبرة
  • نحو ألماني صحيح وتركيب جمل
  • استخدام “getrübt” لـ “tainted” وهو أكثر طبيعية

النقاط الضعيفة:

  • بعض اختلافات طفيفة في الاتساق المعرفي
  • بعض الانحرافات الطفيفة عن هيكل المصدر

index.de.qwen3-8b.md - التقييم: 6.5/10 النقاط القوية:

  • ترجمة دقيقة للمفاهيم الرئيسية
  • معالجة مصطلحات تقنية بشكل صحيح
  • الحفاظ على هيكل المقالة

النقاط الضعيفة:

  • بعض التعبيرات غير الطبيعية (“kann sich auch in alltäglichen Interaktionen breiten”)
  • تدفق ألماني أقل طبيعية في بعض الأجزاء
  • بعض البناءات اللغوية تبدو مُجبرة
  • غياب كلمة في “ein Werkzeug zur Unterdrückung von Widerstand und zur Gestaltung von Ergebnissen in Gunst der Machtbesitzer darstellt” (خطأ نحو)

index.de.qwen3-14b.md - التقييم: 8/10 النقاط القوية:

  • تدفق لغة ألمانية طبيعي
  • معالجة ممتازة للمصطلحات التقنية
  • الحفاظ الجيد على المعنى الأصلي
  • نحو ألماني صحيح وتركيب جمل
  • اتساق في النمط على مدار النص

النقاط الضعيفة:

  • بعض التغيرات الطفيفة في الاتساق المعرفي
  • بعض الجمل يمكن أن تكون أكثر موجزًا

index.de.qwen3-30b-a3b.md - التقييم: 7.5/10 النقاط القوية:

  • جودة ترجمة جيدة بشكل عام
  • التعبير الألماني طبيعي
  • مصطلحات تقنية مترجمة جيدًا
  • الحفاظ على قابلية القراءة والتدفق
  • الحفاظ الجيد على المعنى

النقاط الضعيفة:

  • بعض اختلافات طفيفة في اختيار الكلمات
  • بعض التعبيرات قليلاً غير طبيعية
  • غياب مادة في الفقرة الأخيرة “über das [Terrain der] Argumentation”

تصنيفات التقييم

الملف درجة جودة الترجمة
index.de.mistral-small3.1-24b.md 8.5/10
index.de.qwen3-14b.md 8.0/10
index.de.qwen3-30b-a3b.md 7.5/10
index.de.devstral-24b.md 7.0/10
index.de.qwen3-8b.md 6.5/10

أفضل ترجمة: index.de.mistral-small3.1-24b.md - أكثر تدفقًا طبيعيًا باللغة الألمانية مع دقة تقنية ممتازة

المناطق التي يمكن تحسينها: يحتاج نموذج Qwen3-8b إلى تصحيحات نحوية وتعبيرات أكثر طبيعية، بينما يحتاج الآخرون إلى تحسينات طفيفة في اختيار الكلمات والاتساق.

الاختبار 2: ترجمة الصفحة حول نماذج Qwen3 Embedding & Reranker على Ollama.

بناءً على تحليلي للمراجع الألمانية مقارنة النص الأصلي باللغة الإنجليزية، إليك التقييمات على مقياس من 1 إلى 10:

الملف نموذج LLM درجة جودة الترجمة التعليقات
index.de.devstral-24b.md Devstral 24B 8.5/10 ترجمة ممتازة بشكل عام مع تدفق طبيعي باللغة الألمانية، مصطلحات تقنية مناسبة، وحفظ كامل لعناصر Hugo. خصومات طفيفة لبعض التعبيرات غير الطبيعية.
index.de.mistral-small3.1-24b.md Mistral Small 3.1 24B 8.7/10 ترجمة عالية الجودة مع اتساق معرفي، تدفق طبيعي باللغة الألمانية، وحفظ تام للتنسيق. تدفق أفضل قليلاً مقارنة بـ Devstral.
index.de.qwen3-8b.md Qwen3 8B 6.5/10 جودة مختلطة - تحتوي على مزيج من اللغة الإنجليزية والألمانية في الفقرة المقدمة (“The [Qwen3 Embedding and Reranker models]” بدلًا من النص الكامل باللغة الألمانية). بقية النص مترجم جيدًا لكنه غير متسق.
index.de.qwen3-14b.md Qwen3 14B 8.2/10 ترجمة ألمانية جيدة مع مصطلحات تقنية مناسبة وتدفق طبيعي. مُنظمة ومتوازنة على مدار النص.
index.de.qwen3-30b-a3b.md Qwen3 30B 9.0/10 ترجمة عالية الجودة مع تدفق طبيعي باللغة الألمانية، اتساق معرفي مثالي، وقابلية قراءة ممتازة. أفضل ترجمة على الإطلاق.

معايير التقييم الرئيسية:

النقاط القوية المشتركة في الترجمات:

  • الحفاظ على عناصر Hugo ({ {< ref >}} النمط)
  • دقة مصطلحات تقنية
  • الحفاظ على التنسيق المرجعي
  • الحفاظ على هيكل الجداول
  • اتساق مراجع الصور

الاختلافات في الجودة:

  1. الاتساق اللغوي - Qwen3 8B لديه مشاكل في مزيج اللغة الإنجليزية والألمانية
  2. تدفق اللغة الألمانية - Qwen3 30B حقق أفضل تدفق طبيعي باللغة الألمانية
  3. الدقة التقنية - جميع النماذج تعاملت مع المصطلحات التقنية بشكل جيد
  4. الحفاظ على التنسيق - جميع النماذج حافظت على هيكل Hugo بشكل مثالي

تصنيف الجودة:

  1. Qwen3 30B (9.0/10) - الأفضل على الإطلاق
  2. Mistral Small 3.1 24B (8.7/10) - قوي جدًا
  3. Devstral 24B (8.5/10) - ممتاز
  4. Qwen3 14B (8.2/10) - جيد
  5. Qwen3 8B (6.5/10) - كافٍ مع مشاكل

النماذج الأكبر حجمًا (Qwen3 30B و Mistral Small 3.1 24B) أنتجت أفضل جودة في الترجمات، بينما النموذج الأصغر Qwen3 8B أظهرت محدوديات واضحة في الاتساق.

الاختبار 3: إعادة الترتيب مع Ollama ونموذج Qwen3 Embedding - في Go

بشكل أساسي، إنها مقالة سابقة على هذا الموقع: إعادة ترتيب وثائق النص مع Ollama ونموذج Qwen3 Embedding - في Go.

بناءً على تحليلي التفصيلي للمراجع الألمانية، إليك التقييم المقارن:

تحليل جودة الترجمة (مقياس من 1 إلى 10)

الملف النموذج التقييم التقييم الرئيسي
index.de.devstral-24b.md DeVistral 24B 9/10 ممتاز - أكثر اتساقًا واحترافية
index.de.mistral-small3.1-24b.md Mistral Small 3.1 24B 8.5/10 جيد جدًا - طبيعي مع اختلافات طفيفة
index.de.qwen3-14b.md Qwen3 14B 7/10 جيد - جيد مع بعض العناصر المختلطة
index.de.qwen3-30b-a3b.md Qwen3 30B 6.5/10 مقبول - يحتوي على نصوص إنجليزية غير مترجمة
index.de.qwen3-8b.md Qwen3 8B 5.5/10 ضعيف - فشل متعدد في الترجمة

تحليل مقارن تفصيلي:

🥇 DeVistral 24B (9/10) - الفائز النقاط القوية:

  • الدقة التقنية: استخدام “ollama API-Fehler” (صغير، أكثر طبيعية)
  • الاتساق في الترجمة: “handelt mit parallelen Anfragen” (تعبير معقد)
  • جودة احترافية: ترجمة ألمانية كاملة على مدار النص
  • التنسيق: الحفاظ المثالي على هيكل التنسيق المرجعي

النقاط الضعيفة: عدد قليل جدًا، معظمها اختيارات أسلوبية

🥈 Mistral Small 3.1 24B (8.5/10) النقاط القوية:

  • تدفق طبيعي باللغة الألمانية
  • مصطلحات تقنية جيدة: “Ollama-API-Fehler” (مُفصَّلة، نمط رسمي)
  • اتساق “verarbeitet parallele Anfragen”

النقاط الضعيفة:

  • بعض التعبيرات أقل تعقيدًا في بعض السياقات التقنية
  • بعض اختلافات التنسيق

🥉 Qwen3 14B (7/10) النقاط القوية:

  • الحفاظ العام على المعنى
  • بنية نحو ألمانية مناسبة

النقاط الضعيفة:

  • بعض البناءات غير الطبيعية
  • جودة مختلطة في المصطلحات التقنية
  • يحتوي على “```” في البداية ومشاكل في التنسيق

Qwen3 30B (6.5/10) العيب الرئيسي:

  • يحتوي على نصوص إنجليزية غير مترجمة: “This little” يظهر مباشرة في النص الألماني
  • رغم حجم النموذج الأكبر، يظهر اختلافات في الترجمة
  • الدقة التقنية موجودة لكن التسليم مُعيب

Qwen3 8B (5.5/10) النقاط الرئيسية:

  • نصوص غير مترجمة: “This little” تبقى بالإنجليزية
  • اختلافات في المصطلحات: استخدام “RANGORDNUNG” مقابل “RANGIERUNG” المعيارية
  • تدفق أقل طبيعيًا: بناءات نحوية أقل طبيعية
  • تظهر محدوديات واضحة لحجم النموذج الأصغر

الاختلافات الرئيسية التي وُجدت:

  1. ترجمة خطأ API:

    • DeVistral: ollama API-Fehler (طبيعي، صغير)
    • الآخرون: Ollama-API-Fehler (رسمي، مفصَّلة)

  2. طلبات متوازية:

    • DeVistral: “handelt mit parallelen Anfragen” (معقد)
    • Mistral/Qwen3-14B/30B: “verarbeitet parallele Anfragen” (معياري)
    • Qwen3-8B: “behandelt parallele Anfragen” (أقل دقة)

  3. عناوين الأقسام:

    • معظمها: “RANGIERUNG NACH ÄHNLICHKEIT” (معياري)
    • Qwen3-8B: “RANGORDNUNG DURCH ÄHNLICHKEIT” (غير طبيعي)

  4. الملوثات الإنجليزية:

    • Qwen3-30B & Qwen3-8B: ترك “This little” غير مترجم
    • الآخرون: ترجمة مناسبة إلى “Dieses kleine”

الفائز: DeVistral 24B - يظهر أكثر اتساقًا في الترجمة الاحترافية باللغة الألمانية مع مصطلحات تقنية معقدة وتحويل كامل للغة.

هاها DeVistral :). لكن هذا خطأ نموذج آخر.

روابط مفيدة