Hardware

فقط قبل 3 أشهر لم نرَ RTX 5090 في المتاجر، ولكن الآن هنا هي، ولكن الأسعار أعلى قليلاً من MRSP. لنقم بمقارنة أرخص أسعار RTX 5080 و RTX 5090 في أستراليا ونرى كيف تسير الأمور.

نظام تلقائي متميز لمهام مذهلة.

كيف تؤثر مسارات PCIe على أداء النماذج الكبيرة؟ يعتمد ذلك على المهمة. بالنسبة للتدريب والتنبؤ متعدد GPUs - فإن انخفاض الأداء كبير.

كنت أشعر بالتأثير الكبير من هذه المشكلة. ولكن يجب عليك التحقق والاختبار على جهاز الكمبيوتر الخاص بك إذا كان شاشة الموت الأزرق (BSOD) الخاصة بك مشابهة لصيغتي.

السبب هو مشكلة تدهور معالجات إنتل في الجيل الثالث عشر والرابع عشر.

لدي نظرية أريد اختبارها - هل استخدام جميع النوى على معالج Intel CPU سيزيد سرعة نماذج LLM؟ (اختبار: كيف يستخدم Ollama أداء معالج Intel ووحدات النوى الفعالة) يزعجني أن نموذج gemma3 27 بت (gemma3:27b، 17GB على ollama) لا يناسب 16GB VRAM لبطاقتي الرسومية، ويتم تشغيله جزئيًا على المعالج.

في وسط الفوضى في العالم الحديث هنا أنا مقارنة مواصفات التكنولوجيا المختلفة المناسبة لمهام الذكاء الاصطناعي (التعلم العميق, كشف الكائنات ونماذج الذكاء الاصطناعي الكبيرة). ولكنها جميعًا باهظة التكلفة للغاية.

عندما يتلقى خادم Ollama طلبين في نفس الوقت، فإن سلوكه يعتمد على إعداداته وموارد النظام المتاحة.

مقارنة سرعة التنبؤ لعدة إصدارات من نماذج LLMs: llama3 (Meta/Facebook)، phi3 (Microsoft)، gemma (Google)، mistral (مصدر مفتوح) على وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسومات (GPU).