Hardware

ちょうど3か月前には、RTX 5090は店頭に並んでいなかったが、今ではようやく販売されている。ただし、価格はMRSPよりもやや高くなっている。

最も安いオーストラリアでのRTX 5080およびRTX 5090の価格を比較してみよう。

トップの自動化システムで、ある素晴らしい仕事に使用できます。

PCIe レーンがLLMの性能に与える影響? タスクによります。トレーニングやマルチGPUの推論では、パフォーマンスの低下が顕著です。

この問題に強く打たれました。しかし、あなたのブルースクリーン（BSOD）が私のものと似ている場合は、PCを調査し、テストすることをお勧めします。原因はインテルの13世代および14世代CPU劣化問題でした。

私は理論をテストしたいと思っています - すべてのコアをIntel CPUで使用するとLLMの速度が上がるか？
新しいgemma3 27bitモデル（gemma3:27b、ollama上では17GB）が私のGPUの16GB VRAMに収まらず、部分的にCPU上でも実行されていることが気になります。

現代の世界の混乱の中でここにいて、さまざまなカードのテクスペックを比較 で、AI のタスクに適したものを確認しています。
(Deep Learning, オブジェクト検出、 LLMs など)。
しかし、これらはすべて非常に高価です。

Ollama サーバーが同時に2つのリクエストを受けると、その動作は設定と利用可能なシステムリソースに依存します。

いくつかのLLM（llama3、phi3、gemma、mistral）のCPUおよびGPUでの予測速度の比較。