強力なAIモデルをローカル実行する驚くべき能力
YouTuberのDave Lee/Dave2D氏が、AppleのM3 Ultraチップを搭載した新型Mac Studioが、最大512GBのメモリを搭載した場合、巨大なDeepSeek R1 AIモデルをローカルで効率的に実行できることを実証しました。
Leeの検証によると、6710億パラメーターを持つこのAIモデルは、Appleの高性能ワークステーションで直接実行可能ですが、大量のメモリリソースを必要とします。具体的には404GBのストレージを消費し、ターミナルコマンドを通じて448GBのビデオRAMを手動で割り当てる必要があります。
M3 Ultraの統合メモリアーキテクチャがカギ
M3 Ultraの統合メモリアーキテクチャがこのパフォーマンスの鍵となっており、システムは4ビット量子化されたDeepSeek R1のバージョンを効率的に処理できます。量子化により精度はわずかに低下しますが、すべてのパラメーターを維持し、秒間約17〜18トークンを提供します。これは多くの実用的なアプリケーションに十分な性能です。
圧倒的な電力効率
おそらく最も印象的なのは、Mac Studioがこれを200ワット未満の電力消費で実現していることです。従来のPCハードウェアで同等のパフォーマンスを得るには、複数のGPUを使用し、約10倍の電力を消費する必要があります。
このような高度なAIモデルをローカルで実行できる能力は、医療データ分析のような機密性の高いアプリケーションにおいて、情報をクラウドサービスに送信することでセキュリティ上の懸念が生じる場合に、プライバシー上の利点を提供します。
高性能には高価格が伴う
しかし、このパフォーマンスは安価ではありません。M3 Ultraと512GBのRAMを搭載したMac Studioの構成は、約10,000ドルから始まります。フルにカスタマイズした場合、16TBのSSDストレージと32コアCPU、80コアGPU、32コアNeural Engineを備えたApple M3 Ultraチップを搭載したMac Studioは、14,099ドルの価格になります。もちろん、機密データのローカルAI処理を必要とする組織にとって、Mac Studioは代替ハードウェア構成と比較して比較的電力効率の良いソリューションを提供します。
Appleによると、M3 UltraはAppleが今までにリリースした中で最も高速なMacチップであり、これは同社の「UltraFusion」テクノロジーを使用して2つのM3 Maxチップを融合させる戦略によるものです。これにより、チップの仕様はM3 Maxの2倍になります。
Source: MacRumors