エヌビディアの快進撃とその死角？
2024.02.25
・生成AIブームのおかげで、GPU（グラフィックス・プロセッサ・ユニット）を発売しているエヌビディア社の株価高騰が止まらない。最近同社の株価は、時価総額でアマゾンやアルファベット（グーグル）を抜いて、マイクロソフトやアップルに次ぐ第3位となった。
・生成AIの運用には、エヌビディア社の開発した並列計算プログラムCUDA(Compute Unified Device Architecture)の利用が一般的だ。このため同社のGPUとCUDAの組み合わせがAI開発現場で使われるからだ。
・しかし最近この傾向に水を差す面白い意見が出てきた。ジム・ケラーはエヌビディア社のCUDAを「沼」（swamp）と呼んで批判した。その趣旨は後で説明することにして、まず彼の発言がなぜ注目されるかを見ていこう。彼はCPU設計の天才として有名だ。その来歴をたどると、まずAMD（エヌビディア7のGPUに関するライバル）でアスロン（Athlon）K7を開発、次いでアップルでA4,A5,A6,A7(iPhoneやiPadのプロセッサー)を開発、次いでテスラで自動運転用に最新AIシステムHW3を開発し、その後インテルに移りSoCの開発に従事した。現在はTenstorrent社でAIプロセッサーを開発している（ウィキペディアによる）。
・彼のCUDA批判の趣旨は以下のとおり。CUDAは、上に述べたように、エヌビディア製GPUによる統合開発環境だが、ハードとソフトが更新されるたびに、下位互換を保つために開発が難しくなり、かつ性能向上が困難になっているというのだ。同じことがインテルのX86開発環境でも生じているという。
・つまりCUDAという”お濠”（moat）でエヌビディアのお城を守っているはずが、逆にそれが”沼”（swamp）となってしまい、外への攻撃が難しくなっているということのようだ。
・ジム・ケラーがこれに対比してあげているのは、オープン・ソースで開発されているAIソフトのTrensorFlowやPytorchだ。たしかにこうしたソフトをみてみると、GPUやCUDA環境を使うと計算の高速化が可能と書いてある（Aurelien Geron、p689）。つまりなくても一応は動く。かってインテルのX86アーキテクチュアに対抗するものとして、アップルの開発環境が存在した。おそらくAIでも同じことが起こるだろう。たとえばOpenAIが開発中のTritonはその一つかもしれない。これはパイソンをベースとしており、パイソンのデータ分析用パッケージのNumpyと似た感じで使えそうだ。
（参考）
・Tom's Hardware,"Jim Keller criticizes Nvidia's CUDA,X86--'Cuda's a swamp,not a moat.x86 was a swamp too",Feb.18,2024
Gigazine,「Apple A4チップやAMD Ryzenの生みの親であるジム・ケラー氏がNVIDUIAのCUDAとx86アーキテクチュアを「沼」と読んで批判」2024.02.20
・Tabby Kinder & Nicholas Megaw,"Nvidia sales surge on AI 'tipping point'",FT,Feb.24,2024
・Aurelien Geron,Hands-on Machine Learning with Scikit-Learn,Keras,and TensorFlow,O'Reilly,2019