AI導入・運用のお困りごとを解決！「AI-Stack」によるGPU管理とは？

AI開発を効率よく行なうには、GPUリソースの管理が非常に重要だ。せっかく高性能なGPUサーバーを導入しても、適切に管理できなければ使いたいときに使えない、反対に空いているのに誰も使っていないといったことが起こる。どのGPUを誰がどの程度使っているかを監視することは、GPUリソースを管理する基本だ。しかし、それを実施するのはとても手間がかかる。INFINITIXの「AI-Stack」プラットフォームを導入することで、そんな課題を解決できる。

株式会社アスクはINFINITIX社の正規代理店です。AI開発環境やGPUサーバーの管理などについて、資料請求やお問い合わせはこちらのページよりお気軽にご連絡ください。

AI開発ではGPUリソースの管理が重要

GPUサーバーが複数あると利用状況の見える化は難しい

AI開発ではGPUが必須。しかし高性能なGPUは高価で、従業員一人ひとりに搭載PCが配布されるとは限らない。多くの開発現場では、共用のGPUサーバーを用意し、それぞれの人員がそこにアクセスしてGPUを利用するという運用を行っている。その際、課題になるのがGPUリソースの配分と管理だ。

GPUリソースの配分には、オープンソースソフトの「Kubernetes（クバネティス）」とGPUの種類に合わせたオペレーターソフトを組み合わせて使うのが一般的。GPUサーバー上で作成した仮想環境の「コンテナ」に、仮想的に分割したGPUリソースを割り当てるという形だ。この時ハードルとなるのが、「Kubernetes」の運用が非常に複雑であるということ。「Kubernetes」に詳しいエンジニアが必須になるため、簡単に導入はできない。

そのハードルを大きく下げ、課題を解決できるのがINFINITIXの「AI-Stack」だ。「AI-Stack」は「Kubernetes」の煩雑な部分を代わりに管理し、分かりやすいGUIベースのインターフェースで使えるようにしている。専門家でなくとも運用可能なほど扱いやすいのが特徴だ。

「AI-Stack」の詳細はこちら

GPUの配分を行なう現場で起こりがちな課題と、それらを「AI-Stack」がどのように解決できるかを見ていこう。

【課題①】使用するコンテナが多いと管理が大変

「AI-Stack」は「Docker」や「Kubernetes」の稼働状況もGUIで表示可能

GPUサーバーのGPUリソースを仮想的に分割して配分する場合、GPUサーバー上に仮想環境の「コンテナ」を作成し、そこにGPUを割り当てるという形が基本だ。各ユーザーはそのコンテナにアクセスして開発を行なう。

コンテナの作成には「Docker」、管理には「Kubernetes」を利用するのがデファクトスタンダードだ。しかし、「Kubernetes」は標準のインターフェースがテキストベースのCUI（Character User Interface）ということもあり、一覧性はよくない。設定も複雑で、補助のため管理ツールを導入しても、扱うコンテナの数が増えたりGPUサーバーそのものが増えたりすれば管理の手間は膨大になってしまう。

「AI-Stack」はそれらを圧倒的に手軽に表示、管理できる。グラフィカルなGUI（Graphical User Interface）を採用しているのはもちろん、さまざまなステータスを一覧できるダッシュボード機能も備えている。直観的に操作可能で、細かな設定をバックグラウンドで行ってくれるため、運用のハードルを下げられる。

【課題②】コンテナイメージの作成や共有の負担が大きい

「AI-Stack」で外部レジストリからインポート可能

コンテナイメージの管理も重要だ。コンテナイメージを一から作るのは非常に手間がかかり、チーム内で同じバージョンを使うなど運用面でも気を使う必要がある。「AI-Stack」はこの点もサポートできる。

「AI-Stack」は「Docker Hub」や「NVIDIA NGC（NVIDIA GPU Cloud）」、「HuggingFace」といったコンテナイメージを共有するサービス（レジストリ）に接続することが可能。ここから取得したコンテナイメージを活用することでコンテナ作成時の手間を減らせるほか、「AI-Stack」上で管理しているためチームごとに共通のコンテナイメージを割り当てるといった管理もしやすい。

【課題③】コンテナへのGPU割り当てを簡略化したい

コンテナ作成からGPU割り当てまで数クリック

GPUをコンテナに割り当てる際も、手動で行なうにはハードルがある。GPUリソースを仮想的に分割し、割り当てる際、設定を誤ればトラブルの元になる。割り当てるGPUの選定や細かな設定を詰める必要があり、従来は環境を作成する際に構築申請から作成までに、場合によっては1～2週間ほどもかかってしまっていた。「AI-Stack」はそうしたプロセスも簡略化できる。

先述のように、「AI-Stack」はコンテナの作成、管理を行える。GPUの割り当ては作成したコンテナに割り当てるだけでよい。GPU分割のための細かな設定は「AI-Stack」が行なうため、管理者は「AI-Stack」上の設定を操作するだけでよい。どのプロジェクトでどのコンテナイメージを使い、どの程度GPUを使うのかをワンストップで管理できるため、仕様さえ決まっていれば最短1分でコンテナを作成できる。

【課題④】GPUリソースを管理するのが大変

「AI-Stack」なら簡単なUIで高度な管理が可能

GPUリソースの管理と一口に言っても、GPUの使い方は多岐に渡る。1つのGPUを1つのコンテナに割り当てることもあれば、1つのGPUを細かく分割して割り振る場合もある。1台のサーバーにGPUを複数搭載しているなら、2つ以上のGPUを集約して1つのコンテナに割り当てることもできる。複数あるGPUサーバーをまたいで割り当てる「クロスノード計算」技術もある。

これらは手動で行なうと膨大な管理コストが発生する。「AI-Stack」はこれらの機能を搭載しているため、「AI-Stack」上で割り当ての設定をするだけでよい。専門知識や経験がなくても運用できるのは大きなメリットだ。

【課題⑤】様々な種類のGPUがあり、それらをまとめて管理したい

まとめて制御し、インテリジェントな配分が可能

GPUサーバーに搭載されているGPUは様々だ。GPUの種類が違えば管理方法も異なり、その数だけツールを使い分ける必要がある。例えば、NVIDIAとAMDではGPUのアーキテクチャーが異なり、NVIDIAなら「NVIDIA GPU Operator」、AMDなら「AMD GPU Operator」などを使う。これらをまとめて監視し、プロジェクトや状況に応じて割り当てを変更するのはツールを行ったり来たりするため手間が多い。「GeForce RTX」シリーズを使っている場合は、ツールが公式に対応していないこともある。

「AI-Stack」はこの問題も解決し、同じインターフェースの下でまとめて管理できる。ツールを使い分ける必要もなく、ダッシュボードで空いているGPUを割り振るのも簡単。「GeForce RTX」シリーズにも正式に対応している。GPUの種類が多いほど、「AI-Stack」による負荷低減の効果は大きい。

以下は対応するGPUの一例だ。

【課題⑥】ユーザーが増えると管理が大変

ユーザーやプロジェクトごとにリソースを割り当て

ユーザーが増えた時の管理も「AI-Stack」の得意分野だ。人数が増えるほどコンテナイメージの管理やGPUリソースの割り当ては複雑化する。GUIベースで視覚的に分かりやすく管理できるのは「AI-Stack」の強みだ。

GPUリソースを配分する場合、最小単位はユーザーだが、そのユーザーの所属するチームや参加しているプロジェクトなど、より大きな枠組みで管理することも多い。特定の人やチームがリソースを使いすぎないようにクオータ（上限）を設定する場合も、人が増えれば管理の手間がどんどん増えていく。

「AI-Stack」のダッシュボードでは、各GPUサーバーの稼働状況や各ユーザーの利用状況などを監視可能。全体の状況を把握できるほか、GPUリソースの配分を柔軟に変えることができる。

「AI-Stack」ならGPUリソースの悩みをワンストップで解決

コンテナの管理・運用からGPUの割り当てまで一括管理

「AI-Stack」ができることは、ユーザーとコンテナの管理、そしてコンテナへのGPUリソースの割り当てだ。AI開発はプロジェクトも増え、規模も大きくなっている。GPUリソースの管理は、手動で行なうにはハードルが高くなっていると言えるだろう。「AI-Stack」はリソース管理を強力にバックアップできるツールだ。GPUサーバーは高額化しており、リソースを余らせておくのはもったいない。適切に管理し、稼働率を上げられる「AI-Stack」は、これからのAI開発に必須のツールになるはずだ。

AI-Stackの資料請求やお問い合わせはこちら

（文・写真＝株式会社アスク）

※ 記載されている会社名および商品・サービス名は、各社の登録商標または商標です。

※ 本記事は執筆時の情報に基づいており、販売が既に終了している製品や、最新の情報と異なる場合がありますのでご了承ください。