ソリューションアーキテクトの瀬戸です。
左を見ても右を見てもAIと言われている今日この頃、ChatGPTなどのサービスを動かしている方々がほとんどではないかと思います。
その中でLLMは別にクラウドじゃないと動かないわけではなく、ローカルで動かすことも可能なのですが、Pythonのインストールが難しそうとかの理由で避けている人もいるのではないかと思います。
Podman AI Labを使用する事で簡単にローカルでLLMを動作させて、チャットのやり取りを楽しむことができるので、ちょっとやってみましょう。
注意: この記事は管理者権限を持ったx64 Windows 11 Professionalと十分なメモリが積まれたPCを使用しています。8G程度のメモリしか積まれていない場合は動作が難しい可能性があるので、ご注意ください。32G以上の余裕を持ったPCを使用する事を推奨します。また、モデルはそれぞれ数ギガバイト程度の大きさがあります。ディスクスペースにも十分な空きがあることを確認してください。
Podman のダウンロード及びにインストール
注意:wslを使用したことがない場合は、インストール前にwslを有効にする必要があります。 管理者権限のあるコマンドプロンプトから以下のコマンドを実行して再起動します。 > wsl --install --no-distribution
Download Now を押すことでダウンロードができます。
ダウンロードしたexeをクリックすると、そのままインストールが始まります。
インストールが終わったら起動します。Podmanのコマンドラインツールをインストールしていない場合は、ここでインストールします。
インストール後にはPodman CLIの初期化が必要になります。Initialize and startを押します。
ボタンを押すと、すぐにPodmanが起動中になることを確認できます。
注意: Podman CLIのインストールの詳細についてはPodman for Windowsのインストールガイドを参照してください。
Podman AI Lab拡張機能のインストール
Podman Desktopがセットアップされたら、次は拡張機能をインストールします。
左のジグソーパズルのようなアイコンをクリックして、検索欄にAIを入力、CatalogをクリックすることでPodman AI Labが表示されるので、そのままインストールボタンを押します。
セットアップが完了すると左のメニューに、Podman AI Labのアイコンが増えていることを確認できます。
AI Labを実際に起動してみる
ここまで来たらあとちょっとです。左のアイコンをクリックすることで、AI Labの初期画面に移ります。
Recipes Catalogを選択することで、動かしたいアプリの種類を選択することができます。今回は、ChatBotを選択します。
注意: 他のアプリを選択することもできます。
そのあとすぐにStart AI Appを押したくなりますが、ぐっとこらえて、Modelsを選択します。
すると、下の方で動かしたいLLMモデルを選択できるので、好きなものを選択します。今回は ibm/merlinite-7b-GGUFを選択しています。
Start AI Appを押すことでチャットボットが起動します。モデルのダウンロードに時間がかかりますので少々お待ちください。
注意: モデルを選択しなかった場合、デフォルトではinstructlab/granite-7b-lab-GGUFが選択されているはずです。
AI アプリを使ってみる
起動に成功すると以下のような画面になるので、右側のOpen AI Appボタンをクリックします。
すると、画面が開いて質問し放題です。対応している言語や回答内容等、AIの性能については選択した言語モデルに依存します。
まとめ
駆け足ながらPodman AI Labを使用してローカルでAI環境を構築するところまで行いました。 Podman AI Labではすでに用意されているLLMだけではなく、自分自身で構築したものやRed Hat以外が準備したLLMを使用する事もできます。
そういったPodman AI Labのその他の機能に興味がある場合は、developers.redhat.comの記事、Getting started with Podman AI Labを参照してみてください。
