Ollama / ローカルマシンでLLMを気軽に試せる
Ollamaというツールを使って、ローカルマシンでLLMを動かしてみた。Ubuntuにインストールして試したが、READMEを見る限りMacやWindowsにも対応してそうだ。
Llama 3 / Meta のモデル
Quickstart に書かれている Meta の Llama3を最初に試した。
ollama run llama3 というコマンドを入力すると、モデルのダウンロードが始まる。ファイルサイズが4.7GBあるので、ダウンロードが完了するのをしばらく待つ。日常でダウンロードするサイズと比べると大きいが、とはいえ数GB程度なのは驚きだ。ちゃんと意味のある文章を生成できるのだろうか。ダウンロードが終わるとシンプルなCLIの対話インターフェイスが起動する。
helloから会話を始めたからか、日本語を入力しても英語が返ってきた。最初から日本語で話すと、日本語で会話ができた。
とはいえ少し日本語がぎこちない気がする。間違ってはいないのだが、片言の日本語が聞こえてくるのは気のせいだろうか。
Phi-3 / Microsoft の2.3GBのモデル
2つ目に試したのがMicrosoftのPhi-3だ。このモデルはLlama3よりも更にサイズが小さく、2.3GBしかない。丁寧な日本語を生成してくる。あまり賢くはなさそうだが、簡単な日本語の受け答えはできそうだ。2.3GBでもこの程度のことはできるというのは驚きだ。
今回試したのはサイズの小さい有名なモデルで、さらにサイズが大きいモデルはより高性能だそうだ。しかし手元のPCでは動かせないか、動かせても実用的な速度で動くのか不明なので試していない。