■生成AIでなんかやれと言われる皆さんへ（DeepSeekとばっちり編）

コンバンハ、オイソギデスカ

今日も上司の思いつきで無茶振りされる皆さんお疲れ様です。

DeepSeekみたいな話題が日経新聞に載るたびに新規事業になるんじゃ無いかとかプロトタイプをもってこいみたいなこと言われると災難ですよね。

何がどうなってて、何はできないんですよみたいなのまとめておいたから、俺の屍を越えてゆけ。

まず前提からな

確実なこと

• DeepSeekが、生成AIモデルをMITライセンスで出した。
• 巨大なサイズの生成AIモデルを出した。（普通のデスクトップPCでは動かないようなもの）
• 他がすでに出してた小さいモデルを改良したものを出した。（蒸留したもの、GPU積んでるデスクトップPCなら動くようなもの）
• 作り方、改良の仕方の論文を出した。

ほぼ確実なこと

• 中国が輸入できる制限されたGPU群で生成AIモデルを作った。
• 生成AIモデルを改良する際に、強化学習のみを用いて改善を行った。
• 他がすでに出してた小さい生成AIモデルを、改善できた。

まだ明らかになっていないこと

• ベースになる生成AIモデルをどのように作ったか（再現できるか）
• ベースになる生成AIモデルをどのデータで作ったか
• ベースになる生成AIを改善するために使った強化学習データ
• 公開された生成AIモデルに、どのような特性があるか

面倒な上に、揉めそうなところ

• 蒸留したという小さめの生成AIモデルが、元にした生成AIモデルのライセンスを適切に取り扱ってないのでは疑惑
• APIの価格が、実際のコストを反映していない逆鞘なのでは疑惑

ここまでは前提な。こっからが、まとめ。

技術的にもコスト的にも可能そうなところ

蒸留済みの生成AIモデルをローカルで動かして、性能検証すること

外に出したく無いデータがあるから、AzureのAPIも使いたく無いんだよね、みたいな職場では朗報。

いまんところモデルそのものに変なものは仕掛けられていないし、QwenやLlamaよりもまあまあできる印象。

技術的には可能だが、コストは要相談なところ

でかい生成AIモデルをローカルで動かして、性能検証すること

できなくは無いけど、まっさらな状態だと稟議通すの無理じゃ無いかな、という金額を載せざるを得ない。

すでにでけえGPUとかで生成AI用の環境を組んでるところなら、できるよね。

蒸留済みの生成AIモデルを、自前のデータを使ってさらに蒸留すること

できなくは無いけど（以下略）

既にQwenやLlamaを使って自前でなんかやっているところなら、後追いで強化学習のみでいけるか追試するなんてのはできる。

（こういう設備が既にあるなら、特にDeepSeekが出たから新しく、というわけじゃ無いけどね）

技術的にも（お前が雇えるような技術者とコストでは）無理ですね

DeepSeekの論文を読んで、生成AIを安く作れ

無理ですね。そもそも強化学習で改善するのだってJTCなら部長決済で済まないでしょ。（外資ならワンチャンあるのか！？）

そもそものベースの生成AIモデルを作るの、特に強化学習オンリーじゃなくてTransformerベースのよくある作りで作ってあるみたいだし。

生成AIモデルを自社向けに改良しろ

無理ですね。蒸留する（ベンチマーク用の性能改善）ならいざ知らず、自社向けの定義もデータも揃わないでしょ。

ルールベースでやりくりした方がマシ。

技術的には可能かもしれないけど、まだやめといた方が良いこと

オープンな生成AIモデルを組み込んでプロダクトを作れ

プロトタイプならあり。ビジネスに組み込むつもりなら、少なくともDeepSeekの蒸留モデルは（まだ）使えない。

QwenやLlama派生モデル扱いなんだったら、MITライセンスになるわけがないので、かなりグレー。

同様に、（流石に多分大丈夫だと思うけど）DeepSeekの改善前のベースの生成AIモデルが、適法じゃなかった時揉めそう。

なお、これは別にDeepSeekに限ったリスクではなくて、QwenやLlamaも同じなんで、基本全部同じリスクを抱えてると思った方が良い。

余談

元になるベースの生成AIモデル作るところまでは、既存の作り方と同じなのでビックテック優位変わらず。

が、雑にベースの生成AIモデル作っても、わりあいお安く性能改善できるんで追いつけるね、というのは、多分正しそう。

なんで研究資料とかオープンにしてんの？というのは、多分２つくらい理由があって、その方が話題になって儲かるから、というのと、オープンにしておけば転職しても使えるから、というもの。

カントリーリスクは相変わらずあるので、Web版とかAPIで使うなら、趣味の大っぴらにしてるプログラミングの補助で使うとか、ゲーム用になんかするとか、じゃないかな。

ローカルで使うって言っても、余程のことがない限りAPI使ってお支払いした方が、パソコン新調するよりはお安いのではないでしょうか。

低性能なの使ってもあんま楽しくないし、思いつくユースケースは、趣味でコストをかけずにゲームに生成AI組み込みたいんで無限にローカルで試行錯誤したい、くらいじゃないかな。

オープンソースになったんだから、コモディティ化（？）して、生成AIは誰でも作れるようになる！みたいな言説はまだまだお花畑ですね。

設備投資もランニングコストも、日本のベンチャーとかじゃまともな勝負にはならんでしょ。

メモリ１６GBのノートPCで動く１GiBサイズでChatGPT-4oレベルの超蒸留モデルが出てから出直してきてくださいというところ。

そんな超絶技巧のスモールサイズAIよりは、AGIの方が先にきそうだけど。

まとめ

仕事で生成AIでなんかしろって言われたら、事実上選択肢は３つだけです。

• Azure経由でChatGPT使う
• GCP経由でGemini使う
• AWS経由でSonnet使う

別に組み合わせても良いけど、これ以外の選択肢はいまんとこ取れないですね。

Permalink | 記事への反応(13) | 19:49

ツイートシェア