[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

LLM活用をリードする、日本総研のバーチャル組織「LLM-CoE」とは


LLM(大規模言語モデル)がもたらす影響は未知数であり、多くの企業では積極的な活用を推進しつつも、その用途は限定的になっているところもあるのではないでしょうか。

そのような中、株式会社日本総合研究所(以下、日本総研)では組織横断型のバーチャル組織「LLM-CoE」を立ち上げ、生成AIに関する様々な取り組みを行っています。

日進月歩である生成AIについて、日々の情報収集、発信からグループ内におけるPoC(概念実証)支援まで「生成AIやLLMのことなら任せてほしい」と強調するのは、LLM-CoEの全体推進リーダーを務める北野氏。具体的にどのような活動をしているのでしょうか。今回は、北野氏を含むLLM-CoEのメンバー3名にお話を伺いました。

プロフィール

北野 健太(きたの けんた)
株式会社日本総合研究所
システム企画部 兼 LLM-CoE 全体推進リーダー
大学院卒業後、2006年に日本総合研究所へ入社。10年ほどシステム開発を担当した後、外資系ソフトウエア企業への出向や、シンクタンク部門での調査業務、銀行システム統括部への出向を経て今に至る。2017年、先端技術ラボの立ち上げメンバーとして参画。リサーチャーとして3年間、AIやブロックチェーンなどの先端技術のリサーチ業務に従事した後、現在はシステム企画部のマネジメント業務を行いつつ、LLM-CoEの立ち上げから体制構築といった組織全体の運営を担っている。
西脇 一尊(にしわき かずたか)
株式会社日本総合研究所
先端技術ラボ 兼 LLM-CoE 事務局・人材育成・情報発信担当
大学院で機械学習 × バイオインフォマティクスの研究に従事した後、2018年に日本総合研究所へ入社し、法人向けネットバンキングサービスのインフラ領域を担当。2020年に先端技術ラボへ異動後は、自然言語処理を専門に技術検証・調査などに携わる。2024年からは技術統括部を兼務し、LLM-CoEの一員としても活動している。
加古 晴也(かこ せいや)
株式会社日本総合研究所
グループ社内システム本部 兼 LLM-CoE 環境構築・Azure/GAI関連担当
大学院卒業後、2021年に日本総合研究所へ入社。海外拠点におけるOA環境のクラウド化などを主なタスクとして担当した後、海外拠点へのAIチャットボットの展開などを経て、2024年からは技術統括部を兼務し、LLM-CoEにアサインされる。現在は国内外を問わず、社内全拠点におけるOA環境へのAI導入、生産性向上のためのAIを利用したツール開発を推進している。

LLM/生成AIの精鋭14名が集まるバーチャル組織「LLM-CoE」とは

―― 日本総研の「LLM-CoE」とはどのような組織なのか教えてください。

北野:LLM-CoEは「情報収集・調査/情報発信」「生成AIに関する技術者の育成/学習・検証環境の整備」「相談窓口対応」「PoC支援・推進」という、大きく4つのミッションを掲げたバーチャル組織です。自組織だけでなく、外部の研究機関やITベンダーとも連携しながら生成AIに関する最新情報をキャッチし、技術を使いこなしてグループ全体へと展開する役割を担っています。

ここ数年間で生成AIは著しい進化を遂げており、ビジネスや業務への影響が非常に大きくなってきています。日本総研の主要業務であるシステム開発においても、生成AIの活用を本格的に進めたいとの声が社内各所から上がっていました。新たなテクノロジーに対して個々に取り組むのではなく、ノウハウや知識、人材育成などを集約して共有を図る必要があると考え、専門組織を立ち上げました。

―― 先端技術ラボ(※)でもAIに関する調査研究を行っていますが、どのようなすみ分けをしているのでしょうか。

北野:先端技術ラボでは中長期的な視点で研究開発をしている一方、私たちLLM-CoEは、すぐにシステム開発業務で使える技術にフォーカスしています。

※先端技術ラボは、SMBCグループの「技術の目利き役」として2017年に設立された組織です。中長期的にビジネスインパクトがありそうな先端技術に対して調査・技術検証を行っています。詳細は以下の記事をご参照ください。
▶︎ビジネス価値を創出するために、真に使える技術を追求できる。日本総研の「先端技術ラボ」が面白い理由

西脇:LLMに関していうと、先端技術ラボは論文をはじめとしたLLMに関する最新情報をもとに、実際にその技術を検証し、内容をかみ砕いて日本総研およびグループ各社に展開しています。LLM-CoEに携わってからは、「このような業務ではこういった課題がある」といった業務に直結するニーズを知ることができるようになりました。現場の声を先端技術ラボに持ち帰ることで、次に注目する技術や分野の目星を付け、先端技術ラボ内でのディスカッションに生かしています。

―― 先ほど「バーチャル組織」とおっしゃっていましたが、LLM-CoEは具体的にどのような組織体制になっているのですか。

北野:現時点では14名が所属していて、全員が他部署と兼務しています。私はシステム企画部と兼務して推進リーダーを担っていて、他には、先端技術ラボでの技術検証・調査経験や、システム開発部署におけるチャットボットの実装経験など生成AIに関する知識、経験を持つメンバー、加えて、SMBCグループ企業から事業会社における生成AIの活用やガバナンスの知見を持つ有識者で構成されています。

安全性に気をつけながら、スピード感を持ってLLM関連施策の体制を整備

―― バーチャル組織で運営することのメリットや、感じられている課題などがあれば教えてください。

北野:類似の組織として、過去に、クラウドのCoE(CCoE:Cloud Center of Excellence)立ち上げに関わった経験があります。その際に感じたことも含めると、メリットとしてはスピード感をもって機動的に各施策の体制を作れる点が大きいと感じています。また社内各所から、アンテナや志が特に高いメンバーを集められる点もメリットだと感じています。

一方でマネジメントの観点では、所属部署とLLM-CoEのそれぞれから指示が来るため、業務量のバランスを図るのが難しいと感じています。所属部署のマネジメント層と情報交換をしながら、メンバーの負担が重くなりすぎないように心がけています。

―― 加古さん、西脇さんから見た、兼務で業務を進めることの違いや感想などをお聞かせください。

加古:最先端のAIに関する知見を持つ先端技術ラボのメンバーとワンチームになって推進できるのは、非常に大きなメリットだと感じています。LLM-CoEの活動の一つとして「AIをどの部署でも気軽に検証できる環境の構築」がありますが、先端技術ラボのメンバーにはガバナンスを意識するための利用ガイドラインの制定などで協力いただきました。特に、私たちは金融系システムを扱っているため、セキュリティーを含むガバナンスを意識したシステム開発が求められます。そこで、先端技術ラボが持つ生成AIに対する深い知見と、私が持つチャットボットの実装経験やOA環境の知見を合わせたことで、社員が利用しやすい検証環境を実現することができました。

2つのラインから指示を受けることについては、私の場合はあまり負担に感じていないですね。「AIを活用して課題を解決する」という目標は一緒ですし、得た知見を横展開できることは大きなメリットだと感じています

西脇:組織を横断するメリットは、先ほどふたりが話した通りだと思います。一方、難しかった部分でいうと、LLMサービスをシステムとして実装・提供することの難易度がわからず、依頼を躊躇してしまうことはありましたね。先端技術ラボにはLLMの仕組みや限界といった知見はありますが、安全性を担保しつつシステムに実装するための知見は持っていません。

例えば、「LLMのエンドポイントを使えるようにして」と一言でいっても、各種法令を順守しつつ、安全に使うための仕組みを構築するのにどれだけ工数がかかるのか分かりませんでした。今後は、さらにコミュニケーションを増やして、お互いの専門分野について理解を深められればと感じています。

―― おふたりとも「生成AIを使う際の安全性」を挙げられていますが、ここでいう「安全性」には、具体的にどのような論点があるのでしょうか。

西脇:2つの論点があると思います。1つはセキュリティーです。どのようなデータを生成AIに学習させて良いかというルール作りや、送信されるデータの物理的な所在地、誰かが通信をのぞき見できるような構成になっていないか、などの観点が挙げられます。

もう1つは、LLMによる出力を盲信してしまう危険性です。LLMが出力した内容が全て正しいという前提で仕事を進めてしまうと、場合によっては間違った情報を鵜吞みにしたまま、重要な意思決定を下してしまう可能性もあります。そのようなリテラシー面での安全性も、大きな論点だと捉えています。

加古:セキュリティーの論点においては、データ流出を防ぐという観点もありますね。SaaSとして提供されているAIのエンドポイントを我々の環境で利用するためには、我々のネットワークに穴をあける必要があります。ただ、ネットワークに穴を開けることでデータ流出のリスクは高まりますので、安全にエンドポイントまでつなぐためにどうするかを最も重視して設計しています。

検証環境を構築する際も、ネットワーク設計の段階から安全性を意識しました。最初のデザイン思想では、AIに関わるデータがどのデータセンターからやってきて、どこへ行くのかを可視化しておき、国内のネットワークで完結できるようにしました。

しかしそれでは最新の生成AIモデルに追いつきませんので、利用できるデータの制限やネットワークを閉域化する範囲など、リスク管理を専門とするメンバーとも相談しながらデザインをアップデートしていきました。

心がけているのは、ストーリー性を重視した情報発信

―― LLM-CoEでの具体的な取り組み内容についても教えてください。先ほど挙げられていた4つの観点のうち、まずは「情報収集・調査/情報発信」について教えてください。

北野:まず情報発信の施策として「LLM Dojo」という、日本総研だけではなくSMBCグループ会社も参加可能なコミュニティーを運営しています。そこで様々なチャネルを用意して、情報交換やQ&Aを行っています。また、RPAツールを使って日々の生成AIに関する最新ニュースを収集し、メールや「LLM Dojo」で発信しています。

情報収集・調査に関しては、週に1回はLLM-CoEのメンバーが持ち回りで生成AIに関する記事を投稿しています。それに加え、様々なベンダー企業と定期的に情報交換を行い、得た情報を「LLM Dojo」や勉強会などで発信/解説しています。

―― 生成AI関連のニュースは、非常に量が多いと思うのですが、何か精査はされているのでしょうか。

北野:それほど絞ってはいないですが、システム開発に生かすことが目的ですので、例えばソースコード生成の補助やClassicASPからJavaへの変換における活用など、開発領域での実践につながるような情報を意識してピックアップするようにしています。

西脇:精査とは違うのですが、情報発信の際には平易な表現で発信するように心がけています。「LLM Dojo」にいる皆さんが必ずしも生成AIに関する深い洞察があるわけではないので、専門用語は極力控えて、分かりやすさを重視するようにしています。その一方で、エンジニアや研究者に向けたマニアックな内容はQiitaで発信していまして、最近の記事(▶)ではファイナンシャル・プランニング技能検定の過去問を使い、LLMをファインチューニングした際の取り組みについて投稿しました。

この検証では、LoRA(Low-Rank Adaptation)によってファインチューニングされたモデルは、技能検定の問題のみならず他の日本語タスクの性能も向上しまして、LoRAによって元のLLMの性能を保ちつつプロンプトに従う能力が強化されたように見受けられました。LLM Dojoの登録者にはマニアックすぎるかもしれませんが、興味のある人にとっては面白い取り組みだと思っています。

▶︎ファイナンシャル・プランニング技能検定試験問題で LLM を Fine-tuning してみた / オープン LLM 編

加古:私の場合は、ストーリー性を持って発信するようにしています。

―― ストーリー性、ですか。

加古:ストーリー性を持たせることで、事実に「なぜ」という付加情報を持たせることができるため、読者の共感も得られると考えています。また、海外のカンファレンスで現地のエンジニアの発表を聞いたり直接会話をしたりしていると、ストーリー性を持って話を展開されている方が多いと感じています。

例えば、Microsoft Buildで発信されていたメッセージを聞き、マイクロソフトはAIの会社になっていくのだと感じました。それを実現するために強固なデータセンターを整備し、AIの進化に耐えられるようになっていきたい。その背景には、Copilotの利用増加があるとのことでした。各ファクトを元に一連のストーリーが紡がれており、非常に理解しやすい内容になっていました。

このように、しっかりとストーリー性を持たせることで、読者の皆さんに興味を持ってもらえるように日々工夫して発信しています。

実際の業務に貢献できるよう技術者を育成したい

―― 続いての取り組みの観点ですが、主に西脇さんが担当されている「技術者の育成」には、どのような内容があるのでしょうか。

西脇:1つは勉強会が挙げられます。今までに2回実施していまして、初回は生成AIにあまり詳しくない人にも理解しやすいLLMの基本についてお伝えしました。2回目の勉強会では、LLMを使う際の注意点やハルシネーションの話、著作権において気をつけるべき点など、実用上のTipsについて解説しました。

また勉強会とは別に、具体的なAPIライブラリの使い方を学ぶ対面でのハンズオン型講習会も実施しました。参加者にサンプル用のソースコードを配布し、そのコードを手元で編集してもらいながらライブラリの使い方やアプリ作成の方法を紹介したのですが、「思ったより簡単だった」という声を多くいただき、一安心しました。

加古:講習会で配られたサンプルスクリプトを実際に部内に持ち帰って使って、業務での活用を提案できたといったうれしいコメントもありましたね。

西脇:そうですね。APIを使えるPoC環境の申し込みも多数いただいており、良い感じに広まってくれていると思います。

北野:先ほどの情報発信に戻りますが、今後は、システム開発の領域で各部がLLMの活用を試行錯誤した内容や知見を、LT(ライトニングトーク)などの形で発表してもらい、社内展開につなげていけたらなと思っています。

―― 良いですね!そういった講習会を実施するための「学習・検証環境の整備」は、主に加古さんチームが担当されているんですよね。

加古:はい。AIを使ったスクリプトやサンプルコードは先端技術ラボのメンバーが用意しましたが、OA環境から検証環境へのアクセスに関しては、私たちが準備しました。

北野:少し補足をしますと、学習・検証環境に使えるデータの範囲も、セキュリティー担当者と詰めています。例えばソースコードを入れて問題ないか、実際の設計書を投入して良いかなど、実際に現場で発生し得るニーズを想定して準備を進めました。

―― ユーザー向けの「相談窓口対応」は何をされているのでしょうか。

北野:LLM-CoEのポータルサイトを作成しており、現状ではサイト内に相談窓口を設けています。まずは、日本総研内のシステム開発にフォーカスしているので、ユーザー向けへの広報は控えており、今のところ数件の相談が来ている程度ですが、今後力を入れていきたい活動です。

―― どのような相談が来るのでしょうか。

北野:企画段階の話が多いですね。例えば、あるグループ会社から「コールセンターで生成AIを使いたい」という相談が寄せられたことがあります。コールセンターに関しては銀行で先行したPoC事例があるので、その時は銀行の担当部署に直接つなぎましたね。他にも「システム監視で生成AI活用を検討したいので、ブレーンストーミングの機会を頂きたい」といった内容も寄せられました。

―― 先ほど「ClassicASPからJavaへの変換」といった話がありましたが、そのような「システム開発への活用検討」の現状としてはいかがでしょうか。

北野:日本総研の事業にとって核となる領域なので、積極的に取り組むようにしています。 ClassicASP などレガシーなシステムのモダナイゼーションで成果が出ることを期待しています。

加古:まさに今、私がClassicASPからJavaに変換するPoCを担当しています。マイクロソフト社のAI Co-Innovation Labでスプリントの開発スタイルで1週間かけて検証する予定です。レガシー技術から新しいフレームワークに変換されるフローやナレッジを、社内に展開していきたいと考えています。

―― それは面白そうですね! 今後、LLM-CoEでの取り組み内容として考えられていることもあれば、ぜひ教えてください。

加古:私が所属する部署の観点でお伝えすると、社内の各本部に対してAIシステムの導入支援ができたら良いなと思っています。OA環境下でAIを使いたいというニーズは多いと思うので、ネットワークの知見などを積極的に展開していけたらと考えています。

西脇:個人的な展望として、私は次々とツールを作っていきたいです。先端技術ラボで最先端の技術・手法を日々インプットしていますが、それらをシステム開発の部署で使える形につなげることはあまりできていません。例えばサンプルコードの提供や、すぐに使ってもらえるようなツールを提供するなど、システム開発業務の高度化・効率化に貢献したいと考えています。

北野:私としては、やはり技術者の育成ですね。LLM-CoEは14名でスタートしていますが、すべての生成AI案件に対応できるようメンバーを増やしたいと考えています。それに向けてまずは「どういうことができる人」が「どのタイミング」で「何人くらい」必要になりそうかというロードマップを作る予定です。

人間とAIの「役割の変化」を受け入れる

―― 生成AIは日々進化しており、最近ではエージェントの時代に突入しているとも言われています。中には「エンジニアは不要になる」というような極端な論調も出てきていますが、そのインパクトをどのようにお考えでしょうか。

北野:少なくともシステム開発業務においてはまだ本格的なインパクトは起きていないと思います。日々、様々なベンダー企業と会話していますが、AIが人にとって代わるような段階ではまだないという意見で一致していますね。しかし今後労働力人口が減少する中で、生成AIをうまく使いこなさないといけないという危機感は確実に高まっているとも感じています。そう考えると、人間とAIの「役割の変化」を受け入れる、というのが現時点での最適な捉え方かと思います。

加古:私自身、何かを調べるというタスクに関してAIが十分に機能してくれているので、より考える部分にフォーカスして仕事ができるようになっています。

西脇:「役割の変化」と北野さんが言っていましたが、私も人間の業務内容が変わることに期待しています。例えば、CSVの読み込みや単体テストのケース作成のようなルーティン作業は生成AIが得意とする一方で、複雑なロジックや高い信頼性・応答性といった要件は引き続き人間が実現していく分野だと思っています。そこで、人間がルーティン作業に費やす時間は減り、よりコアな業務が増えるといった役割の変化が少しずつ起きていくことになるだろうと感じています。

―― 最後に、皆さんのキャリア展望についてお聞かせください。

北野:管理職の立場として、会社がますます良くなるように、できることをしっかり行いたいと考えることの方が多いです。生成AIはシステム開発業務の効率化において大きな可能性を感じていますが、まだまだ進化の初期フェーズだと捉えています。LLM-CoEの活動を通じて、まずは日本総研、次にSMBCグループ全体を底上げしたいと考えています。

加古: LLM-CoEの活動を通じて、新しい技術の習得だけでなく、社内の課題解決につなげるための方法論も学ばせてもらっていると感じています。今後は、様々な人と関わりながら、海外拠点のシステム支援をしてきた経験に加えて、最新技術を活用して課題を解決していきたいと考えています。

西脇:私がAIに興味を持ったきっかけからお話しさせていただくと、AIが進歩すれば人間にしかできない仕事が減り、足りない労働力をAIが補えるようになるのではと感じたことでした。その実現に一役買えるような仕事に携わりたいと思い、機会にも恵まれて現職に就くことができました。

LLM-CoEの活動を通じて、私が持つ技術・知見をシステム開発に携わる方々へ提供することで、当時私が期待した未来や、理想としていた仕事に近づけると感じています。フェーズとしてはまだまだだと思っていますが、生成AIが出てきてから自然言語処理に対する期待値が明らかに高くなっているので、この期待に応えられるようAIが仕事をする未来の実現に向けて突き進んでいきたいです。LLM-CoEはそれを実現できる環境だと感じています。

編集後記

世の中の生成AIに関する情報が溢(あふ)れかえっている状況だからこそ、自社にとって必要な情報を整理して発信し、相談窓口として機能する組織があるのは、システム会社として非常に頼もしい存在なのではないかと感じました。これからエージェントの時代へと突入していく中で、システム開発の現場はどのように変わっていくのか。人間とAIの役割の変化を、私たちはどのように受け止めて適応していくことになるのか。このようななんとも言えない要素がAIを取り巻く論点として多いからこそ、LLM-CoEのような組織体の必要性は、今後ますます増えていくだろうと思います。

取材/文:長岡 武司
撮影:法本 瞳

日本総研 採用情報はこちら

生成AI利活用推進スタッフとして、
私たちと一緒に働く仲間を募集しています

  1. 記事投稿キャンペーン「Markdown AIを使った記事を投稿しよう!」受賞者発表
  2. エンジニアフレンドリーな仕組みを追求。将来債権を買い取る「PAY.JP YELL BANK」のプロダクト思想に迫る!