本記事は Qiita Dify Advent Calendar 2024 の 5日目の記事です。 最近OSSのLLM開発プラットフォームであるDifyをちょいちょい触っています。 github.com AWS上でホストしたり、Difyにコントリビュートし始めたりしているのですが、今後 Deep Dive するためにDifyのアーキテクチャを理解しておこう、ということで自分なりに整理してみました。 なおインフラ視点での整理のため、AP実装には深くは踏み込みません。 今回の記事の内容は主にGitHubのソースコードや、Docsを元にしています。 docs.dify.ai また設定パラメータがいくつか存在しますが .env.example を見ると非常にわかりやすく理解が進むのでおすすめです。 github.com 目次 目次 Difyのアーキテクチャ 1. Reverse Proxy 2. F
この記事のポイント Difyはプログラミング不要で直感的にAIアプリを作成できるプラットフォーム豊富なAIモデル、外部ツール連携、RAG機能など多彩な機能を搭載無料プランから本格開発向け有料プランまで幅広い料金体系を提供条件付きで商用利用可能、ただし制限事項にも注意が必要チャットボット、テキスト生成、検索自動化など様々なアプリケーション開発が可能 Microsoft AIパートナー、LinkX Japan代表。東京工業大学大学院で技術経営修士取得、研究領域：自然言語処理、金融工学。NHK放送技術研究所でAI、ブロックチェーン研究に従事。学会発表、国際ジャーナル投稿、経営情報学会全国研究発表大会にて優秀賞受賞。シンガポールでのIT、Web3事業の創業と経営を経て、LinkX Japan株式会社を創業。 Dify(Dify.AI)は、プログラミングスキルが不要で、誰でも直感的にAIアプリを作成
プログラミングでは、1文字でも打ち間違いがあればエラーの原因になってしまいます。 そこで似たような文字、例えば数字の「1」（いち）とアルファベットの「l」（エル）、数字の「0」（ゼロ）とアルファベットの「O」（オー）などを容易に見分けられるようなフォントを使うことが、ミスを防ぐことにつながります。 コードを表示させたときに整然として見やすく、エディタ上でカーソルを上下に移動させてもカーソル位置が左右にぶれずに表示されるように文字の幅が等幅に揃っていることも必要でしょう。 日本語の場合には、「－」（マイナス記号）と「ー」（音引き）の区別や、コード内に全角空白が紛れ込んだとしてもすぐに見分けられることなどの特徴を備えていることもプログラミングに適したフォントに求められる条件だといえます。 この記事では、そうした特徴を備えたプログラミングに適したフォントをまとめました。 ここで紹介されていない日
TOPフォーカス「もっと読みやすくできるはず」。白源、Bizin Gothic作者が日本語入りプログラミングフォントを手がけ続ける理由【フォーカス】 「もっと読みやすくできるはず」。白源、Bizin Gothic作者が日本語入りプログラミングフォントを手がけ続ける理由【フォーカス】 2024年6月12日 プログラミングフォント制作者 たわら プログラミングフォント制作者。コーディングに適した欧文・英数字フォントと、日本語フォントを合成し、新たなフォントを生み出す手法に定評がある。2019年5月に「白源（HackGen）」を公開したのを皮切りに、毎年のペースで合成フォントを手がけている。本業ではインフラエンジニアやWebプログラマなどを経て、現在ではSaaS企業にてSREを担う。自身の息子に「プログラミングを教えて」と頼まれた時、まずはプログラミングフォントの重要性を説いた。 X GitHu
ChatGPTの登場からこれまでAIの活用は主流はチャット、すなわち「プロンプト」と呼ばれる自然言語による対話的な指示によって行うことでした。適切なプロンプトを考えて与えることがAIを活用するための大事なノウハウでした。 そうした中で、2024年後半からAIサービスを提供する主要各社はAIの新たなサービス形態として「エージェント」化を進めています。 何を持ってAIエージェントなのかは企業ごとに主張が異なるためAIエージェントの厳密な定義はありませんが、おおまかに言えば、あらかじめタスクやミッションを与えておくことで自律的にAIが作業や処理を行い、適切なタイミングで人間に結果を提供してくれる、というものです。 要するに、生成AIがさらに人間のスタッフのように働いてくれる、というわけですね。 例えばマイクロソフトは2024年10月、AIプラットフォーム「Copilot Studio」に、自律型
年頭のご挨拶：2025年のPublickeyも、読者が安心して記事を読めるように適切な広告だけを掲載します 新年明けましておめでとうございます。本年もPublickeyをどうぞよろしくおねがいいたします。 さて、昨年（2024年）6月にPublickeyの広告掲載方針として「読者が安心して記事を読めるように、Publickeyでは適切な広告だけを掲載しています」という記事を公開したところ、大変多くの賛同や支持をいただきました。 おかげでメディアとしてこのような広告運営に関する方針を明らかにすることが大事であることを認識できました。 2025年の最初の記事として、Publickeyは今年もこの広告掲載の方針を変えることなく、不快な画像の広告や誤クリックを誘うような邪魔な広告、さらには詐欺サイトへ誘導するような広告などが掲載されないように運営していくことをご報告させていただきます。 具体的には
nnn 次元ベクトルは（この記事では）実数を nnn 個並べたものだと考えて下さい。 高校数学で習う2次元ベクトル（平面ベクトル），3次元ベクトル（空間ベクトル）の一般化です。 （実数上のベクトル空間 VVV に対して） 任意の xundefined,yundefined∈V\overrightarrow{x},\overrightarrow{y}\in Vx,y∈V と任意の実数 aaa に対して以下の3つの性質を満たす関数 ∥∗∥\|*\|∥∗∥ をノルムと呼ぶ： ∥xundefined∥=0 ⟺ xundefined=0undefined\|\overrightarrow{x}\|=0\iff \overrightarrow{x}=\overrightarrow{0}∥x∥=0⟺x=0 ∥axundefined∥=∣a∣∥xundefined∥\|a\overrightarro
はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して回答
以前、以下のような記事を書きました。 https://dodotechno.com/llamaindex-wikipedia-chat/ 簡単に説明すると「AIは知らない事を聞いた時に嘘をつく（ハルシネーション：幻覚）のでプロンプトで質問と一緒に正確な知識を渡せばいいよね」という記事です。 この方法はRAG（Retrieval-Augmented Generation）というもので、AIが知らないような専門的な知識について回答させたい場合に、専門知識が記載されたドキュメントやWEBページの情報などをプロンプトに一緒に与えることによって、正確な情報を得る方法です。 ただ、この記事で使用したLlamaindexというフレームワークの仕様が変更されて現在のバージョンでは記事投稿時のソースが動作しません。（後、記事中の説明のための用語の使い方が微妙・・） そのような理由から最新のバージョンでソース
この本では、初心者・入門者の方に向けて、RAGの知識や使い方を体系的にまとめました。少し難易度の高い内容になりますが、本書の中で事前に学んでおくべき項目を示しているため、ご安心ください。 【概要】 ・内容：RAGの概要【入門者向けの基礎知識】、RAGの処理フロー【In-Context Learning / Embedding / Vector Search】、RAGのビジネス活用ロードマップ【大企業向け】、RAGの実装アプローチ、RAGの大分類【Document RAG】、RAGの大分類【SQL RAG】、RAGの大分類【Graph RAG】、RAGの精度評価アプローチ、RAGの精度評価方法【LangChain Evaluation】、RAGの精度評価方法【Ragas】、RAGの精度改善手法【データ品質 / プロンプト品質 / ベクトル検索】、RAGの精度改善のためのLLMOps概論、LL
About ようこそプロジェクトに貢献するにはGeneral コード補完コメントからコードを生成コードからコメントの自動生成GitHub CopilotとのクイックQ&A正規表現プログラミング言語間の翻訳タイプヒンティング構造化データからのオブジェクト生成コードからドキュメントへClient Side Tips Copilot スニペットハンドリングGitHub Copilot ショートカット定義に移動便利なファイルのピン留めDesign Patterns AI が理解可能な命名規則一貫性のあるコーディングスタイルハイレベルアーキテクチャを先に小さなコードチャンクで作業するコンテキストレス・アーキテクチャ微細な OSS 依存関係の排除Collaboration AIフレンドリーなドキュメンテーションプロンプトとコード生成プロセスのコーチングTesting ユニットテストの作成テストコード生
前々回と前回の記事で、CDIの基本的な部分であるスコープとインジェクションについて解説した。 今回は、インジェクション候補のクラスが複数ある場合の様々な対処方法を紹介する。 実装や継承関係がある場合のスコープ指定 実装や継承関係がある場合は、実際にインジェクションしたい具象クラスにスコープを指定する。 例えば、次のようなインターフェースがあるとする。 public interface SomeIf {} インターフェースや抽象クラスに対してはスコープを指定できないため、SomeIfを実装する具象クラスに対してスコープを指定する。 @RequestScoped public class SomeBean implements SomeIf {} インジェクションの指定は、インターフェースや抽象クラスに対しても行える。次のようにSomeIfに対して@Injectを指定すると、CDIコンテナはS
はじめに O/R マッピングとは O/R マッピングとは、一言で言えば、オブジェクト指向プログラミング言語においてリレーショナルデータベースのレコードを通常のオブジェクトとして操作する方法である。より詳細な定義を述べるより、実際のコードを見たほうがわかりやすいだろう。以下に、低レベルの JDBC API の利用例と、高レベルの O/R マッピングフレームワークの代表格である JPA の利用例を挙げる。 public List<Issue> findByProjectId(long projectId) { String query = "select id, title, description from issue where project_id = ?"; try (PreparedStatement ps = connection.prepareStatement(query))
本記事は「珠玉のアドベントカレンダー記事をリバイバル公開します」企画のために、以前Qiitaに投稿した記事を7年ぶりに改訂したものです。 筆者自身もコミッターとして関わるJavaのDB永続化ライブラリ「uroboroSQL」の紹介です。 https://github.com/future-architect/uroborosql はじめにエンタープライズシステム開発では、まだまだJavaで作られていることが多く、システム特性上、やはりRDBを利用するケースが多いですよね。 Amazon AuroraやCloud Spannerといったプロダクトに注目が集まるのも、時代の変化とともにDBも並列分散型でスケールアウトはしたいけれども、トランザクションもSQLも使いたいというCAP定理を覆す特徴を持っていることが要因だと思います。 2016/12/24にクリスマス・イブにCockroachDBに
2つの期間 A〜B と X〜Y が重なっているかどうかを判定したい場合。 のように4つのパターンがある。これを単純に、 A <= X && Y <= B || X <= A && Y <= B || A <= X && B <= Y || X <= A && B <= Yのように判定してはいけない。 Xは青い線の上を、Yは赤い線の上を動くとき、A〜B と X〜Y は重なり合う。この条件は、 X <= B && A <= Yこれで4つのパターンをカバーできる。ORは不要。始点と終点をわかりやすく書くと以下になる。 始点2 <= 終点1 && 始点1 <= 終点2アルゴリズムに名前がありそうな気がするけど、見つけられなかった。 (追記) 矩形の重なり判定の方が情報が見つかった。 * Life is beautiful: ビル・ゲイツの面接試験－私の場合 * 長方形の重なりを判定する問題 - ザ
GitHub Copilot は AI がペアプログラミングしてくれるサービスです Copilot = 副操縦士なので、私たちがコードを書くとき、隣からそっと助けてくれるイメージです ChatGPT のようなチャット形式とは異なり、特別指示を出さずとも、コードを書いていると自然に提案してくれます 例えば、以下の GIF では Python で def generate_random_ まで書いた時点で、残りのコードを GitHub Copilot が提案してくれています そのままタブキーを押せば提案されたコードを採用できます 最初から 100 点のコードにはなかなかなりませんが、 70 点のコードでも叩き台ができるのは非常にありがたいです 本記事では VSCode で GitHub Copilot を使う方法と、その活用術について紹介します GitHub Copilot が使えるようになる
はじめに この間仕事で、大量データを扱っていて、どうしてもレスポンスがでない処理を見直すことなりました。 全体的に、約4分くらいかかる処理でした。 この処理を見直すときに、MappperをListではなく、org.apache.ibatis.cursor.Cursorに修正しました。 その結果、レスポンスを早くすることができました。 せっかくなので、MyBatis3.4以降で追加されたCursorの使い方についてまとめていきます。 動作環境 Java 1.8.0_181 Spring FrameWork 4.3.16 MyBatis 3.4.5 mybatis-spring 1.3.1 ※ mybatis-springだけ、プロジェクトによって必要／不必要が分かれると思います。 使い方 mapper.xmlは、Listで取得するときと特に変える必要はありません。 大量データを処理するので、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く