自然言語処理

LLMでマリオを操作できるのか。Gemini 2.0 Flash Experimentalだとどうなのだろうかと、画面を見ながら質問してみた。状況把握が出来ているようだし、組み入れたらクリアできるかも。回答も速い。クリボーと接触してはダメだという理解と位置関係も取れている。実際やるとToken countがあっという間に上がっちゃいそうで、尻込み中。 以下は、簡単にやってみたテスト。Gemini 2.0 Flash Experimentalに画像を参照させて回答させています。 これは何の画像ですか？ これは、ファミコンのゲーム「スーパーマリオブラザーズ」のゲーム画面の画像です。マリオが画面左側…

SB Intuitionsによるsarashinaの1BモデルのInstruction Tuningしたモデルを試します。1Bです。ollama使ってColab T4環境で動かしたときにはVRAM1909MiB / 15360MiBの占有率です。結構、良いと評判なので試してみます。 結果： 自然な日本語を生成します。Aratakoさんがチューニングしたモデルでは、追加した文章を参照しながら回答を生成し、質も良い。知識量や計算能力は残念ですが、1Bだと考えると高いレベルだと思います。要約が今一つコンパクトにまとめられなかったり、リピートしちゃったり、とチューニングやハイパーパラメータの調整の余地…

ollamaでstructured outputsに対応したので試します。すでに良記事が存在するので一読して、気になった出力の安定性とその時のエラー処理の味見をしました。ollamaでローカルLLMで大量のテキストを処理したい。データセットをちょっと加工したり、論文からデータを取り出したり・・・です。そのために、エラーのパターンや頻度を確認しておきます。素人プログラムでLLMの処理のメンドイのは想定外の出力の想定でしょうか。 Gemma2-2BのチューニングGUFFモデル(ezo-gemma-2-jpn:2b-instruct-q8_0）をありがたく使います。このモデルで以前実施したギャル語変…

OpenAIの発表が続く中、Llama-3.3-70Bが公開されていました。さっそく、mmngaさんがGGUFを作成されていましたので、Colabで試します。Colab L4環境です。 70Bモデルもすっかり高い性能になってきましたが、Llama-3.3-70Bもその高さを感じさせます。ただし、langchainとの相性が悪く望む回答が得られていません。ollamaの新しい実装と整合性が取れてないような出力です。モデルの性能的には問題なさそうなため、そのうちに対応することで正しい答えが得られるのでは・・・と思います。 また、Ollamaに実装されたstructured outputsの出力も問…

NVIDIA製Llama-3.1-Nemotron-70BのGGUFをmmngaさんがGGUFとしていらっしゃったので試します。ColabのL4環境です。A100が引き当てられず、予測時間は結構かかります。推論過程を提示しろというSYSTEM PROMPTを用いました。 結果は、さすがに良好です。推論過程を提示した生成も指示通りに出来ています。要約が箇条書きになっちゃったのは残念ですが、そういう癖があるモデルも多々あります。また、計算も問題なくできています。GGUF化も良好で日本語も自然でいい感じです。34Bから70Bくらいのモデルまでくると使いやすさを感じますね。 huggingface.c…

QwQ-32B-Previewはo1的な推論モデルを組み込んだ実験的なモデルです。中国語や英語が生成途中で混じったりすることがありました。その点をマージで調整されたEZO-QwQ-32B-PreviewのGGUFバージョンをお試ししてみます。ColabのL4環境です。 試した範囲では、中国語や英語が生成途中で混じることもなく、生成できました。やはり饒舌なモデルですが、生成過程を可視化しているという印象になっちゃいます。Qwen32B系の傾向かもしれませんがlangchainでwebページをまとめさせても良い感じです。推論を組み入れるのも、適切なバランスが必要だと思います。このバランスの調整（評…

QwQ-32B-Previewを試します。公式のGGUFではなく、bartowskiさん作成のGGUFを利用させていただきました。公式を試された方は比較されるといいかもしれません。微妙に日本語がおかしかったり、英語になったりする部分は最適化を施すと変わってくるように思います。推論部分の生成が長くなるため、生成される文章の全体は長くなりがちです。性能も高い性能を有しているように思います。また、参考文章を添えて生成させると、その文章も参照しつつ答えを出します。日本語チューンのGGUFが楽しみです。code生成にも推論型は役に立つのではないでしょうか。 生成された文章は、脳内の言葉が口にでているよう…

AIモデルとは こんにちは、「生成AIについて日本一発信している人」（大嘘）テヘラニです。今回は「AIモデル」について書いていこうと思います。 その前にすこし余談になってしまいますが、実は今私は“12週間チャレンジ”と題して、12週間で10本記事を書くという目標に取り組んでいます。 これで2本目なのですが、すでに「進捗、大丈夫か？」と自問自答する日々です（笑）。とはいえ遅れをとっている場合ではないので、ここはAIの力も借りていきながら進めていこうと思います。 さて、こんな風にAI（人工知能）がビジネスやクリエイティブの現場で活躍する時代。その基盤を支えているのがなにかご存じですか？ それは『A…

この記事は、みらい翻訳Advent Calendar 2024の23日目です。 qiita.com こんにちは。プロダクトマネジメント室の八木(X: @TehTalikAis)です。社内ではChuaと呼ばれています。 社内ではデータサイエンティストとしてマーケティングとプロダクト開発に関わるデータ分析をしている傍ら、今年(2024年)の4月から京都大学大学院アジア・アフリカ地域研究研究科(以降、ASAFASと呼びます)東南アジア地域研究専攻の博士課程( 岡本ゼミ)に所属しております。また、8月より京都大学東南アジア地域研究研究所(以降、CSEASと呼びます)の連携研究員にもなりました。三足目の…

汎用人工知能（AGI: Artificial General Intelligence）とは、特定のタスクに最適化された「狭い人工知能（Narrow AI）」を超え、人間が持つ知能の多様な側面――学習、推論、問題解決、抽象化、創造性、意思決定など――を総合的に実現しようとする概念です。専門家の視点からは、「複数の認知機能を統合し、未知の状況にも適応できる汎用的な知能を備えたシステム」として定義されることが多いです。 1. AGIの本質と大きな課題 1.1 既存のAIとの違い • 狭い人工知能（Narrow AI）: ディープラーニングによる画像認識や自然言語処理など、限定されたドメインで高精度…

生成AI活用による個人での書籍の出版―効率的な執筆から販売までの具体的ステッ はじめに 個人での書籍の出版に興味を持つ皆さん、はじめまして、話題の「生成AI」を活用してコンテンツ制作を効率化し、自分の作品を世界に届けたいと考える方々に向けて、具体的な事例を交えながら「個人出版」の可能性を詳しく解説していきます。 以前は出版社を介さなければ本を出版することは難しく、印刷コストや在庫リスク、売上管理などを考えると、多くのハードルがありました。しかし、Amazon Kindle などのオンライン・プラットフォームが普及したことで、初期費用を抑えた「セルフパブリッシング」が身近になっています。さらに、…

はじめに：ChatGPTライティングでSEO対策を強化 検索エンジンでの上位表示を目指すためには、高品質なコンテンツと効率的な文章作成が欠かせません。しかし、「時間が足りない」「記事の質が安定しない」といった悩みを抱える方も多いでしょう。そこで登場するのが「ChatGPTライティング」です。この記事では、ChatGPTを活用してSEO対策を最適化し、検索上位を目指す具体的な方法を解説します。 ChatGPTライティング ChatGPTライティングとは？ ChatGPTライティングは、OpenAIのAIモデル「ChatGPT」を利用して、SEO対策に特化した高品質な文章を作成する技術です。 主な…

はじめに この記事は、 Kaggle Advent Calendar 2024 の 23 日目の記事です。先日ブルガリアで開催された第 1 回 International Olympiad in Artificial Intelligence ( 以下 IOAI ) に日本代表として参加しました。 IOAI は今年から始まった高校生向け国際大会で、 AI に関する知識、技能を各国から選出されたチーム同士で（注 : 来年以降は形式が変更になり、個人戦になります）競い合います。詳しくは ホームページ を見てください。大会前～終了までの間に（僕視点で）何が起きていたのか、その時何を考えていたのかを書…

マーケティングに関する包括的な解説を「1万文字」ほどの分量でまとめました。マーケティングの定義や歴史的背景、具体的な戦略・施策、デジタルマーケティングの台頭、今後の潮流などを幅広く盛り込み、体系的に説明しています。やや長文となりますが、学習や考察の参考になれば幸いです。 1. 序章企業が商品やサービスを提供し、顧客に選ばれ続けるためには、必ず「マーケティング」が関わっています。現代ではモノ余りの時代とも言われ、消費者のニーズが多様化・細分化しています。そのような時代においては、消費者が「本当に必要としているもの」を的確に把握し、そこへ適切にアプローチする仕組みこそが、企業の成長エンジンになりま…

gigazine.net AI研究機関のAnswer.AIとLightOnが、2018年に発表されたGoogleの自然言語処理モデル「BERT」を改善した「ModernBERT」を開発しました。検索、自然言語理解、コード検索などのタスクにおいて、優れた性能を示すとのことです。 検索や分類などの用途のためにベクトル化を行うモデル「BERT」の後継モデル「ModernBERT」が登場 - GIGAZINE ModernBERTは、BERTより高速で高精度であることに加え、コンテキストの長さを8k(8192)トークンまで増加させたというモデルです。これにより、検索、自然言語理解、コード検索という3つ…

1. AIが私たちの生活に与えた変化 ここ数年で、AI技術は飛躍的な進化を遂げ、私たちの生活のあらゆる場面に浸透しています。例えば、ChatGPTや画像生成AIといった技術は、かつて専門的な知識を持つ人だけが活用していたAIを、誰もが使える存在にしました。SNSで話題になる画像生成や、自動翻訳アプリの精度向上など、私たちは日々その恩恵を受けています。 こうしたAI技術の進化は、表面的な利便性を超え、産業や文化のあり方にも大きな影響を与えています。本記事では、AI技術の現在地を「技術面の進化」に焦点を当てて掘り下げていきます。 2. AIの主要分野と進化の概要 AI技術はさまざまな分野で進化して…

序論：この記事を書く理由と目的 この記事では、私が抱える精神病と身体の病気について、またその関連性についてお話しします。 特に、私の精神的な問題が身体的な病気に起因している可能性について考察し、同じような悩みを抱える方々や、その子どもたちの問題を考えるきっかけになればと思い、執筆しました。記事は長文になるため、時間がない方は「伝えたいこと」の章だけでも読んでいただければ幸いです。

こんにちは。クラウドネイティブ技術部の野中です。 2024年12月2日から12月6日にかけて開催されている re:Invent 2024 に現地で参加しております。 今回は、生成 AI 関連のサービス Amazon Bedrock knowledge Bases に焦点を当てたセッションに参加しました。 このセッションを選んだ理由は、現在担当している RAG（Retrieval-Augmented Generation）を活用した社内文書検索システム構築のプロジェクトにおいて、 Amazon Bedrock knowledge Bases の採用を検討しており実務にも活かせられればと考えたから…

この記事は CARTA TECH BLOG アドベントカレンダー2024 の 12/21 の記事です。 こんにちは、fluctでSREのようなことをやってるishiharaです！ 最初はもっと技術的なことを書こうと思ったのですが、ポエムっぽい記事が多いので自分もその方向で書きたいと思います。 年々技術記事を書くのが面倒になってきている 私は新卒の頃からエンジニアを始めて十年近くになりますが、なんだかんだアドベントカレンダーには毎年欠かさず投稿してます。今回のように所属してる会社のアドベントカレンダーとして書くこともあれば、特定の技術トピックで書くこともあります。前職だと自分の入社時点ではアドベ…