Windows環境でLLMをPEFTでファインチューニングしようとしたとき、ほぼ必ずbitsandbytesというライブラリのエラーに悩まされると思うのですが、こちらの記事ではその対処法が書いてあります。助かりました。 そして、npakaさんの上記の記事を参考に、Google Colabではなくローカルで動かしたという感じです。 キャラクター性が一貫したLLMを作るための最初のテストに最適「一貫したキャラ性を持った回答をするAIを作りたい」 「でもライセンスの問題もなくキャラ性を保ったままそれなりの規模があるデータセットなんて無い」 「自分のツイートを使えばいいのでは💡」 そんなことを考えて、自分（@matsu_vr）の過去ツイートで、日本語LLMのrinna/japanese-gpt-neox-3.6bをファインチューニングしたところ、思った以上に「俺っぽい」ツイートを生成することがで

sponsored MSI「MAG X870 TOMAHAWK WIFI」レビュー Ryzen 7 9800X3Dで高性能ゲーミングPCを組みたいならX870マザーボードは耐久性能と程よい価格で選べば間違いなし sponsored 店舗スタッフが自作パソコン完成まで徹底サポート 業界最安値級から2万円引き!? 普通に買うよりお得・手ブラでPCが組めるアプライドの自作イベント sponsored 2004年から業界をリード！ マウスコンピューターのゲーミングPCブランド「G TUNE」が20周年を迎えた 【今売れているゲーミングPCのスペックはコレ！】「G TUNE」で見る最新ゲーミングPCの最先端 sponsored JN-IPS27G200F-PPをレビュー 約2.6万円のパープル200Hzゲーミングディスプレー、女性的にはアリ？ 盲牌でわかるボタンとは？ sponsored 黒くてデカ

note書くの大変久しぶりで、わーおとなっております。 まとまりのないnoteになりそうですが、ドラフト会議を経て、自分が想定していたより結構心情の変化があったし、こういうのは鮮度が命なので、せっかくだから残しておこうかな～と思いnoteを書いてみています。 まとまりのない文章になりそうですが、ご容赦ください。 自己紹介とBPLについてNORI (Twitter: @norimisoIIDX) と申します。 はじめましての方もいらっしゃると思うので、自己紹介をします。 わたくし、この3年くらいBPL ZERO、BPL2021、BPL S2 (Season2)という、コナミさんの音楽ゲームの beatmania IIDX のプロゲーマーをやっておりました。 BPL S3 (Season3) が始まるということで、今年も頑張るぞ～とと思いましたが、ドラフト会議にてあえなく落選したため、"元"プ

今回は、Databricks社の機械学習プラットフォームで訓練されたdolly-v2-12bという120億パラメータの言語モデルの紹介となります。以前、Cerebralの130億パラメータではGoogle Colabでうまく動かせませんでしたが、今回は動かすことができました。また、本モデルは商用利用も認められているとのことです。 今回は、以下のサイトを参考にしました。 Google Colabで実行するときは、下記のコードを実行しました。 %pip install accelerate>=0.12.0 transformers[torch]==4.25.1 import torch from transformers import pipeline generate_text = pipeline(model="databricks/dolly-v2-12b", torch_dtype=t

Stable DiffusionでのLoRAをdiffusersで試してみます。3Dモデルに対して、Unityで透過スクショを撮りLoRAで学習させるというよくあるやり方ですが、LoRAにおけるData Augmentationの有効性など興味深い点が確認できました。 はじめに 前々から気になっていたStable DiffusionのLoRAを使ってみました。3DモデルからスクショをとってLoRAで学習させるという「何番煎じだお前」って手法ですが、なかなかおもしろい結果になりました。 公式ドキュメント：https://huggingface.co/docs/diffusers/training/lora LoRAとは LoRAってよく使われる割には原著論文がそこまで解説されない気はします笑 （自分はNLPの専門家ではないので、この論文はさーっとしか読んでいませんが、 ）原著論文はこちらで、

もし、ルールを誤って理解することや、それがゲーム体験にいかなる影響を与えるかに関する説教くさい文章を読むよりも、口頭での議論を聞きたいのであれば、ポッドキャスト「Two Wood for a Wheat」での私たちの会話を聞いてくれ。 特定のゲームの熱狂的なファンが、コメント欄での否定的なレビューに対して、そのレビュアーが間違ったルールでプレイしているなどと主張して反応しているのを見ると、いつもおかしくなってしまうよね。他の誰かが自分の意見に賛成してくれるかどうかを必死に気にする姿は、ばかばかしいほど人間らしい。特に私たちみたいなゲームオタクにとってはね。 ただ、実をというと、そいつらが正しいかもしれないよね。レビュアーが不愉快なことをしたというわけじゃない。私たちは常に間違ってプレイしているということなんだ。ミスは、氷山の一角のようだ。つまり、時々、ルールを忘れたり誤解したりすることがわ

著書に『宇宙世紀の政治経済学』（宝島社）、『ガンダムと日本人』（文春新書）、『教養としてのゲーム史』（ちくま新書）、『PS3はなぜ失敗したのか』（晋遊舎）、共著に『超クソゲー2』『超アーケード』『超ファミコン』『PCエンジン大全』（以上、太田出版）、『ゲーム制作 現場の新戦略　企画と運営のノウハウ』(MdN)など。 昨年11月にOpenAIがChatGPTを公開して以来、Googleの「Bard」やマイクロソフトの新たなBing検索エンジンやEdgeブラウザーも会話型AIサービスの大波に乗る事態となっています。 どれもが質問に対して自然な文体で賢い回答が期待されているなか、同じく言語モデルを使って『スーパーマリオブラザーズ』のステージを自動生成する「MarioGPT」の研究が公開されました。 コペンハーゲンIT大学研究チームは、「スーパーマリオ」のレベル（ステージ）を生成する新たな手法につ

植民地戦争＋α/暁のナイル @chiyakazuha 同人ボードゲーム製作について 各印刷所さんのプランを見て算盤を弾いて欲しいが、カードだけの小箱なら、100部で売価1000円、2000円ぐらいで作れる。 しかし、中量級以上を作るとなると、コマやらダイスやらのコンポーネントの値段が加わり、箱も大きくなる。そうなると100部だと5000円を優に越え→ 植民地戦争＋α/暁のナイル @chiyakazuha 買って貰える値段にならない。 そうなると、リスクを負って300～500部で4000円とかにしないといけなくなる。 もはや同人では作り難いジャンルなのである。

ソニーから発売になったモバイルモーションキャプチャー・mocopi（モコピ）。主にVTuberやメタバースでのアバター用途に作られたものだが、約5万円という手に取りやすい価格で登場してきたこの製品が3DCGのNPRアニメでどこまで使えそうか？ いち早くからこの分野で作品制作を手掛ける映像制作チームHurray! のぽぷりかさんにアニメーション制作の視点からレビューしてもらった。 レポート●ぽぷりか レビューの視点 mocopiのテスト機を貸していただいたので、「3DでNPRアニメーション映像を作るのに使うなら」という視点でレビューさせてもらう。購入の参考になれば幸いだ。 自分は普段、少人数での3Dアニメーション制作を行なっており、 モーションキャプチャーで撮られたデータをベースに制作することが多い。 VICON、OptiTrackといった非常に高額な光学式のものや、 MVN、Neuronな

クラスタリングに用いられるK-meansのクラスタ数決定方法については長く議論されてきた歴史があり、このブログでも以前ちょろっと取り上げたことがあります。 で、Twitterを眺めていたらタイムラインに面白い論文が流れてきました。それがこちらです。 タイトルを読んで字の如く「K-meansのクラスタ数を決めるのにエルボー法を使うのはやめろ」という論文なんですね。全体で7ページと非常にコンパクトで読みやすい内容なので、簡単にまとめて紹介してみようと思います。なおいつもながらですが、僕の技術的理解が不足しているが故の誤りなどが混じる可能性がありますので、その際はコメント欄などでご指摘くださると幸いです。 あるtoy dataに対するK-meansの結果 目検に頼らないエルボー法について考える ならば、既存のクラスタ数決定法の中では何を選ぶべきか そもそもK-meansが有効でないケースもあるこ

久しぶりの投稿になります その間世の中では様々なことが起こりましたがStable diffusion,novelAI, DALL-e, midjourneyなど画像生成AIの流行もその一つです。 画像生成AIの性能の中核とも言える拡散モデルに関して他の機械学習手法との関連、そして多くのアイデアの源泉となった非平衡統計物理学，統計モデリング、進化生物学などとの関係に関して思ったことを書きます。 ためになる論文、本のリンクも貼ります。 目次 目次 score matchingとの関係 他の生成モデルとの関係 非平衡統計物理学との関係 統計モデリングの手法との共通点、相違点 情報幾何との関係 進化生物学との関係 専用ハードウェアへのヒント？ なぜ拡散モデルはうまくいくのか コンテンツ生成以外の応用 その他 Next Step(ToDo) ためになるリンク 英語 ためになる本 Fitness la

とあるディープラーニング技術者が、『ポケットモンスター』風のゲーム画面を生成するデモを構築。プレイヤーの操作まで検知して“それっぽい”映像を再現することに成功し、実際にブラウザ上で操作できるよう公開されている。その独特の映像はユーザーたちの関心も集めているようだ。 ディープラーニング技術者であるOllin Boer Bohan氏が、『ポケットモンスター』風のゲーム画面を生成するデモを構築。プレイヤーの操作まで検知して“それっぽい”映像を再現することに成功し、実際にブラウザ上で操作できるよう公開されている。 Ollin Boer Bohan氏によるデモより 『ポケットモンスター』（以下、ポケモン）は、任天堂の人気RPGシリーズだ。同作はポケモンを捕獲・育成してバトルに挑むシステムが特徴。また、初代『ポケモン 赤・緑』から、メインシリーズ作品は長らく見下ろし視点で親しまれていた。描画としては2

末尾セミコロンはしばしば宗教戦争になりますね。 Qiitaでもその他のSNS等でも、そのようなバトルはいくらでも見つかります。 しかし意外にも、この戦争の原因を大本まで辿ってる人はほとんど見当たりません。 見つけたものではこの人(と、この記事を参照している記事)くらいでした。 以下は、JavaScriptの末尾セミコロンについて、JavaScriptの生みの親であるBrendan Eichによる見解、The infernal semicolonの紹介です。 なお2012年の記事なので、存在しないリンクや古くなった知見が含まれる可能性があります。 The infernal semicolon このツリーのコメントを見るたびに、私は悲しみに包まれます。 問題のコード、 このコードは自動セミコロン挿入(ASI)に依存しているため、ミニファイを行うためには、ASIを含めた完全なパースを行い、cle

切り分けたタイヤを使って「0.5＋0.5＝1」の数式を証明した個性的すぎる自転車（関連記事）が、さらなる進化を遂げたと海外で話題になっています。 数式を証明する自転車（画像はYouTubeより） 話題の動画は海外のYouTubeチャンネル「The Q」が投稿したものです。以前、切り分けられたハーフサイズのタイヤ2つが、1本のタイヤとして機能する特殊構造の自転車を制作したThe Qでしたが、今回は1/3にカットしたタイヤを取り入れることにしたそうです。 【関連記事】タイヤをホイールごと半分に　交互に接地する「半分の後輪」海外YouTuberが作り上げた自転車が個性的すぎる わざわざ用意した3本のホイールを1/3サイズにカットして、タイヤやビニールパイプなども1/3サイズに合わせて切り分けていきます。ただ取り付けただけでは簡単にバラけてしまうので、ボルトなどを使ってしっかりと固定して、自作した

昨今、AIの性能は一段と進化を遂げています。 もとより頻繁に話題となるAIですが、現在は何をどこまでできるようになっているかご存知ですか？ AIによる高度な翻訳技術「DeepL」や、人間を超越した最強の将棋AI、もしくはAIが大学入試に挑む「東ロボくん」プロジェクトなど、何らかの事例を小耳に挟んだことはあるのではないでしょうか。 その後もAI技術は急速に進化しています。 2022年4月、またしても興味深い成果がGoogleから発表されました。 それが、文章のジョークを理解するAIです。 これを実現させたのが、Pathways Language Model (以下、PaLM)と呼ばれる、5400億パラメータからなる新たな言語モデルです。 論文はGoogleにより、2022年4月5日付けでプレプリントサーバー『arXiv』上に公開されています。

Topcoderとは、グローバルで190以上の国と地域からおよそ160万人（2021年現在）のアルゴリズム専門家、ソフトウェア・エンジニア、UI/UXデザイナーが登録する「テクノロジスト・コミュニティ」。オープンなコンテスト形式（コンペティション形式）で、デジタル時代に求められる技術ソリューション・モジュールの開発を競い、最良の成果を生み出すコミュニティであり、そのプラットフォームの名称を指します。 2001年に競技プログラミング向けのウェブサービスとして提供開始され、秀でたスキルを持ったプログラマーが多く参加しており、その力をエンタープライズ企業のお客様にもご提供するため、コンテスト形式にてサービスを提供しています。 なぜTopcoderを活用するのか？ 1.最新のテクノロジー・スキルが必要だから デジタル化に向けた取り組みが一般的になり、トップレベルの才能を見つけ出すことは容易でなく、