気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント19件
- 注目コメント
- 新着コメント
sugawara1991
エンコードのコストは重いままでもデコードが軽くなることが有用なのは既存の技術で何度も見てきた。ハードウェアの利点は依然としてあるのでGPUや組込デバイスに1.58bit処理が統合されたりしていくと思う
misshiki
“そもももこれは何なのか？LLMのモデルで中心的役割を果しているトランスフォーマー（Transformer）の、入力および出力の埋め込み変換行列 W の数値の精度を大幅に削減（１ビット！化）して小型化したもの。”
yarumato
“何が嬉しいのか？ 推論用途ではメモリ容量で十数分の１に小型化できると同時に、複雑で消費電力の多い浮動小数点演算回路＝GPUを大幅に削減できる。スマホや組み込み機器でChatGPTレベルのAIを単独動作の可能性”
sugawara1991
エンコードのコストは重いままでもデコードが軽くなることが有用なのは既存の技術で何度も見てきた。ハードウェアの利点は依然としてあるのでGPUや組込デバイスに1.58bit処理が統合されたりしていくと思う
natu3kan
ローカルでAIできるサービスは老人の話し相手とか見守りロボット作りやすいのでかいよな。高齢者になると急な心筋梗塞とか脳溢血で倒れても、家族いなくて発見が遅れて孤独死とかあるからなあ。
kei_1010
「一方、推論用のGPUへのニーズが相対的には減るので、NVIDIA社のようなGPUメーカーのビジネスにとっては逆風となりかねない」だよね？そうだよね？空売りした俺大勝利だよね？ね？(株をやったらあかん人)
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になってい... 2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
2024/03/02 リンク