気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
RWKVを論文と実装から読み解く
RWKVとは 昨今GPTをはじめとしたtransformerベースの大規模言語モデルが流行しています．transformerの... RWKVとは 昨今GPTをはじめとしたtransformerベースの大規模言語モデルが流行しています．transformerの重要な要素であるSelf-Attentionは，長距離の依存関係を学習するできるというメリットがある一方で，シーケンス内のすべての要素と他のすべての要素との依存関係を計算するために，計算量とメモリ使用量がシーケンス長の二乗（つまり、トークンの数の二乗）に比例してしまうという問題があります． 一方でRNNベースのモデルは，メモリと計算要件の面で線形にスケールしますが、並列化と拡張性の制限からtransformerと同等の性能を達成することが困難です． そこで，transformerの効率的な並列学習と，RNNの効率的な推論の両方を兼ね備えたモデルとしてRWKV（Receptance Weighted Key Value）という新たなモデルアーキテクチャーが提案されまし
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
2023/06/08 リンク