気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
905 usersがブックマーク
30
GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ
905 users
toukei-lab.com
記事へのコメント30件
- 注目コメント
- 新着コメント
nemoba
教師ありの一つ目が間違ってるね。あと、GPT-2は、単純なスケールアップ以外にも、In-context Learningによる精度向上を目指してる。これが今のプロンプトエンジニアリング笑に繋がってる。でも、良い資料
shunkeen
“「英語に翻訳して」という文章の後に確率的に近づく言葉をつないでいったら翻訳タスク的なことができるようになった”／In-context Learning。UI/UXの変化もさることながら、Vicunaを見るとRLHFが欠かせない技術にも感じる。
blueboy
（単に）量の拡大が質の変化をもたらした、というわけではない。量の拡大がそのまま性能の向上に結びつくように、システムを変更した（RNN からTransformerにした)。その意義は情報圧縮をなくしたこと。 https://x.gd/1HJgc
zkq
難しくてよくわからんが、教師データを作成するために途上国の人が低賃金で働かされているって話もあったが、それがファインチューニングで不要になったのか。ここにどれほどのものが詰まっているのかが肝になりそう
grocio
教示なし学習でどうして翻訳ができるのかがわからなかったけど、次のサイトがすごくわかりやすい。逆翻訳を噛ませることがミソらしい。https://deeplearning.hatenablog.com/entry/unsupervised_machine_translation
dlive1
GPTとはGenerative Pretrained Transformerの略であり、Transformerをベースにした事前学習生成モデル.GPT-3.5にあたるChatGPTの登場で多くの人が触れるインターフェースになり広く普及
yarumato
“Transformer(2017)→GPT-1(2018)→GPT-2(2019)→GPT-3(2020)までは一般ユーザーが利用できるUI不在。GPT-3.5にあたるChatGPT(2022)の登場でUI提供、広く普及。”
nemoba
教師ありの一つ目が間違ってるね。あと、GPT-2は、単純なスケールアップ以外にも、In-context Learningによる精度向上を目指してる。これが今のプロンプトエンジニアリング笑に繋がってる。でも、良い資料
zkq
難しくてよくわからんが、教師データを作成するために途上国の人が低賃金で働かされているって話もあったが、それがファインチューニングで不要になったのか。ここにどれほどのものが詰まっているのかが肝になりそう
blueboy
（単に）量の拡大が質の変化をもたらした、というわけではない。量の拡大がそのまま性能の向上に結びつくように、システムを変更した（RNN からTransformerにした)。その意義は情報圧縮をなくしたこと。 https://x.gd/1HJgc
shunkeen
“「英語に翻訳して」という文章の後に確率的に近づく言葉をつないでいったら翻訳タスク的なことができるようになった”／In-context Learning。UI/UXの変化もさることながら、Vicunaを見るとRLHFが欠かせない技術にも感じる。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ
当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめて... 当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマたん(@statistics1012)です！ この記事では最近のAIブームの火付け役になったGPTシリーズについて簡単にまとめていきたいと思います。
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
2023/04/06 リンク