ConvNeXtは、ResNetなどの畳み込みニューラルネットワークで構成されるニューラルネットワークで、SwinTransformerなど最先端のVisionTransformer系モデル並みの性能が出せるというモデルである。 モデル構成 残差ブロックの1層目がカーネルサイズ7x7のDepth…

普段英語のページは、ChromeのGoogle翻訳拡張機能を使って、翻訳して読むことが多い。 英語をそのまま読むのは英語の勉強にもなるのだが、自分の英語力だと辞書引きながらになって読む速度が遅すぎるので、やはりGoogle翻訳が便利である。しかし、Google翻訳…

ほぼ個人メモです。今更ながら生成系のモデルをあまりさわっていなかったので、PyTorchのDCGANのTutorialを試してみた。 DCGAN Tutorial — PyTorch Tutorials 1.12.0+cu102 documentationWindowsだとチュートリアルのソースがそのままでは動かないので、WSL…

以前に、活性化関数を変えると同じデータを学習した場合でも、方策の傾向が変わることを実験で確かめた。現状のdlshogiのモデルでは、活性化関数にSwishを使用していたが、最善手を見つけるのに時間のかかると指摘を受けた以下の局面が、活性化関数をReLUに…

OpenAIが発表したマインクラフトの操作を学習した「Learning to Play Minecraft with Video PreTraining (VPT)」の論文を読んだ際のメモです。 概要 請負業者(フリーランス)に依頼して作成した7000時間分のキーボード・マウス操作のラベル付き動画からIDM(逆…