タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
AI Lab AutoMLチームの芝田です (GitHub: @c-bata)。 ハイパーパラメーター最適化は、機械学習モデルがその性能を発揮するために重要なプロセスの1つです。Pythonのハイパーパラメーター最適化ライブラリとして有名な Optuna [1] は、様々な最適化アルゴリズムに対応しつつも、使いやすく設計的にも優れたソフトウェアです。本記事ではOptunaの内部実装についてソフトウェア的な側面を中心に解説します。 Optunaの内部実装を理解するためには、主要コンポーネントの役割と全体の動作の流れを押さえる必要があります。しかしOptunaの開発は活発で、コード量も多くなり、全体の流れをコードから読み取ることは難しくなってきました。そこで今回Minitunaという小さなプログラムを用意しました。Minitunaには全部で3つのversionがあり、それぞれ100行、200行
事業開発部の @himkt です．好きなニューラルネットは BiLSTM-CRF です． 普段はクックパッドアプリのつくれぽ検索機能の開発チームで自然言語処理をしています． 本稿では，レシピテキストからの料理用語抽出システム nerman について紹介します． nerman の由来は ner (固有表現抽出 = Named Entity Recognition) + man (する太郎) です． クックパッドに投稿されたレシピから料理に関する用語を自動抽出するシステムであり，AllenNLP と Optuna を組み合わせて作られています． （コードについてすべてを説明するのは難しいため，実際のコードを簡略化している箇所があります） 料理用語の自動抽出 料理レシピには様々な料理用語が出現します． 食材や調理器具はもちろん，調理動作や食材の分量なども料理用語とみなせます． 「切る」という調理
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。中村氏は、Hydra・MLflow・Optunaを組み合わせたハイパーパラメーター管理について発表しました。 ふだんは音声合成と声質変換技術などの音声を用いる技術を研究 中村泰貴氏（以下、中村）：「HydraとMLflowとOptunaの組み合わせで手軽に始めるハイパーパラメータ管理」というタイトルで、東京大学大学院情報理工学系研究科の修士課程2年の中村が発表します。 軽く自己紹介ですが、先ほど述べたように情報理工学系研究科の、猿渡・小山研究室の修士課程2年です。音声合成に関する技術をふだん研究しています。「Twitter」をやっているので、ぜひフォロー
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。Yamazaki氏は、Optunaの開発のきっかけ、歴史、そして概要について発表をしました。全2回。後半は、コードの書き方とリリースや互換性に対する考えについて。前回はこちら。 「Optuna」ではどのようなコードを書くのか Hiroyuki Vincent Yamazaki氏：では、コードをちょっと見てみましょう。 まず、Optunaのインストールですが、pipもしくはcondaでサクッと入るのがいいかなと思います。Optunaはpure Pythonなので、難しいコンパイラーのセットアップは一切必要ありません。簡単にインストールできると思います。 O
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。Yamazaki氏は、Optunaの開発のきっかけ、歴史、そして概要について発表をしました。全2回。前半は、Optuna開発の理由と、概要について。 社内用として開発され、毎日2万回ダウンロードされるまで成長した「Optuna」 Hiroyuki Vincent Yamazaki氏：Optunaの開発をしています、Yamazakiです。ふだんは、Preferred Networksというところでエンジニアをしています。今日は「Optuna」の紹介をします。 今回はMeetupの1回目なので、Optunaの基本的なところで、どういった問題を解いているかと、
はじめに 従来のフレームワークにおける課題 Optunaの設計思想 optunaの理論 Define-by-run APIの理論と実装 サンプリングアルゴリズムの理論 効率的な枝刈り（Pruning）メカニズム 分散最適化の理論とアーキテクチャ ストレージバックエンド トライアルの同期と非同期実行 実際のユースケースと性能評価 ベンチマーク評価の理論的枠組み TPEとCMA-ESの組み合わせによる性能向上 実世界での応用例 システムの拡張性と実装の詳細 カスタムサンプラーの実装 カスタム枝刈り手法の実装 実装上の最適化とパフォーマンスチューニング データベースアクセスの最適化 メモリ使用量の最適化 並列処理の効率化 ハイパーパラメータ探索の最適化 実践的な使用方法とベストプラクティス 探索空間の設計 目的関数の設計 計算リソースの最適配分 実装例 高度な機能とカスタマイズ マルチ目的最適化
株式会社Preferred Networks（本社：東京都千代田区、代表取締役 最高経営責任者：西川徹、プリファードネットワークス、以下、PFN）は、2020年1月にPFNが公開したオープンソースの機械学習向けハイパーパラメータ自動最適化フレームワーク「Optuna™（オプチュナ）」のメジャーアップデート版であるOptuna v2.0を公開しました。 Optuna v2.0の主要な新機能は以下の通りです。 ハイパーパラメータの重要度評価 最適化対象のアルゴリズムに対する各ハイパーパラメータの重要度を定量的に評価。研究者や開発者は、この重要度をもとに、最も影響の大きいハイパーパラメータの調整に集中することができます。 Hyperbandによる枝刈り 深層学習と高い親和性を示し安定的な最適化性能を発揮するHyperbandによる枝刈りを実装。エポックごとの精度など、中間結果から見込みのないハイ
本記事はアルバイトとして勤務されている加藤大地さんによる寄稿です。 はじめに Python 3.13 より、PEP 703 で提案された free threading が実験的にサポートされるようになりました。これまで、Python（厳密にはCPython）のインタプリタでは、global interpreter lock (GIL) という機構によって、同時刻において1つのスレッドしか実行できないようになっており、これによってスレッドセーフであることを保証していました。しかし、3.13 で導入された free threading により、複数のスレッドが同時に実行できるようになったことで、実行時間の短縮が見込まれます。 その一方、C-APIにいくつかの後方互換性のない変更が加わったことで、一部のC拡張モジュールがfree threading モードでは正しく動作しなくなる可能性があり、p
We are pleased to announce the second major version of Optuna, a hyperparameter optimization (HPO) framework in Python, is now available on PyPI and conda-forge. See the release notes on GitHub for the list of changes. Starting from January this year when the first major version was released, we have seen tremendous effort from the community in terms of pull requests, issues, use cases beyond the
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Scala アプリケーションのビルドを改善してデプロイ時間を 1/4 にした話 | How I improved the build of my Scala application and reduced deployment time by 4x
社内の勉強会等で発表した内容を改変したものです。 MOVの「お客様探索ナビ」にOptunaを用いたハイパーパラメータチューニングを組み込んだ経緯、実際のチューニングフロー、コードベースでの解説、実験評価について、Optunaのチュートリアルを交えつつまとめました。 タイトルに分散とありますがKFP上の話なので厳密には並列です。Read less
FacebookXHatenaPocketCopy 先日リリースされたOptuna 3.4にPreferential Optimizationという機能がついに入りました！ このPreferential OptimizationはOptunaとOptuna Dashboardによって、複数のtrialの出力のうちどれがよいかを人が判断して入力し、最適化していく機能です。 この機能がどういうときにうれしいかというと、コーヒーの味の良し悪しのような主観的な評価でしか評価できないとき、二つを比べてどちらがいいのかという評価で最適化を実行することができます。 以前書いたOptunaを使ったおいしいコーヒーの淹れ方を探索するときにはレシピごとに絶対評価のスコアをつける必要がありました。この絶対評価をつけるのがやっかいで、全体を通して矛盾のない評価を人がするのはかなり難しいと考えています。一方、Pre
はじめに 年末年始の休みに入ってすでに4日目。休みでやろうと思ったことが一通り終わってしまいました。今日からいつも行っているカフェが休みだし、暇すぎ・・・ということで、勢いに任せてOptunaでコーヒーの淹れ方の最適化始めました。 はじめようと思い立ったのが今日なので、全然データがないですが、Google Colabで作ったサンプルコードもあげておきます。 https://github.com/shu65/coffee-tuning/blob/main/coffee_tuning_blog%E7%94%A8.ipynb Optunaとは？ Optunaは機械学習などで必要になるハイパーパラメータの最適化を自動で行ってくれるオープンソースのフレームワークです。個人的に気に入っている特徴としては、従来からハイパーパラメータ最適化を自動でやってくれるものはいくつかありますが、OptunaはDef
この記事は、電気情報通信学会会誌に寄稿した解説記事「Optunaで始めるハイパパラメータ最適化」の転載です。この記事のパワーアップ版ともいえる書籍「Optunaによるブラックボックス最適化」が2月21日に出版されます。Optuna開発チームのメンバーが、Optunaについてより詳しく、よりわかりやすく説明し、より豊富な事例を紹介していますので、ぜひ予約して発売日からお読みください！ 出典 柳瀬利彦, Optunaで始めるハイパパラメータ最適化, 電子情報通信学会誌 Vol.104 No.7 pp.728-733 2021年7月 ©電子情報通信学会2021 Abstract 機械学習アルゴリズムの性能を引き出すためには，ハイパパラメータをデータやタスクに応じて適切に調整する必要がある．本稿では，その自動的な調整のためのツールとして，オープンソースのハイパパラメータ最適化フレームワークであるO
機械学習で用いるハイパーパラメータ管理には，主に二つの方法が考えられる． argparseを用いてコマンドラインからハイパーパラメータを設定 設定ファイルを用いた管理ありがちなハイパーパラメータ管理の例argparseを用いてハイパーパラメータを管理する場合，コマンドラインから直接変更できるのが便利だが，往々にして設定するハイパーパラメータが膨大になる．また，設定ファイルに記述することでハイパーパラメータを管理する場合，ハイパーパラメータの変更の度に設定ファイルを修正しなければならない． 効果的なハイパーパラメータの値を決定したい場合，複数のハイパーパラメータの試行錯誤が面倒であるだけでなく，候補となるハイパーパラメータ数に応じて設定ファイルの修正が生じ，膨大な結果の保存 & 比較が困難になる． こうした問題点は，Hydra+MLflow(tm)+Optunaにより解決できる． Hydra
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。鈴木氏は、物質の結晶構造の解析におけるOptunaの活用について発表しました。全2回。後半は、Optunaを採用した理由と検証の結果について。前回はこちら 鈴木雄太氏（以下、鈴木）：具体的なコードの一例を示したいと思います。ちなみにこのコードは公開しているので、もしよかったら見てみてください。Optuna Examplesからもリンクを貼ってもらっています。 このObjectiveの中ですが、マシンラーニングを見慣れない方は、マシンラーニングのハイパーパラメーターも見慣れない感じかと思います。 例えば、シグナルのバックグラウンドの下に、シグナルとは別に信号
AI Labの芝田です (GitHub: @c-bata)。 以前、Optunaによる最適化結果を手軽に確認できるWebダッシュボードを開発・公開しました。公開からすでに半年以上が経過し、現在は公式に利用を推奨されるようになりました。Google Summer of Codeなどを通してcontributorやcommitterも増えつつある一方で、設計や実装に関しては資料を残してきませんでした（※1）。本記事ではダッシュボードの紹介をするとともに、開発に興味がある方向けに開発に役立つ情報をまとめておきます。 GitHub: https://github.com/optuna/optuna-dashboard optuna-dashboardとは？ optuna-dashboardはOptunaによるハイパーパラメータの最適化結果をWebブラウザ上で簡単に確認できるツールです（※2）。
上記の結果で重要な点の1つは、Trial数を10倍にした際にRust版 Optuna実装の実行時間は約10倍で済んでいるのに対して、Optunaの実行時間は50-100倍にまで伸びてしまっている点です。この原因はOptunaが提供するいくつかの便利な機能に起因しています。Optunaでは利便性と速度低下のバランスを慎重に判断して開発を進めていますが、多くのユーザーにとっての利便性を追求した結果、一部のユーザーにとってこのような速度低下を招いてしまっているのも事実です。 Rust版 Optuna実装は高速化により重きを置いています。速度に大幅な改善がなければ存在意義がなくなってしまうからです。互換性を重視してOptunaの設計や機能に合わせすぎてしまうと高速化に限界が生じてしまうため、enqueue_trial()のような一部の機能については導入を慎重に判断しています。 “基本的に” 同じA
機械学習モデルのハイパーパラメーターの最適化の為に作られたベイズ最適化packageであるoptunaの使い方を調べたのでまとめます optunaには何ができるか ベイズ最適化の中でも新しい手法であるTPEを用いた最適化をやってくれます。シングルプロセスで手軽に使う事もできますし、多数のマシンで並列に学習する事もできます。並列処理を行う場合はデータベース上にoptunaファイルを作成して複数マシンから参照する事でこれを実現しますので、当該DBにアクセスできるマシンすべてが学習に参加できるのが素晴らしいところです。optunaファイルがあれば途中再開も出来ますのでお盆に会社が停電になって連休明けに再開するような場合にも安心です。 公式チュートリアル https://optuna.readthedocs.io/en/stable/tutorial/first.html APIリファレンス ht
機械学習において、モデルのハイパーパラメータの調整は非常に大事です。 大事なんですが、手動で行うと、時間も手間もすごくかかりますよね。 ここでは、ハイパーパラメータを効率的に調整するOptunaについてご紹介するとともに、Pythonでの具体的な実装方法をご説明します。 Optunaとは 日本のPrefferdNetworks社が開発した、ハイパーパラメータの自動最適化フレームワークです。 Optunaは、ベイズ最適化を実装することで、パラメータの探索を効率的に行うことができます。 ベイズ最適化は、確率統計の理論の一つです。 具体的には、目的関数の値を評価するために、パラメータの値をサンプリングして目的関数の値を取得し、その値を元にパラメータの推定値を更新するというプロセスを繰り返します。このプロセスによって、より良いパラメータの候補が見つけていきます。 簡単に言うと、試行錯誤をしながら、
以前 optuna-dashboard というWebツールを開発・公開しました。 もともと Goptuna のために実装したReact.js + TypeScript製のSPAのWebツールでしたが、Optunaでも使えるようにしたところ、周りでも使ってるよという声をいただくことが増えてきて、公式に利用が推奨されるようになりました。 Optuna v2.7.0 released, with new tutorials, examples, and code improvements! @c_bata_ has fully redesigned the dashboard. Try out the new version with `pip install optuna-dashboard` and then `optuna-dashboard $STORAGE_URL`!https://t
はじめに こんにちは。AI技術開発部 MLエンジニアリング第1グループの築山です。 以前、社内でOptunaとKubeflow Pipelines（以下KFP）を用いて並列ハイパーパラメータチューニングを行い、とあるプロダクト（後述する『お客様探索ナビ』の経路推薦システム）のパラメータに適用する機会がありました。 その際は社内向け勉強会のためにスライドをまとめ、以下のツイートとともにSlideShareで公開しており、多少の反響もいただいていました。 https://twitter.com/2kyym/status/1256147262738018304?s=20 そのスライドがOptunaの開発者の方の目に留まり、「テックブログを書いて欲しい」と打診をいただき、今回執筆している次第です。 公開済みスライドと被る部分もありますが、基本的には 今回のユースケースOptunaとKFPの紹介・チ
ScikitAllStars: 主要なscikit-learnの教師あり機械学習法を全部OptunaでチューニングしてスタッキングまでやっちゃうツールPython機械学習scikit-learnStackingOptuna 教師あり機械学習法はたくさんありますが、scikit-learn に入ってるもののうち主なものを全部使って、optunaでハイパーパラメーターチューニングして、できたモデルをさらにstackingしてしまうという一連の作業をまとめて行うライブラリ ScikitAllStars を作りました。 なぜこんなツールを作ったかって？めんどいからです。 また、ScikitAllStars の特徴として、教師あり機械学習が「回帰問題」なのか「分類問題」なのかという違いをほとんど意識せずに使えるというところもあります。 以下のコードは全て Google Colaboratory 上で
Optuna Meetup #1 での発表資料です。
IT Leaders トップ ＞ テクノロジー一覧 ＞ AI ＞ 新製品・サービス ＞ ディープラーニングのパラメータを自動調整するライブラリ「Optuna v2.0」、パラメータの重要度を定量評価─PFN AI AI記事一覧へ [新製品・サービス] ディープラーニングのパラメータを自動調整するライブラリ「Optuna v2.0」、パラメータの重要度を定量評価─PFN 2020年7月29日(水)日川 佳三（IT Leaders編集部） リスト Preferred Networks（PFN）は2020年7月29日、ディープラーニング（深層学習）のパラメータを自動で調整するライブラリ「Optuna（オプチュナ）」の新バージョン「Optuna v2.0」を公開した。新版では、ハイパーパラメータの重要度を定量的に評価できるようにした。 Optunaは、ディープラーニングの各種のパラメータを自動で調
はじめに Optunaの新しいバージョン3.4では、新たにJupyter Lab拡張とVS Code拡張が公開・アナウンスされました。これらの拡張機能を利用することで、Optuna DashboardをJupyter LabやVS Code内で起動し、最適化履歴をより手軽に確認できます。 本記事ではこれらの拡張機能がどのように実装されているのか、その仕組みを解説します。Optuna Dashboardの開発に興味を持ってくださっている方に限らず、Jupyter Lab拡張やVS Code拡張を開発しようとしている方のお役に立てば幸いです。 Jupyter Lab拡張の仕組み Optuna Dashboardは次の図に示すように、PythonのBottleフレームワークで書かれたサーバープログラムと、Reactで書かれたシングルページアプリケーションからなります。 このプログラムをJupyt
Optuna meetup #1 で使用した資料です．
Kaggleで学ぶ、Optunaによるハイパーパラメーター自動チューニング：僕たちのKaggle挑戦記 Kaggle公式「機械学習」入門／中級講座の次は、本稿で紹介する動画シリーズで学ぶのがオススメ。記事を前中後編に分け、中編ではOptunaを使ったハイパーパラメーターの自動チューニングを試した体験を共有します。
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。芝田氏は、ハイパーパラメーター最適化に関連するライブラリである「CMA Evolution Strategy（CMA-ES）」について紹介しました。全2記事。前半は、CMA-ESの概要と使いどころについて。 ハイパーパラメーター最適化に関連するライブラリを作成 芝田将氏（以下、芝田）：それでは発表を始めます。最初に、簡単に自己紹介をします。サイバーエージェントという会社の「AI Lab」という研究組織に所属しています。OSSの開発では「Optuna」のコミッターで、ほかにはKubernetes上でマシンラーニングのシステムを運用するプラットフォーム「Ku
ハイパーパラメータ自動最適化フレームワークOptunaの新しいバージョンであるv3.4がリリースされました。今回のリリースには、ユーザーの相対的な評価結果をもとに最適化を行う新機能 “Preferential Optimization” や、ファイル管理機構、Jupyter Lab拡張、VS Code拡張が含まれています。 ✨ハイライト機能 選好に基づく最適化 (Preferential Optimization) 今回のリリースでは、選好に基づく最適化 (Preferential Optimization)が導入されました。この機能は、画像生成や音声合成、自然言語生成タスクのように、生成物の定量的な評価が難しく、人間が主観的な評価をつける必要があるタスクにおいて特に有用です。 Optuna 3.2においてサポートされたHuman-in-the-Loop最適化では、絶対評価のみが可能となっ
はじめに ブラックボックス最適化フレームワークOptunaの最新バージョンであるv3.6をリリースしました。今回のリリースには、様々な新機能やリファクタリング、バグ修正が含まれています。このブログではv3.6のハイライトと多くの機能改善についてお伝えします。 TL;DR Wilcoxon Pruner、軽量なガウス過程ベースのSampler、 PED-ANOVA重要度評価器等の様々な新しいアルゴリズムのサポート FrozenTrialの検証ロジックの厳密化、 Dashboardのリファクタリング、 Integrationの移行などOptunaの品質に関わる様々な改善を実施 Wilcoxon Pruner Optuna v3.5以前では、Prunerは典型的な機械学習のハイパーパラメータ最適化を想定して作られていました。そのような問題では、学習曲線を見て悪いパラメータを早期終了することができ
ハイパーパラメータの自動最適化フレームワークである Optuna は目的関数を書くと自動で最適なハイパーパラメータを探索してくれます． 基本的にはアルゴリズムに任せるのが良いですが，ユーザー側でパラメータをいじるなど変なことをしようとすると少々面倒なのでまとめておきます． 使用環境は Python 3.9.16 Optuna 3.1.0 例：LightGBM モデルのハイパーパラメータ調整（探索のターゲットや数値は適当です） import optuna import lightgbm as lgb from sklearn.model_selection import train_test_split # データ読み込み train_X = pd.read_pickle("../data/train_X.pkl").values train_y = pd.read_pickle("../d
パラメータの探索範囲の例 また、目的関数とは、指定されたパラメータで学習した結果の精度を返す関数となります。 では、コーヒーの淹れ方の場合はパラメータに対応するものと、目的関数をどうすればよいでしょうか？ 後ほど詳しく紹介しますが、今回はパラメータとして豆の量やお湯の温度など、コーヒーの淹れ方で重要なものをパラメータとして扱います。探索範囲は各パラメータ毎に基準とした値を中心にして現実的な範囲で広げたものを利用します。 また、目的関数ですが、実際に提案されたパラメータに基づいて自分でいれて、おいしかったかどうかを自分で1-10点で評価して返すという人力のものを利用します。 現在のコーヒーの入れる環境 使う道具によってパラメータとして扱えるものが変化するので、使う道具についても紹介します。 今回は以下の道具で淹れるとして紹介しています。 ミル： ポーレックス コーヒーミル･Ⅱ (調節ねじのク
This post uses pytorch-lightning v0.6.0 (PyTorch v1.3.1)and optuna v1.1.0. PyTorch Lightning + Optuna!Optuna is a hyperparameter optimization framework applicable to machine learning frameworks and black-box optimization solvers. PyTorch Lightning provides a lightweight PyTorch wrapper for better scaling with less code. Combining the two of them allows for automatic tuning of hyperparameters to fi
2020.1.31 Optunaからも使えるCMA Evolution Strategyの実装を公開しました。 Covariance Matrix Adaptation Evolution Strategy (CMA-ES)は、ブラックボックス最適化において最も有望な手法の1つです。CMA-ESはハイパーパラメータ最適化にも使われていて [1, 2]、近年では、ハイパーパラメータ最適化においても、評価回数が許容できる場合や並列化環境がある場合には、ベイズ最適化を上回る性能を示すことが報告されています[6]。 CMA-ESをPythonで実装しGitHubで公開したのでその使い方や性能について紹介します。Optunaからも利用できるようになっているのでぜひハイパーパラメータの最適化に使ってみてください。 URL: cmaes: Lightweight Covariance Matrix Ad
はじめに AutoSamplerは、状況に応じてOptunaに実装されているものの中からSamplerを自動で選択し、解の探索を行います。ユーザは、下記のコード例のようにAutoSamplerを使用するだけで、最適化アルゴリズムの使い分けを意識することなく、Optunaのデフォルトと比較して同等かそれ以上の最適化パフォーマンスを得ることができます。 study = optuna.create_study( sampler=optunahub.load_module( "samplers/auto_sampler" ).AutoSampler() # 内部でアルゴリズムを自動選択 ) 本記事では、OptunaHubで10月31日に公開されたAutoSamplerについて、「なぜ最適化アルゴリズムの使い分けが必要なのか」といった背景やSamplerの自動選択ルールの設計方針について共有し、その
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。尾崎氏は、Optunaにおける多目的最適化について発表をしました。 普段はAutoMLとブラックボックス最適化を研究 尾崎嘉彦氏：尾崎です。今日はOptunaによる多目的最適化について紹介したいと思います。 簡単に自己紹介します。尾崎です。グリー株式会社と、産総研（産業技術総合研究所）の人工知能研究センターで研究開発職をしています。 最近の研究は、Multiobjective Tree-structured Parzen Estimator、Optunaにも入っているMOTPEという最適化手法の提案や、Optunaを使った自動結晶構造解析です。それから「
今回はハイパパラメータチューニングを自動化するOptunaを触りながら紹介していきます。 Optuna BayesianOptimizationのかゆいところ Optunaを用いた実装 1変数関数の最適化 分散最適化 scikit-learnの最適化 まとめ Optuna 勾配ブースティング木やニューラルネットワークなどのハイパパラメータチューニングは職人芸みたいなところがあって、一発で最適に近い値をマークするなどほぼ不可能です。かと言って、グリッドサーチなどで探索しようにもパラメータ数が多いと計算時間が膨大になります。 こうした実質ブラックボックスのパラメータチューニングを、ベイズ最適化で行ってくれるPythonライブラリが Optuna です。 preferred.jp これら↓の記事が大変参考になります。 tech.preferred.jp PyData.Tokyo Meetup #
This post uses tensorflow v2.1 and optuna v1.1.0. TensorFlow + Optuna!Optuna is a hyperparameter optimization framework applicable to machine learning frameworks and black-box optimization solvers. TensorFlow is Google’s open source platform for machine learning, with a deep ecosystem of tools, libraries and community resources. Let’s see how they can work together! Creating the Objective Function
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く