はてなブックマーク

はじめに 本記事ではMetaflowとMLflowを使った個人開発用MLOpsの方法をご紹介します。 ここ数ヶ月個人で開発しているMLプロジェクトで利用してみて、いろいろなツールがある中で、MetaflowとMLflowの組み合わせが個人開発では最強であることがわかったのでシェアしたいと思います。 個人でMLの研究、開発されている方のご参考になれば幸いです。 Metaflowとは まず、MetaflowはNetflixが開発しているオープンソースライブラリで、機械学習用のワークフローパイプラインの機能を提供してくれます。似たようなツールだと、GoogleのKubeflow Pipeline (KFP)、Kedro、LyftのFlyteなんかがあります。 個人的にMetaflowを個人開発で用いるメリットはMetaflowが他のツールと比較して導入がかなり手軽な点です。設定なども特に難しいも

はじめに エンジニアやデータサイエンティストの人材育成のためのオープンソースな教材を探していたらMicrosoftがGitHubでかなり質の高い教材をweb開発、データサイエンティスト、機械学習、IoTの四項目を対象に提供してるのを発見したため共有したいと思う。 正直、マイクロソフトと聞くとGoogleやらFacebookに比べていけてないイメージを持っていたけど、実際にMicrosoftのGitHubレポジトリを見て、彼らはここ数年で大きく変わったように思える。特に人材育成や学習教材に関しては世界一かもしれないなんて思っています。本記事では筆者が自信を持っておすすめするMicrosoftのオープン教材を紹介するのでぜひ自身の勉強や人材育成に生かしてもらえれば本記事を執筆した甲斐があります。（もちろん僕がお勧めしているだけでなくてGitHubのスター数も多く世界的に認められています！） こ

はじめに 当記事ではProgrammingを始める方や学生でこれからエンジニアを目指されている方々に私がよく紹介しているGitHubのプロジェクトを紹介します。基本英語ベースのプロジェクトですが、どのプロジェクトもきっと皆さんのキャリアにとって役に立つはずです。ぜひお役立ていただければと思います。 また、指導者、教育者側の方々も、教材として参考になるかと思います。 2021/11/14追記 MicrosoftがGitHubで無償で公開している学習教材をまとめました。こちらも合わせてお読みください。 1. Web Developer Roadmap このプロジェクトではWeb Developerになるまでにどのような知識が必要なのかを体型的にまとめてくれています。 これはFrontendのRoadmapの例ですが、以下のようにTopicにつき質問がいくつかあるのでそれに答えられるようになって

はじめに Kubeflowとは何なのか。 どんな知識が必要でどんなメリットがあるの？ エコシステムなんかはどうなっているの？ 現状これらの問いの答えとなるような記事を見つけることができなかったため、本記事を執筆しました。 本記事ではKubeflowとは何なのか。そしてどのようなツールで構成されているのか図を交えながらできる限りわかりやすくまとめました。（本記事で使用している図に関してはご連絡いただければ元データをお送りできます。） MLOps、Kubeflowについての日本語の学習リソースがほとんどないですが、MLOpsの概念や技術が日本で広まる一助になればいいなと思っています。 Kubeflowとは 近年の機械学習の急速な発展に伴って、機械学習を本番運用する機会が増えてくる中、てデータサイエンティストと開発者の連携やモデルのバージョン管理などの課題が重要視されてきています。そんな中で出て

GitOpsはWeaveworks社が提唱し始めたCDの手法です。 GitOpsについてGitLabの公式の記事では以下のように紹介されています。 GitOpsは、バージョン管理、コラボレーション、コンプライアンス、CI/CDなど、アプリケーション開発で使われているDevOpsのベストプラクティスを、インフラの自動化に適用した運用フレームワークです。 参照: https://www.gitlab.jp/blog/2020/09/03/is-gitops-the-next-big-thing-in-automation/ もう少し噛み砕くと、「インフラとアプリケーションの両方を含めたシステム全体のコードをGitを使って管理する」、この考え方や手法がGitOpsの本質です。 GitOpsではGitのバージョン管理システムを用いてインフラの設定ファイル(Infrastructure as Cod

コードの説明を簡単にしていくと、 gin.Default gin.Defaultは*gin.EngineをReturnする関数で、GenではこのEngineを使ってエンドポイントの追加やミドルウェアの登録を行うGinのコア的なやつ。 gin.Engineでは以下のようなメッソドを用いてエンドポイントの登録を行うことになります。 gin.Engine.GET gin.Engine.POST gin.Engine.PUT gin.Engine.DELETE gin.Context GinではContextを用いてリクエストのパラメータやデータにアクセスしたりフォームからPUTされたパラメータにアクセスしたりすることができます。 Contextのコードの中身はこんな感じです。 Contextの理解は非常に重要なので元の確認しておくと理解が深まるでしょう。 type Context struct

この記事について Web開発で１からいい感じのUIを作成しようと骨が折れることが多いですが、世の中にはOSSで簡単にかっこいいUIを作れるライブラリがあります。 本記事では、実際に使ってみてよかったそんな便利なReact UIライブラリをご紹介していきます。 この記事は良さげなライブラリを見つけるたびに不定期更新していきます 「こんなライブラリもあるよ！」という方はコメント欄へ🙏 ちなみにGithubのReactトピックでは面白いプロジェクトが結構見つかるので仕事の合間とかにみています。 UI系 Material UI 言わずもがな最も有名なUIフレームワーク 数年前に比べドキュメントも充実しコミュニティも成熟してきた感があり、サンプルが多いのも魅力的です。 React Boostrap 超有名Web FrameworkのReact版。Material UIや後述のAnt Designよ

この記事はNTTコミュニケーションズ Advent Calendar 2018 の15日目です。 はじめに こんにちは、ozoraminatoと申します。 皆さんは「なろう小説」をご存知でしょうか？ 「なろう小説」というのは、「小説家になろう」（以下「なろう」）というオンラインの小説投稿サイトに投稿されている小説の通称で、「Re:ゼロから始める異世界生活」「ダンジョンに出会いを求めるのは間違っているだろうか」といったアニメ化作品も含んで、その小説の投稿件数は2018年12月現在で60万件以上。 誰でも投稿できる小説投稿サイトなだけあって、その投稿・閲覧は全て無料。もちろん作品の質や傾向はバラバラですが、中にはつい時間を忘れて読みふけってしまうような作品もたくさんあります。 この「なろう」ですが、特徴の一つに「APIを提供している」ということが挙げられます。APIを利用することで、機械的に小