はてなブックマーク

はじめに 7月に理研によりスパコン「富岳」をAWS上で仮想化した「バーチャル富岳」が公開されました。 会社でハッカソンのイベントがあったので、社内のエンジニアと共にこれを構築して何か独自計算してみようと思いました。しかし、私はスパコン初心者。理研のシンプルなドキュメントではスムーズな導入が出来ず、2日間のハッカソンが終わった時点で、サンプルアプリを動かすまでしか出来ませんでした。 この記事は、サンプルを動かすまでを振り返って「バーチャル富岳」の構築方法を整理したものになります。 使用する主要なサービスやソフトウェア 構築には、主に以下のようなサービスやソフトウェアを使います。 AWS ParallelCluster https://aws.amazon.com/jp/hpc/parallelcluster/ AWSで高性能計算（HPC）クラスターを簡単に構築・運用できるツール。自動スケーリ

「一時保存や下書きできるようにしたい」といった要望が出てくることがあると思います。世の中のサービスでよくある機能ですしあったら便利だなと思うのも当然です。 同じ要望を受けた当時の私はその大変さに全く気づいていませんでした。 意外と考えることが多いよ、というのが伝わると幸いです。 当初明確になっていた仕様 入力フォームには必須と任意の項目があるが、必須項目が未入力状態でも一時保存できる 入力フォームにはファイルを添付できる 正式データと一時データは同じ一覧ビューの中で両方とも表示させる 一時データはユーザー単位ではなく共有される（誰かが作った一時データは自分も閲覧編集できる） 一時データは正式データに対してひとつのみ存在できる 最終的には上記以外にももっと細かい仕様になったのですが、この後の検討や設計の流れに沿って随時記載していきます。 データの持ち方の方針 方法としては以下二つの案がありま

はじめに NCDC株式会社に入社して4ヶ月が経った。 その中で、先輩エンジニアの技術トレンドを掴む力がすごかったので、自分なりに分析してみました。 なぜそう思ったか 以下は先日のSlackでのやり取りである。 NCDC標準として、Pythonのパッケージ管理ツールに何を選定するかという話題になった。 最近のPJではrye使ってるからryeでいいのでは？と言っているのが自分（考えが浅い）。 今後のトレンドを先読みしてuvも入れようと言っているのが先輩エンジニアである。 何気ない会話かもしれないけれど、自分はuvなんて初めて聞いたし、ryeの開発者のブログを見るなんていう発想は自分には全くないもので驚きだった。 そこで技術選定時の思考の流れを知りたいなと思い、1on1の際に聞いてみた。 技術選定時の思考 一般的な技術選定時の思考ってこんな感じだと思う。（少なくとも自分はこんな感じ） 技術選定を

「AWS CDKの脆弱性が発覚した」というニュース記事が流れてきたのですが、読んでも不安を煽るだけで何を言っているかよく分からない内容でした。 仕方がないので、脆弱性を報告したAqua Security社の記事を読んでみました。 非常に分かりやすくまとめてくれているので、マスコミのよく分からない記事で不安を感じている方は、原文を読むことをお勧めします。 超概要 見つかった脆弱性は、特定の手順を踏んでしまったCDK用のS3バケットを乗っ取れるという内容のようです。 脆弱性の影響の可能性があるアカウントには、2024/10/15 (日本時間だと2024/10/16かもしれない)にAWSから「Missing CDK bootstrap bucket」がタイトルに含まれるメールが送られています。 メールが来てなければセーフです。(今回の脆弱性に対しては)安全です。安心してください。 メールが来てい

はじめに 普段はJavaScriptを主に開発を進めているのでPythonで開発を進めると様々な問題に悩まされます。 その中でもパッケージの管理については個人的に不自由をすごく感じています。Pythonのバージョンを設定するpyenv, プロジェクトごとのパッケージを管理するために仮想環境の構築、さらにパッケージのバージョンを設定するためのrequirements.txtと開発までのハードルが高すぎます。 良い方法がないかと調べていく中で全てを解決できそうなRyeというツールを見つけましたので導入方法をメモ程度に記事にしました。 導入環境はAWSのSageMaker上です。 ライブラリ管理簡単にできるようになったのでLinterとCode Formatterも追加してみました。 Ryeとは RyeはPythonのWebアプリケーションフレームワークFlaskの開発者が作ったPythonパッ

本記事について 最近この本を読んで、実際のプロジェクトで使ってみているところです。試行錯誤の真っ最中です。 良さそうな感触はありつつ、結構大変だな〜と思うところもあったので、体感したみた感想を交えて実際の作成方法も紹介していきます。 『ユースケース駆動開発実践ガイド オブジェクト指向分析からSpringによる実装まで』 また、ユースケース駆動開発（ICONIXプロセス）自体は別の方が紹介してくれているので、本記事では詳細は割愛した上で、詳細設計や実装の話は完全に省き、要求定義〜基本設計までの流れについて書いていきます。 前提 ドキュメントの管理はGithubで行なってます VScodeを使ってMarkdownやdrawioで書いてます ざっくりICONIXプロセス ICONIXプロセスとは、UMLを描きながら、ユースケースを中心に設計していく手法のことです。 以下の手順で行います。 ドメイ

はじめに Pythonで作っているアプリのパッケージ管理にpoetryを使っていたのですが、ryeに変更してみました。この記事はその際のメモになります。 ryeの使い方自体は特に触れませんが、公式ページくらいは貼っておきます。 なぜ、poetryからryeに乗り換えようと思ったか？ pyenvを気にしなくて良くなるので、環境構築の手間が減ると思ったからです。 poetryの場合はPython自体の管理が別途必要なのでpyenvも使っていたのですが、環境構築とかよく分からないエラーが出ることがあり面倒くさいこともあったので、全部まとめて管理できるryeの方が良さそうだなぁと判断して移行してみました。 移行手順 とりあえず不要になるものを消す poetry.lock .venv .python-version poetry.lockは、ryeでは使わないので消します。 .venvは、ryeで作

本記事では、mockitoパッケージを使用したユニットテストについて記載する。 モックを使用しない基本的なユニットテストについては、下記記事に記載しております。 基本的なユニットテストについて確認したい方は、こちらぜひご参照ください。 公式のチュートリアル mockitoを使ったユニットテストについて、上記の公式チュートリアルを基に確認していく。 上記のチュートリアルでは、以下のサンプルコードで、mockitoを使用したユニットテストの挙動が確認できる。 チュートリアルのサンプルコード（コメント詳細に追加 Ver） import 'dart:async'; import 'dart:convert'; import 'package:flutter/material.dart'; import 'package:http/http.dart' as http; // アルバムデータを取得す

(2024/05/01追記) CodeWhispererがAmazon Qに吸収されたみたいです。 今から読む人は、CodeWhispererをAmazon Qに読み替えていただければと思います。 言いたいこと VSCode上でAmazon CodeWhispererに脆弱性診断をさせてGitHub Copilot Chatにその解説をさせると、とても捗るよ。 もう少し細かい説明 GitHub CopilotやAmazon CodeWhispererって何？ GitHub Copilotは、IDE上でAIがコーディングの補完をしてくれるGitHub提供のサービスです。 Amazon CodeWhispererは、IDE上でAIがコーディングの補完をしてくれるAWS提供のサービスです。 つまり競合しています。比較用に両方を使ったことがある人はいても、日常的に同時使用している人は少ないのではな

Amazon QのVSCode拡張のはなし Amazon Qが発表されましたね。ChatGPT的なやつ。 クラメソさんの記事を貼っておきます。 個人的には、日本語にも対応してないしChatGPTで十分では？と思いました。 そう思ったのですが、、、 VSCodeを開いたらAmazon Qの拡張が来てる！！ので試してみました。 単独の拡張機能ではなくAWS Toolkitの中に入っています。 使用するにはAWS Builder IDでログインが必要です。通常のAWSアカウントとは別の開発者向けのIDで、CodeWhispererやCodeCatalystを使ったことがある人以外は持っていないかもしれません。その場合は新規作成しましょう。 使い勝手はCopilot Chatとあまり変わらない感じです。コードを選択して、解説やリファクタやバグ修正をしてくれます。普通にチャットすることもできます。

この記事の趣旨 AWSのインフラを構築できるIaCツールっていろいろありますが、結局どれがいいのかよく分からないので、簡単なサーバレスAPIを作ってみて比較してみようと思いました。 アーキテクチャ Amazon API Gateway + AWS Lambda で、超シンプルなサーバレスAPIを作ります。 作ったもの この記事では作ってみて感じた違いを書いていくので、コードを触りたい人はこちらのGitHubを見てください。 コードが本体ですので、この記事は蛇足です。 今回使ったツール AWS CDK プログラミング言語（TypeScript、Python、Java、C#、など）を使用して、AWSのインフラを構築できるツール Serverless Framework (文字を打つのが面倒なので以下slsと書きます) サーバーレスアプリケーションを開発、デプロイ、および管理するためのオープンソ

会社で使っている某Webサービスを触っていたところ、気づいたのです。 このWebサービスのAPI、認証がかかってないので個人情報を取り放題だと。 正直なところ自分が開発や運用に関わっているサービスでもないので面倒くさいことに巻き込まれたくはないです。登録セキスペに重課金するのを止めた身からすれば改善の協力をする義務も無いですし。でも、放置して「実は以前から知ってました」ということがバレたら色々疑われるじゃないですか。個人だったらまだいいんですけど、会社で使っていたサービスなので放置するのもリスクが大きいと考えました。自社の情報どころか自分の個人情報が漏れる可能性もありますし。 ということで、IPA(独立行政法人情報処理推進機構)に「脆弱性関連情報の届出」をすることにしました。 この記事は、Webサービスの脆弱性を見つけたときはこういう窓口があるよという紹介になります。 IPAの脆弱性関連情

Lambda Web Adapterとは？ 一言で言うと、「様々なWebフレームワークで作られたコンテナで動くWebアプリを、超簡単にLambdaで動かせるようにする」仕組みです。 この、超簡単にというところがポイントで、本当に超簡単です。 具体的には、Webアプリ用のDockerfileに以下の1行追加するだけでLambda Web Adapterが使えるようになります。 COPY --from=public.ecr.aws/awsguru/aws-lambda-adapter:0.7.0 /lambda-adapter /opt/extensions/lambda-adapter 以下の公式のドキュメントに記載のある通り、公式の実装例では以下のフレームワークが例として挙げられているようですが、基本的には任意のWebフレームワークで動作します。 Python : FastAPI, Fla

概要 私は普段、PMとして複数の開発案件のプロジェクトマネジメントをしています。 エンジニアなら実装に、デザイナーならUI作成に、そしてPMならそれらの管理に集中できるようタスクの作り方や管理方法を日々模索しているわけですが、調べてみても「具体的なタスクの作り方のベストプラクティス」があまり出回ってない印象です。 本記事では自分がどのようにタスク管理しているかを具体的に紹介してみようと思います。 前提 ソースコードはGithubで管理しています 実装タスクは Github issue と Projects機能 で管理しています Beta版のタスクリスト機能を使ってissue同士の紐付けを行なっています ウォーターフォールでもアジャイルでも使ってます Projects機能 Githubの標準機能で、issueをカンバンやリストで見やすく管理できる機能です。 カスタムフィールドを追加する、独自

主な使い方は２つ。 拡張機能ウインドウで使用。 コードの回答はチャット欄に回答される。 コード上で直接使用。 コードの回答は直接コード上に表示される。 前提条件 GitHub Copilotが導入済みであること。 エディタはVSCodeを使用していること。 使用準備 GitHub Copilot Chatを有効化する GitHubのsettings/copilot/policies から GitHub Copilot Chatを有効化する。 拡張機能の「GitHub Copilot Chat」をインストールする 拡張機能ウインドウで使用 チャット形式なので、基本的には質問したい内容を質問すればOK。 コードの回答はチャット欄に回答される。 使用方法 拡張機能をインストールした後、表示されるアイコンを押下するとチャット画面が開く。 表示中のコードを自動的に読み込んだ上で、質問に回答してくれる

以前、テスト全体で使用する環境変数の設定方法について書きました。 今回は、各テストファイルで共通的にモックを用意したい場合と、特定のテストファイルでは使用しないための設定を書きます。 やりたいこと 各テスト共通的にモックを用意したい 例えばAPIの認可メソッドなど jwtなどからユーザ情報を取得するメソッドはAPIテストの際にはモック化したいので、テスト全体で認可メソッドのモックを作りたい 認可メソッド自体のテストは行いたい 認可メソッドのテストファイルではモックをアンマウントしたい モック化したモジュールが返す中身をテストファイル毎に設定したいときがある やり方 共通的にモックを用意する jestの設定ファイルのsetupFilesまたは、setupFilesAfterEnvオプションを使用します。 モックを用意するファイルを指定します。 setupFiles、setupFilesAft

タイトルの通りです。 私のAzure力がなかったため、当初は所謂ServerlessでWEBアプリを作ろうと考えていたアプリを最終的にContainerで構築した話を書きます。 そもそもサーバレスってなに？ wikipediaによると、、 サーバーレス・コンピューティング（Serverless computing）とは、クラウド・プロバイダーがアプリケーションに必要なマシン・リソースの割り当てを動的に管理し、事前に購入されたことに基づく請求ではなく、各アプリケーション要求を満たすために使用される個々のリソース量に基づいた請求を行うようなクラウド・コンピューティングの実行モデルである。 ざっくり言ってしまうと、AWS LambdaなどのFaasサービスを使って、サーバーをほぼ意識することなくアプリを作ってしまうことですね。 アプリの構成 当初構想 AWS Lambdaに相当するAzureのサ

この記事中の金額は、執筆時のものです。実際に使われる方は、公式をご確認ください。 Azure側の価格改定や価格レートの変動により、金額が実際と乖離している可能性があります。 はじめに Azure WebAppsとAzure Application Gatewayを連携させます。 下記のマインドで書きます。 Azureは世の中の情報が少なすぎるので、少しでも情報を残したい。 VMを立ち上げて自力でサーバー構築とか今どきのクラウドでやることではないので、モダンな方法でアプリを構築したい。 しかし、Azureでサーバレスはあり得ないレベルで難易度が高いので死ねる。 なので、間を取って(?)コンテナで開発する。 シリーズもの第2回です。 第1回はこちら この記事でやること 前回の記事で、Azure WebAppsを使いWebアプリを公開しました。公開されたアプリケーションは直接インターネットに晒さ

UMLとか構成図とかの図を描くの何のツールを使えばいいか迷いませんか？私は迷います。 ですので、最近使っているツールを紹介します。 世の中にツールがイロイロあるのは理解した上で、大量に紹介するとやっぱり迷うので、似たようなツールや個人的に使わないツールはバッサリ省いています。 パワポで描く まずはPowerPointです。 エンジニアや技術系の方は「パワポで図を描くのはちょっと、、、」と思われるかも知れませんが、状況によってありだと思っています。 パワポのメリット パワポは、ビジネスユーザーならほぼ誰でも使える システムを作る時に、お客さん側も含めた関わるメンバー全員がITに詳しいとは限りません。しかしそういう人にもシステムに対する理解は最低限していただく必要があります。システム構成図とか特に興味がない人に説明するときに「新しいツールをいれてください」というのはハードルが高いです。 パワポ

この記事中の金額は、執筆時のものです。実際に使われる方は、公式をご確認ください。 Azure側の価格改定や価格レートの変動により、金額が実際と乖離している可能性があります。 はじめに Azureで比較的モダンなアーキテクチャでWebアプリを公開します。 下記のマインドで書きます。 Azureは世の中の情報が少なすぎるので、少しでも情報を残したい。 VMを立ち上げて自力でサーバー構築とか今どきのクラウドでやることではないので、モダンな方法でアプリを構築したい。 しかし、Azureでサーバレスはあり得ないレベルで難易度が高いので死ねる。 なので、間を取って(?)コンテナで開発する。 シリーズもの第１回になる予定です。 この記事でやること コンテナで作ったWebアプリをAzureで公開します。 最終的に目指すもの 下記の思想で設計しています。 それなりの柔軟性を持たせつつ、それなりのセキュリティ

私が、アプリケーションを開発するときに使うクラウドは主にAWSです。 それなりには使っているので、AWSでシステムを構築する場合どのくらいAWS費用がかかるのかというのは、なんとなく感覚的に大雑把には想像がつきます。 (もちろん、正式な見積もりを出すときは、AWS料金見積りツールを使いますが) 一方で、仕事ではAzureを使う必要もしばしば発生します。 最初は「まぁ、似たようなものだろ」と思って使っていたのですが、AWSとはサービスごとの費用感が結構違うので戸惑いました。 この記事は、そんな愚痴が半分、みんなも気をつけようという趣旨が半分で書きます。 AzureはAWSより安いのか。。。？ Azureのホームページによるとこう書いてあります。 Windows Server と SQL Server 向けでは、AWS は Azure と比べて 5 倍のコストがかかります。どちらを選ぶべきかは