この記事はAI校正Shodo Advent Calendar 2024 20日目の記事です。 はじめに 以前にも紹介した Click ですが、テスト機能も提供しておりとても便利に使用できます。 今回はそんな Click の提供しているテスト機能の CliRunner を実際に使ってみる記事です。 前回の Click の記事 nnsnodnb.hatenablog.jp はじめに 前回の Click の記事 とりあえずデモ見せろ サンプル 環境 アプリケーションコード テストコード ちょっと深堀り アプリケーションコード テストコード 最後に とりあえずデモ見せろ 以前紹介したとおり、 zenproducts/shodo-python で Click を使用しており、 CliRunner によるテストも実装しています。 サンプル 環境 Python 3.13.1 Click 8.1.7 py

この記事は、技術同人誌/技術を取り巻く様々な執筆 - Qiita Advent Calendar 2024 - Qiitaの16日目です。 ChatGPTやClaudeなど（以下、LLMと呼ぶ）を使って技術文章を書くというのは、まだまだ発展途上の分野です。「LLMに丸投げすれば楽ができる」という単純な話ではありませんし、逆にLLMを全く使わないのももったいないです。この記事では、筆者が実際に技術同人誌を執筆する中で得た、LLMを活用した効率的な文章作成の具体的なノウハウを解説します。 この記事を読むことで、以下のような知識が得られます。 LLMを活用した効果的な校正・推敲の方法 著者の文体や個性を保ちながらLLMを活用するテクニック 原稿の質を高めつつ執筆時間を短縮するためのプロンプト設計 各種LLMモデルの特性を活かした使い分け方 対象読者は、ブログや技術同人誌を書いている、あるいはこれ

こんにちは、電通総研の金子大地です。 この1年、所属するコミュニケーションIT事業部において、「若手プロジェクトマネージャー（以降「PM」）の育成活動」を行ってきました。その「活動内容」（前編）と「コンテンツ概要」（後編）を学生さん向けに紹介します。 多くの学生さんは、「PM」という言葉を聞いたことがあっても、具体的な仕事内容までは想像できないと思います。また、PMはプロジェクトチーム（多ければ50名以上）の責任者として推進役を担いますが、「そんなことが自分にできるんだろうか」と不安になりませんか。 電通総研には、PMとしてのチャレンジの舞台と、先輩社員をはじめとするサポート体制があります。この記事が、学生のみなさんの「PM」という仕事への理解のとっかかりとなり、不安を軽減し、電通総研でPMをやってみたいかも！と興味を持つきっかけになるとよいなと思います。 また、社会人の方で、電通総研に興

Python には Click という最小限のコードで、構成可能な方法で美しいコマンドラインインターフェースを作成するためのパッケージがあります。*1 有名どころでは black や Flask などが現在使用しています。今知ったんですが、 Click と Flask って同じ Organization が作ってるんですね。 今回は、そんな Click のコマンド実行時の共通処理についてを取り上げます。 余談ですが、私も以前ブログで紹介した2つのプロジェクトにおいて Click を使用しています。もし興味があれば合わせて読んでいただければ幸いです。*2 *3 結論 本題 雑な方法 Click 自体のエラーハンドリング 解決法に向けて 結果 おまけ 結論 この先長くなる可能性があるので最終的な結果を書いておきます。 前提コードは次の本題に書いています。 Click には Group というク

こんにちは、Xイノベーション本部の米久保です。 サンフランシスコで2024年10月29日から30日にかけて開催されたイベントGitHub Universe 2024に合わせて、さまざまな新技術・新機能に関するリリースが10月29日にGitHub社より発表されました。 とくに、GitHub Copilotがマルチモデル対応しAnthropic社のClaude 3.5 SonnetやGoogle社のJemini 1.5 Proなど最新のLLMが使用可能となったこと、自然言語だけで動作可能なマイクロアプリを構築できるツール「GitHub Spark」はSNS上でも大きな話題となりました。 これらと比べると一見インパクトは薄いものの、VS CodeのGitHub Copilotでマルチファイル編集を可能とする「Copilot Edits」はAIコーディング支援によって開発生産性を飛躍的に向上させる

以前、IBM論文の参考コードでTabBERTモデルの事前学習を行い、Fine-Tuningについては自作コードを実装しました。 自作コードで一応Fine-Tuningをできるようになったのですが、　F1スコアなどのメトリクスを計算するだけでも面倒さを感じていました。 事前学習のときと同様にTransformersのTrainerクラスを使えればメトリクスも簡単に出せるのに...といろいろ調べてみたところ、下流タスク用のヘッドをボディ(事前学習済モデル)に付加したものについても、普通にTrainerクラスが使えることがわかりました。 そんなわけで、今回は以前の自作コードをTrainerクラスを使ってリファクタリングしました。 また、今回のリファクタリングのついでに、WandBの導入やオーバーサンプリング処理の追加も行ったので、最後の方におまけで書いています。 実装 ポイントとなる部分だけ書き

Amazon Web Services ブログ 独自設計チップ AWS Trainium 搭載 Amazon EC2 Trn1 インスタンスで ML トレーニングを高速実行（実践編） こんにちは！アマゾン ウェブ サービス ジャパン合同会社 アンナプルナラボの常世です。 2022 年 10 月 10 日に一般提供開始した Amazon EC2 Trn1 インスタンスはもうお試し頂けましたでしょうか？ 本ブログは、「独自設計チップ AWS Trainium 搭載 Amazon EC2 Trn1 インスタンスで ML トレーニングを高速実行（基礎編）」の続編です。まだご覧になってない方は是非「基礎編」をご一読下さい。 基礎編では Trn1 インスタンスと AWS 自身が開発した Trn1 インスタンスの心臓部とも言える第二世代の ML 専用チップ AWS Trainium を紹介しました。本ブ

こんにちは。Google CloudでオブザーバビリティやSREを担当していたエンジニアです。明日でこう名乗るのは最後になります。明日、2024年10月31日付でGoogleを退職します。 pic.twitter.com/dS3WOVCQBj— Yoshi Yamaguchi (@ymotongpoo) 2024年10月30日 かしこまった挨拶 Googleに入社してから10年目までの話は次の記事で一旦まとめているので、改めて振り返ることはしません。 ymotongpoo.hatenablog.com 上の記事を書いたのは新型コロナ禍真っ只中で、カンファレンスなどもみなオンラインばかりで、人とのつながりがなかなか難しくなったころでした。その後、ワクチン開発や発症後の処置方法の確立、新型コロナウイルスの5類感染症への移行などがあり、オンラインからオフラインへの移行が再び起こりました。Goog

PR TIMESのプレスリリース入稿、記事作成の画面にShodoのAI校正をご導入いただきました。 Shodoを活用した曜日の校正、語尾の統一、二重否定や特定商標・差別語などの検出、誤字・脱字・変換ミスの検出機能などがPR TIMESの新しいエディターで動作します。 PR TIMES「広報発表の精度を高める、曜日間違いや語尾統一などプレスリリース文に特化」 こちらがプレスリリースの引用になります。 株式会社PR TIMES（東京都港区、代表取締役：山口拓己、東証プライム：3922）は、2024年9月12日（木）、運営するプレスリリース配信サービス「PR TIMES」のプレスリリース入稿(作成)時の校正機能をアップデートいたしました。 これまで搭載していた校正機能と比べ、UI（ユーザーインターフェイス）を大幅に使いやすくした上、曜日の間違いや語尾の統一などのプレスリリースの文章を整えることに

こんにちは。コーポレート本部 サイバーセキュリティ推進部の耿です。 2024/6に Amazon Inspector が GitHub Actions でのコンテナイメージスキャンをサポートしたとのアナウンスがありました。コンテナイメージの脆弱性スキャンに既にTrivyを利用している方も多いと思いますが、別の選択肢として Inspector によるスキャンを試してみました。 また、実はコンテナイメージのスキャンだけではなく、言語パッケージのバージョンファイルやDockerfileを静的解析することも可能のため、それもやってみました。 仕組み アクションを紐解く リポジトリ内のファイルをスキャンする場合 試してみた サマリページの結果 CSV形式の検出結果 JSON形式の検出結果 Markdown形式の検出結果 脆弱性が検出されなかった場合 コンテナイメージをスキャンする場合 サマリページの

こんにちは。X（クロス）イノベーション本部 ソフトウェアデザインセンター セキュリティグループの耿です。 AWS WAF は簡単に Web アプリに WAF を追加でき、かつ値段も他の WAF 製品より安いため、好きな AWS サービスの一つです。そんな AWS WAF ですがしばらく構築・運用し、これを最初から知っておけば・・・と思ったことがあるので 8つご紹介します。 AWS WAF の基本については分かっている前提で、特に説明はいたしません。また2023年10月現在の最新バージョンである、いわゆる「AWS WAF v2」を対象としています。 その1: AWS マネージドルールのボディサイズ制限が厳しい その2: ファイルアップロードが AWS マネージドルールの XSS に引っかかることがある その3: マネージドルールにはバージョンがある その4: CloudWatch Logs

「AIの校正ってどれぐらい使えるんだろう？」 「どのAIツールがいいんだろう？」 と思う方も多いと思います。 そこで以下のAIを使って文章校正の精度を検証してみました。 ・ Copilot（Microsoft） ・ ChatGPT-4 と 3.5（OpenAI） ・ Gemini（Google） ただこれらのツールは、校正専用のツールではないので、比較対象のために「SHODO（ショド―）」（AI校正ツール_無料版）、「Wordの文章校正機能」も加えています。さらに、「Just RIGHT!7 Pro（有料版）」も加えて検証しています。 ▼ 以下の7つでの検証です。 1.  Copilot（Microsoft） 2.  ChatGPT-4（OpenAI） 3.  ChatGPT-3.5（OpenAI） 4.  Gemini（Google） 5.  SHODO（ZenProducts Inc.

株式会社ゼンプロダクツ（本社：埼玉県朝霞市）はAI校正サービスShodoに、生成AIにより文末を提案する新機能「Shodo Copilot（ショドーコパイロット）」のベータ版を2024年5月31日にリリースしました。Shodo Copilotは、日本語の文章を書く際に、生成AIが文末を予想して補完する執筆支援ツールです。 Shodo Copilotはユーザーが書いた文章の文脈を分析し、生成AIにより文末を提案する新機能です。2020年から同社により提供されている誤字脱字や二重敬語をチェックするAI校正の機能だけでなく、Shodo Copilotを併用することで文章やプレスリリースの執筆の負荷を大幅に削減できます。とくに日本語は結論を文末に置くため、AIの力を借りることで文章の流れをスムーズにする効果を期待できます。 Shodo Copilotを有効にすると、Shodo上で日本語の文を書いて

タイトルの元ネタ はじめに レギュレーション タイトルで煽らない かしこまった見出しもつけない ウィッシュリストのせない 東亜飯店張らない fromとtoを両方書く 転職活動 タイトル回収 雑談 職場崩壊を暴露しない キラキラしない 無職期間の支出額 OGP 画像 最後に タイトルの元ネタ www.tv-tokyo.co.jp 2024年春のアニメです。確か SPY×FAMILY 放送中に少年ジャンプ＋の CM とかで流れてアニメ化されたので気になって観ています。 はじめに はい。転職？就職？エントリーです。 退職するけどどう生きるか - 『入る学科間違えた高専生』の日記 よろしくお願いします😌 https://t.co/kxZfW6sMk1— 小泉ひやかし🌻無職 (@nnsnodnb) 2023年7月26日 2023年7月末に退職エントリーを放流し、約1ヶ月ほど有給休暇をし同年8月末

テクノ4つ打ちの名曲、アルバムを教えて下さい キックが気持ち良くてアゲアゲな曲を教えて下さい べたですが例えるとunderworldのborn slippyやmoanerのような曲が凄く好 テクノ4つ打ちの名曲、アルバムを教えて下さい キックが気持ち良くてアゲアゲな曲を教えて下さい べたですが例えるとunderworldのborn slippyやmoanerのような曲が凄く好 きです。 あと出来ればそのような曲が多いアーティストも教えて欲しいですお願いします

初めに ISID X（クロス）イノベーション本部 の三浦です。 日に日に生成AIへの依存を深める日々を過ごしています。 今回は、OpenAIのAPI（デフォルトモデルはgpt-3.5-turbo-16kです）を利用したOpenCommitというOSSを使用しましたのでご紹介いたします。 コミットメッセージ生成ツールとなります。 OpenCommitとは？ 公式ページ https://github.com/di-sukharev/opencommit 実行イメージ ChatGPT4による特徴解説 主な特徴は以下のとおりです： AI駆動： OpenCommitは、GPT-3.5ターボまたはGPT-4を使用してコミットメッセージを生成します。 カスタマイズ可能： ユーザーは絵文字の使用やコミット説明の長さをカスタマイズできます。 簡単な使用法： OpenCommitは、ステージングされた変更に対

こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。 今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。 なぜローカル環境でLLMを利用したいのか 大変便利なツールのLLMですが、利用が難しいこともあります。 例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。 最終的にOpenAI

はじめに こんにちは。X（クロス）イノベーション本部 エンタープライズプラットフォームの宇佐美です。 普段は「aiuola（アイウォーラ）」というエンタープライズアプリケーションプラットフォームのデベロッパーとして、既存機能のエンハンスや新規機能の開発等を行っています。 2022年7月に入社し、そこから約1年半が経過しました。 今回は電通総研に入社した経緯と現在の働き方、チーム内で取り組んでいる勉強会についてご紹介します。 転職を考えた経緯 前職はSIerの中小企業で2018年に新卒で入社し、主に製造業や保険業、官公庁系のWebアプリケーションの受託開発が中心でした。 前職での業務もやりがいはありましたが、作業がルーチンワーク化してきたことやより自分の技術力を高められる環境で仕事がしたいという思いを抱くようになりました。 また、受託開発よりもプロダクトの自社開発に興味が湧いたため、そうした