この内容は金明哲さんの「テキストアナリティクスの基礎と実践」のRでの実装をpythonで書き換えながら読んでいくものです。 提供されているデータは、すでに形態素解析されてある程度集計されたデータとなります。 説明が不十分であること、参考書通りの解析ができているわけではないことはご了承ください。 詳しくは本を読んでいただければと思います。 前回 テキストの特徴分析 4. トピック分析 4.1 トピックモデルとは テキストにおける名詞は文章の主題や内容から大きく影響を受けるため、人による読みを経なくても、語句を集計したデータから、テキストの話題を推定できる可能性がある。 テキストをテキスト内に出現する毒と頻度によってのみ捉えるという点で、主成分分析や対応分析、潜在意味解析の手法と変わらないが、 線形代数の行列分解をベースとした方法では、高次元データの場合にデータの内在構造を十分に理解できない可
2021年11月18日にOpenAIが「GPT-3」のウェイティングリストを解除すると発表しました。 これにより申請すれば誰でもGPT-3のAPIを使用できるようになります。 ということで、GPT-3 ... ただ、上記の記事でも紹介していますが、日本語に特化したモデルではなく、やっぱり日本語で生活している人にとっては日本語のGPTが欲しくなりますね。 そこで、13億パラメータを持つGPT-2のモデルを日本語で学習して、公開してくれたのがこの「rinna」社です。 ということで今回は、この日本語GPT-2を触ってみたいと思います。 なお、今回はモデルの説明は一切ありませんので、詳細についてはこちらの記事を参照していただければと思います。 GPT ... 『【論文解説】OpenAI 「GPT」を理解する』 一番仕組みを詳しく解説しています。GPT-2 ... 『【論文解説】OpenAI 「G
「人は見た目が9割」という書籍がありました。 残酷かもしれませんが、それが現実です。 そして、そのことがデータ分析にもあてはまるのかもしれません。 今は、データ分析が一部の人のモノだけではなくなりました。 その結果、データ分析結果をありとあらゆるところで目にします。 そうなってくると、「データ分析は見た目が9割」もあながち間違ってはいないかもしれません。 どんなにいいデータ分析でも、見た目が悪いと見られないということです。 逆に、見た目が良いなら、大したデータ分析でなくても見られることになります。 今回に紹介するdtreevizは、そんな現状だからこそ開発されたのかもしれません。 データ分析の専門家たちが、既存の決定木のダサさに業を煮やして自分たちで作ってしまったのです。 本記事の内容 dtreevizとは？dtreevizのシステム要件dtreevizのインストールdtreevizの動作
はじめに 本書は，筆者が長年書き溜めた様々な実務的な最適化問題についてまとめたものである． 本書は，Jupyter Laboで記述されたものを自動的に変換したものであり，以下のサポートページで公開している． コードも一部公開しているが，ソースコードを保管した Github 自体はプライベートである． 本を購入した人は，サポートページで公開していないプログラムを 圧縮ファイル でダウンロードすることができる． ダウンロードしたファイルの解凍パスワードは<本に記述>である． 作者のページ My HP 本書のサポートページ Support Page 出版社のページ Pythonによる実務で役立つ最適化問題100+ (1) ―グラフ理論と組合せ最適化への招待― Pythonによる実務で役立つ最適化問題100+ (2) ―割当・施設配置・在庫最適化・巡回セールスマン― Pythonによる実務で役立つ
こんばんは、エンジニアの眠れない夜です。 ここではGoogleCloudPlatformのCloudStorageにPythonからファイルをアップロード・ダウンローする方法をご紹介します。 分かってしまえばなんて事のない事なのですが、なかなかファイルのアップロードとダウンロードができなくて何時間も費やしてしまいました。 このブログを読んでくださる方は5分もあればCloudStorage（クラウドストレージ）にファイルの保存、取得ができるようになります。 CloudStorage（クラウドストレージ）の概要 クラウドストレージにアクセスするにはサービス アカウントというクラウドストレージにアクセスするためのアカウントとバケット（ストレージ）を作成します。 作成したアカウントの認証キーを使って認証を行います。 あとはストレージにPythonプログラムからアクセス実行するだけ。 という3ステッ
東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門 東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip
以下の記事を参考に書いてます。サンプルは「GiNZA」で日本語対応してます。 ・spaCy 101: Everything you need to know 1. spaCy とは？「spaCy」は、Pythonの自然言語処理ライブラリです。プロダクト用に設計されており、大量のテキストの処理および理解を行うアプリの構築に役立ちます。「情報抽出」「自然言語理解」「深層学習のテキストの前処理」に使用できます。 2. spaCy ではないもの◎ spaCyはWebサービスではありません。 Webサービスではなく、NLPアプリを構築するために設計されたライブラリです。 ◎ spaCyはチャットボットエンジンではありません。 会話型アプリの強化にも利用できますが、チャットボット用に設計されたものではなく、テキスト処理機能のみを提供します。 ◎ spaCyは研究用のソフトウェアではありません。 最新の
プログラムを作ってみたは良いけれど、想定していたよりもパフォーマンスが出ないという事態はよくある。 そんなときはパフォーマンス・チューニングをするわけだけど、それにはまず測定が必要になる。 具体的に何を測定するかというと、プログラムの中のどこがボトルネックになっているかという点だ。 この測定の作業は一般にプロファイリングと呼ばれる。 プロファイリングにはふたつの種類がある。 ひとつ目は今回紹介する profile/cProfile モジュールが採用している決定論的プロファイリング。 そして、もうひとつが統計的プロファイリングだ。 決定論的プロファイリングでは、プログラムが実行されていく過程を逐一記録していく。 そのため、時間のかかっている処理を正確に把握することができる。 ただし、測定自体がプログラムに与える影響 (プローブ・エフェクト) も大きくなる。 それに対し統計的プロファイリングで
変数xが変数yに影響を与えるなど、向きが明確な場合は矢印（有向エッジ）を用います。一方、因果はあるけど、向きが分からない場合は線のみ（無向エッジ）で結合します。 ここでいう変数（青●）をノード、矢印をエッジと呼ぶこともあります。グラフ関連の用語については、以下の記事で紹介しています。 PyTorch GeometricでGraph Neural Network（GNN）入門グラフニューラルネットワーク(GNN：graph neural network)とグラフ畳込みネットワーク(GCN：graph convolutional network)について勉強したので、内容をまとめました。PyTorch Geometricを使ったノード分類のソースコードも公開しています。... 循環グラフとは 下図のように、あるノード（変数zなど）を起点としたとき、巡り巡って変数zに戻ってくるグラフのことを循環
RDBを操作する際には、SQL文の組み立てが発生します。自前で文字列操作を駆使してSQL文を組み立てると、バグやセキュリティホールの温床となりかねません。 今回はMySQL Connector/Pythonからお行儀よくSQLを投げる方法を紹介します。 事前準備:MySQL Connector/Python のインストール MySQL Connector/Python のインストールは次の記事を参照して下さい。 MySQL Connector/Python 2.1をAmazon Linuxにインストールする 今回は 2.1.6 を利用します (非推奨)自前でSQLを組み立てる ナイーブにSQL文を自分で組み立て、データベースに投げてみましょう import mysql.connector config = { 'user': 'USER', 'password': 'PASSWORD',
分類問題のなかには、ラベル0が90％、ラベル1が10％といったデータが不均衡のケースが存在します。特段の工夫をせずに分類モデルを生成すると少数派の分類精度の低いモデルになることが知られています。分類モデルの目的が多数派の識別であれば深刻な問題にならないのですが、こうした不均衡データを取り扱う場合は、少数派データの識別が目的のケースが多いので、工夫が必要とされます。 本論は、過去の研究によって提案されている方法のうち、1）アンダーサンプリング、2）オーバーサンプリング、3）コスト関数のカスタマイズについての実装結果とその効果について報告します。 #アンダーサンプリング アンダーサンプリングとは、少数派のデータ件数に合うように多数派データからランダムに抽出する方法です。この方法の良いところは直感的でわかりやすいことでしょう。 多数派のデータからのリサンプリングは、DataFrameであればsa
先月下旬にネット記事で「PyCaret」という機械学習のモデル設計・評価を迅速にできる「無償ライブラリ」があると知りました。PyCaretはシンプルさ、使いやすさ、低コード環境で市民データサイエンティストに「機械学習」を提供する目的でMoez Ali氏により作られたもので、Jupyter NotebookやGoogle Colab等の推奨アプリで動かすものです。 前処理の欠損値の補完、カテゴリカルデータの変換、複数の機械学習モデルの比較、評価、ハイパーパラメータの調整など、すべてを自動化してくれるとのことです。そんなことができて、「無償」なんて、ホンマかいな、とんでもないことだなと思ったのが素直な感想です。超高額で個人ユーザには到底手が出ない「Data○obot」みたいなことを、この無償ライブラリはしてくれるんだなぁと感動を覚えつつ、GWの長い外出しない休みを利用して、PyCaretのWe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く