はてなキーワード: csvとは
blastmailを触ってみたけど、インターフェースが使いづらい
Mailchimp、Brevo (旧Sendinblue) も同じく
WiLL Mail、配配メール → 公式サイトに料金が掲載されてない、問い合わせしないと料金が分からないとか無理
やりたいこと
理想的にはSubstackくらいのインターフェースがいい 海外サービスでも可
私はExcelおじさんだ。
往々にそうであるように、ちょっとした好意と、悪ノリだったと思う。
個人が勝手に作ったツールなんか、存在しないほうがいいと思う。
しかし、私が作らなくてもだれかが作るんだと思う。
あるいは、誰も作らずにExcel音痴たちが延々と苦しむかで、便利なシステムが導入されることはないと思う。
ChatGPTによってとってかわられるかと言えば、たぶんそうはならない。
Excel音痴たちは、データを整理できないのかわかってないし、そもそもどうしたいかを分かってないからだ。
要件定義ができないんだから、外部に作ってもらうことも、AIに頼ることも無理だ。
糞みたいな仕事
私は、統計解析おじさんでもある。
これも、なんでそうなったのかわからない。
「統計的に有意であった」とか「統計的に有意ではなかった」みたいな錦の御旗がほしいという悩みに答えて、データをこねくり回す。
統計的に有意であったとかそうでかったかなど、帰無仮説の立て方次第だとコミュニケーションを取ろうと努力するが、「結局どうなの？」
と、私の今までの説明を全く理解してない質問が飛んできて、頭を悩ませるのだが、可能な限り、欲しい答えに近い回答が出るように結果を返す。改ざんじゃないし嘘ではないけれど、ペテンだ。
やめたほうがいい。
AIに代わってもらえないかと期待するが、たぶんAIは、本人もなにが言いたいのかなにがしたいのかわからない問題に解答はしてくれないだろう。
弊社、分析機器は機器が吐き出すデータを専用ソフトで解析してレポートをするようなものが多い。
で、メーカーが潰れたり、製品が廃盤になったりして、ソフトが更新されず、x64 では使えないみたいな糞なことがしばしば起きる。
しらない拡張子でも、たいがいは中身はzipで、csvやバイナリーファイルの詰め合わせで、そこから専用ソフトと同じ数字が出るようにアルゴリズムをリバースエンジニアリングする。AIのおかげでコーディングが楽だ。でも、たぶん私以外にできない仕事だ。
しかし、これも、やめたほうがいい。なんで、メーカー非公式のアプリを作って、私個人が契約してるサーバーにデプロイして、みな会社のデータを無断でアップロードして分析するのか。アウトだろう。
メールに添付ファイルでExcelのファイルのアンケートが送りつけられ、そこに書き込んで返信して、それを集計するというアンケートが取られたりする。かなり偉い、役員クラスが一斉メールで数百人にメールして、それを集計したりするから頭が下がる。
だれもが、タイプライターの代わりにしかパソコンを使えない変な会社なので、私みたいな、40代にもなって部下なしの平社員がこんなことをしてる。コンプラ的にも長期的にもよくないし、人事評価という意味でも評価されない。
偉い人はExcelも統計処理もアプリも理解できないので、どれだけ便利なのかもわかってない。
マイナスにもならない。コンプラ的にどう問題なのかも偉い人は理解できない。
Chat GPTがいくら賢かろうと、偉い人たちは、報告書の言葉尻にケチをつけたり、パワポのフォントに口を出したり、Excelのセルを結合したりするのが仕事だと思って邁進し続けるんだろう。
最近、私は無能の烙印が押され、本業が干されているので、こういう糞みたいな雑用が増えてる。
PythonやVBAを操ったところで、それでIT関連に転職できるはずがない。40代未経験で雇ってもらえというのか。
RもPythonも、身内の統計解析をどんだけしたところで、これが職歴として評価される見向きもされないだろう。
医療系ならSASでも使わなきゃ、ビジネス系ならtableauとかSPSSを実務で使わなきゃ話にならない。
簿記や会計の知識が必要であったり、サーバーにデータベースを構築したりしたって、誰が評価してくれるというのだ。
まあ、仕事はやめるんだけど。
法人はしらんけど、個人に関してはある程度同意。特にリーマンで還付申請とか。
：自分の例；医療費控除で、保険分と自費診療分を申請したいとき、以前は
→自費診療分がある場合、一旦保険分のCSVを書き出して、税務署のエクセルフォーマットに書き換えて、自費診療分を追記して提出
（しかもマイナポータルから出てくるCSVと、税務署のXLS書式がまったく違うので（縦横すら違う）、全部配列を手打ちで直さないといけない）
→去年 保険分（自動入力）に、追加分（税務署からダウンロードしたエクセルに記載した自費診療分）のエクセルを追加で読み込ませるだけでいい。
が…毎年やってないので、「ま、マイナポータルから医療費のCSVが出せなくなってる！」ってパニクった。
ラクになってはいるが、ラクになったのだと気がつくまで、やり方が変わるとパニクるから、それはそれで毎年勉強しないといけないことに変わりはない。
その時点でだいぶ振り落とされる人は多そう。
あとスマホでマイナンバーカード読ますのはリードエラー多くてやっとれん。
たまたまNTT製のICカードリーダー（別の目的で購入したけど使えずに放置してたもの）があったからPCで出来て助かったけど。
前は使えていたノーブランドのカードリーダーは弾かれた（Linuxドライバで動くやつ）
まあ、先は長いな…
レベル2：数式が組める
レベル3：Ctrl+S、Alt→E→L などのショートカットが使える
レベル4：フィルタ設定、ウィンドウ枠の固定、入力規則が使える
レベル5：VLOOKUPが使える(INDEX MATCHでも可。絶対参照と相対参照が分かる)
レベル6：条件式が組める
レベル7：データ形式が分かる(Excelのお節介機能を黙らせてCSVファイルを正しく開ける)
レベル8：Excelについて質問されるほどの知見/信用がある
レベル9：依頼側の要件を聞き、譲渡可能な(作成者に依存しない)Excelファイルを作成できる
たとえば ↓
https://www.launchexcel.com/what-jobs-use-excel/
https://www.fdmgroup.com/news-insights/advanced-excel-skills
ジャップランドで起こりがちなことはアメリカでは無いのかAIちゃんに尋ねてみたらこう言ってたよ
ワイ： 質問: 2024年において、アメリカの大企業および中小企業の間で、より一般的なデータ管理の方法はなんですか？ 検索して最新のトレンドを教えてください。 - 方法A:内部データベースからCSVファイルとしてデータをダウンロードし、Excelで修正してから、
ETLツール（例：Informatica PowerCenter、Talend Open Studio）、BIツール（例：Tableau Prep、Microsoft Power Query）、
または他のデータベース（例：OracleDB）などの他のシステムにインポートする。 - 方法B:Excelのステップをスキップし、内部データベースを他のシステムに直接接続する。 - 方法C:レガシーシステムや複雑なシステムには方法Aを使用し、その他のシステムには方法Bを使用する。状況やシステム要件に応じて使い分ける。 質問のポイント: - 大企業におけるExcelの使用:大企業はデータクリーニングのためにExcelを使用するのを完全にやめましたか？それとも、古いメインフレームシステム、ERPシステム、または特定の業務プロセスの問題のためにまだ使用されていますか？ - 方法A、B、Cのシナリオ:各方法の具体的なシナリオと製品名を教えてください。 - 2024年におけるCSVファイルのダウンロード:2024年現在、ETL/BIツールやクラウドベースのDWHを利用できないどころか、Oracle Gatewayなどの接続手段も利用できないデータベースの使用は完全になくなりましたか？
もしそのようなデータベースが2024年にもまだ存在する場合、直接的なデータ連携が困難なため、CSVファイルでのデータ抽出が唯一の方法となることがあります。
企業は膨大なコストがかかるために移行を延期していますか？それともすでに段階的に対応していますか？ - Excelを使い続ける理由: 内部データベースを他のシステムに直接接続した方がシンプルなのに、なぜ一部の企業はデータクリーニングのためにExcelを使い続けているのですか？
↓
2024年には、大企業の間でメソッドB（直接接続）へのシフトが顕著になっています。しかし、特定のシナリオに応じてメソッドC（ハイブリッドアプローチ）も採用されています。中小企業においても、直接接続の利便性と効率性が認識され、その採用が徐々に増加しています。しかし、リソースとコストの制約により、Excelを使用したデータクリーニングやハイブリッドアプローチが依然として一般的です。
使用状況: この方法は、中小企業、レガシーシステム、複雑なデータ構造を含むシナリオで依然として一般的です。Excelはその柔軟性と使いやすさから、データ操作のための多用途ツールとして広く使用されています。
シナリオ:
製品:
具体的なシナリオ:
使用状況: この方法は、大企業や技術に精通した中小企業の間でますます一般的になっています。直接接続を利用することで、データワークフローが効率化され、手動エラーが減少します。
シナリオ:
製品:
具体的なシナリオ:
使用状況: 多くの企業が、レガシーシステムや複雑なシステムにはメソッドAを、その他のシステムにはメソッドBを使用するハイブリッドアプローチを採用しています。この柔軟性により、既存の制約と近代化の努力をバランスさせることができます。
シナリオ:
製品:
具体的なシナリオ:
データ管理ツールの進歩にもかかわらず、Excelは大企業におけるデータクリーニングと操作のために広く使用されています。これは主に以下の理由によります：
ETL/BIツールやクラウドベースのDWHと直接統合できないシステムに対して、データをCSVファイルとしてダウンロードすることは依然として一般的です。企業は高コストと複雑さのために移行を遅らせることが多く、段階的に対処しています。
しかし、直接接続はより効率的で広く採用されており、長期的にはデータ管理におけるExcelへの依存が減少すると予想されます。
クラウドベースのデータ統合ソリューションの台頭により、データ収集、クリーニング、統合がAI/ML技術によって自動化され、手動作業が減少し、データの一貫性と精度が向上しています。AI/MLアルゴリズムは、異常検出、欠損値の補完、パターン認識などのタスクを効率的に処理し、データ品質を向上させます。リアルタイムデータ分析の利点が明らかになるにつれ、直接接続の採用が増加し、より迅速かつ正確なビジネス意思決定が可能になります。
データセキュリティ、コンプライアンス、およびデータガバナンスの重要性が増すにつれ、このトレンドは続くと予想されます。
今話題になってるニコニコ動画の個人情報流出の件、Xでもかなり話題になっていたこともあり、普段は見ない掲示板サイトのログまで漁って流れを追っていました。
その中でダークウェブから落としたと思われるcsvファイルが公開されており、僕も興味本位でこっそり中身を覗いてみました。
結果、csvデータに僕の本名、口座情報、町名までの住所が見事に含まれていました。
……うーん。
おそらく去年の夏頃始まった楽曲収益化サービスの加入に伴って、個人情報を提供したことが原因だと思います。
表題の通り僕は底辺ボカロPなので、今の段階で楽曲収益化サービスでもらっている金額は100円にも満たない物なんですが、
たった数十円と引き換えに、個人情報をばらまかれたのかなと思うとちょっとしんどいものがあります。
全ての元凶はハッカーですし、今更ニコニコを叩いてもどうにもならないし、
大した実績もないのに楽曲収益化サービスに加入したのも、リスク管理が甘かったのも僕の責任であることは分かっているのですが……。
正直今後ニコニコが復旧したところでまた使いたいとは思わないし、こんなリスクを冒すくらいならボカロPやめようかとまで思います。
ところで、掲示板のログを見ているとやはりほとんどの人が興味を持っているのはVTuberや配信者の個人情報なんですよね。
もちろん今回の場合は情報に興味を示されず一切スルーされるのが最善なのですが、有象無象の名前の羅列の中にもひとりひとり命のあるクリエイターがいることは忘れないでいただきたいです。
僕だって底辺ボカロPと自虐こそしていますが、一応ひとりのクリエイターではあります。そして無名の人間なら個人情報晒されても問題ないなんてことは決してありません。
そんなわけなのでボカロPの皆様はどうかお気をつけください。いまさら何を気をつけるんだって話だけど。
ボカコレに参加した方で楽曲収益化サービスに加入している方は結構いるかと思いますが、すでに個人情報流出しまっていると思った方がいいです。
それで、上司にデモを見せる。上司がモデルが失敗する細かい条件を見つけ出し「ダメだよ君ぃ、こんなものをTrueにしちゃうようじゃ」と言う。
これは不毛なやり方である。いつまで経ってもモデルにOKサインが出なくなる。
当方、高卒（出席と成績足りなくて春休み全日補習で卒業）でエクセルとアクセスを独学で勉強して
中小で事務員兼社内IT雑務担当くらいのポジションでやってるんだけど。
普通に名前聞く大学出てる2，3年目の子でもxlsxとxlsmとcsvの違いわかってなかったりして驚く
SUM以外の関数全く分かりません、数式のトレースも無理です、解像度よくわかりません、メールの設定できません、スクリーショット撮れませんとかざらにいるレベルで大学ってそんな感じでも卒業できるんだなぁってなってる。
いろんなアプリケーションのメンテ(バグ取りとか細かい機能追加とか)を何度か経験してきた。
主にテキストファイルとかCSVファイルとかExcelファイルとかを入出力するものばかりだったんだが、その大半がファイルの拡張子をグローバル変数化していた。
こんな感じ
const TxtFileExt = ".txt"; const CsvFileExt = ".csv"; const ExelFileExt = ".xlsx";
outFileName = 〇〇 + ×× + "ABCDEFG" + TxtFileExt;
みたいな指定をしなきゃならない。
あと、プログラム言語の標準的なメソッドのあらゆる引数も全部変数で定義されてて、そのまま渡すのは禁止、みたいな規約になってる。
たとえば引数が三種類(true、false(未指定時のデフォルト値)、任意の数値(ただし当該プログラムでは0、10、25以外指定不可))しかないやつはこんな感じ。
const 〇〇ParamTrue = true; const 〇〇ParamFalse = false; const 〇〇ParamIntMin = 0; const 〇〇ParamIntMid = 10; const 〇〇ParamIntMax = 25;
const charCodeSJIS = "Shift_JIS"; const charCodeUtf8 = "UTF-8";
以前関わった改修内容に「××の処理は開始時と終了時にそれぞれUTF-8(BOMなし)形式でログを出力する」みたいなのがあって、普通に文字コード指定する部分に「UTF-8」で直に書いたら、規約に従ってないからとコードレビューで指摘されて差し戻されたんだけど、そもそもこういう規約って何の意味があるの？
分析ツールを作って、様々な凝った統計情報を表示したいと思ったことはないだろうか。
ロジスティック回帰でモデリングして係数表示をしたり、決定木を視覚化したり、相関の行列をヒートマップで表示したりと、いろいろなことができる。
しかしいざツールを作ってみると、「そんな分析は必要ない」と叱責されてしまうのである。これは一体どういうことなのか。
それは開発に近い人の考える「分析」とビジネスに近いところにいる人の「分析」が、メンタルモデルからして全然違うのである。
ドメインに近いところにいる人たちは、もっと基本的な統計を要求するだろう。
収益の推移だったり、アイテムが特定の属性のユーザーにクリックされる確率だったり、特定の条件に合致するアイテムの単価の分布だったりと、そういうものだ。
開発者がやるべきことは、csvファイルをアイテムに対する特定の検索条件・グルーピング条件などで出力してダウンロードさせることだ。
勤め先の給料以外に副業で50万〜200万程度の雑収入があり、今まで確定申告が必要であると認識してなかったのだが、今年は一応理解して、過去5年分をまとめて申告＆納付してみた。
「脱税で何らかの処分を食らうのかな」「やったことないからめんどくさいあ」と思って躊躇してたんだけど、大したことはなかったようだ。
https://www.e-tax.nta.go.jp/toiawase/qa/kanbenka/25.htm#tabs_2