[go: up one dir, main page]
More Web Proxy on the site http://driver.im/
Hatena Blog Tags
はてなブログ トップ
UTF-8
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

UTF-8

(コンピュータ)
【ゆーてぃーえふえいと】

Unicode (or UCS) Transformation Format, 8-bit encoding form.
Unicodeでは Unicode Translation Format-8
ISO/IEC 10646では 8-bit UCS Transformation Format
Unicode、ISO/IEC 10646(UCS)のエンコーディング方法のひとつ。
ASCIIの範囲内にある文字は1バイトに、大抵の漢字や仮名は3バイトにエンコーディングする特徴がある。

RFC 2279で、UCS(Unicodeのコード値)からの変換方法が定義されている。

   UCS-4 range (hex.)           UTF-8 octet sequence (binary)
   0000 0000-0000 007F   0xxxxxxx
   0000 0080-0000 07FF   110xxxxx 10xxxxxx
   0000 0800-0000 FFFF   1110xxxx 10xxxxxx 10xxxxxx
   0001 0000-001F FFFF   11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

   c.f. Invalid sequence
   0020 0000-03FF FFFF   111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
   0400 0000-7FFF FFFF   1111110x 10xxxxxx ... 10xxxxxx

詳しくはRFC 3629を参照してください。

IETFにより、STD番号(STD63)が割り振られている。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Django Girls and Boys 備忘録•2ヶ月前

【メモ帳】メモ帳でファイルを開いた時に文字化けした場合の対応方法

メモ帳でテキストファイルを開くと一部の文字が表示されなかったり文字化けして表示されたりすることがあります。 これは、テキストファイルを作成するときに設定した文字コードとメモ帳で表示する際の文字コードの設定が一致していないために起こるものです。 以下の例では□表示の部分が日本語の文字化け部分です。 文字化けファイル その場合の対応方法は以下のようになります。 １．テキストファイルを開いた時に文字化けする場合の対応方法 対応方法としては、メモ帳の文字コードの設定を変更してからファイルを再度開き、テキストが正しく表示されるか確認するということになります。 メモ帳で上のメニューから「ファイル」を選択し…

#メモ帳#Notepad#文字化け#ファイルを開く#文字コード#エンコード#変更方法#UTF-8#Shift-JIS

関連ブログ

Django Girls and Boys 備忘録•2ヶ月前

【メモ帳】メモ帳でエンコードの変更方法

前回バッチファイルを起動したときに文字化けしていてうまく起動できなかった時にエンコードの変更という内容を記載しました。 そこまでは分かった時にそもそもメモ帳でエンコードの変更はどうすればいいのという話もありますのでその変更方法の紹介になります。 １．メモ帳でのエンコードの変更方法 メモ帳でエンコードを変更する場合は、 ファイル→名前を付けて保存 を開きます。 そうすると、以下のような見慣れた保存用画面が開くと思いますが、 その中のエンコードのプルダウンをクリックします。 ANSI、UTF-8、UTF-16、・・・とありますので変更したいエンコードを選択します。 ちなみに、Shift-JISに変…

#メモ帳#Notepad#エンコード#変更方法#encode#UTF-8#Shift-JIS#ANSI
Django Girls and Boys 備忘録•2ヶ月前

【Windows】バッチファイル(batファイル)を起動したときに文字化けして起動できなかった時の対処方法

最近バッチファイルを起動したときに文字化けしていてうまく起動できないことがありました。 中身を見たところなぜか文字化けしていてという内容でした。 １．今回の内容 なぜかというところは不明なのですが、以下のように日本語の部分が文字化けしていました。 バッチファイル文字化け結果 ２．対応方法 原因は、メモ帳で編集していた時にエンコードがUTF-8になっていたためでした。 エンコードをShift-JIS(ANSI)に変更したところ無事実行することができました。 メモ帳では「ANSI」が「Shift-JIS」に相当します。 以上が、バッチファイルを起動したときに文字化けして起動できなかった時の対処方法…

#バッチファイル#batファイル#bat#文字化け#対応方法#エンコード#UTF-8#Shift-JIS#ANSI
Django Girls and Boys 備忘録•1年前

【Unity Python】ML-Agentsで"There was an error decoding Config file from ./config/sample/RollerBall.yaml. Make sure your file is save using UTF-8"のエラーが表示された時の解決方法

さらにUnityでML-Agentsを使っての学習に向けて前回から続けて行っていたところ再度エラーに遭遇しました。 (adsbygoogle = window.adsbygoogle || []).push({}); １．エラー内容 続いて表示されたエラーは mlagents.trainers.exception.TrainerConfigError: There was an error decoding Config file from ./config/sample/RollerBall.yaml. Make sure your file is save using UTF-8 というも…

#Python#ML-Agents#decding error#UTF-8#エラー#解決方法
無職日記•1年前

無職になって874日目（「〜」の正式名称）

こんにちは、ユースケ・サンタマリオです。 何気なく使っている言葉で、正式名称を知らないものはいくつかあるものです。 例えば「〜」です。 「〜」は「なみなみ」や「なみなみ棒線」など人それぞれ言い方が異なるかと思います。 ですが、実は「〜」にも正式名称があるのです。 「〜」の正式名称を言う前に 「〜」と「～」は違う文字です。 一見似ているように見えますが、 Unicode(UTF-8) へ変換してみると 前者：U+E3809C 後者：U+EFBD9E と異なる文字だと言うことがわかります。 「〜」と「～」の正式名称 「〜」と「～」 前者の「〜」：呼び名は波ダッシュ。またの名を「波線」といい、ダッシ…

#日記#雑学#プログラミング#Unicode#UTF-8
山崎屋の技術メモ•2年前

HTTPリクエストヘッダに日本語を含めたら文字化けして困った。そして解決した話。

HTTPのリクエストヘッダに設定した日本語が文字化けしてハマりました。 事象と原因をメモしておきます。 事象 この記事で紹介している通りに Apache/Tomcat を連携し、 Apache HTTP Server をリバースプロキシとしてTomcatと連携させる - 山崎屋の技術メモこの記事の方法で HTTP リクエストヘッダを追加しました。 Apache HTTP サーバで応答ヘッダ（レスポンスヘッダ）を追加する - 山崎屋の技術メモ Apache HTTP サーバで要求ヘッダ（リクエストヘッダ）を追加する - 山崎屋の技術メモ httpd.conf の抜粋です。文字コードはUTF-8で…

#文字コード
nikkie-ftnextの日記•2年前

あ（U+3042）はどういう規則でb'\xe3\x81\x82'というバイト列に変換される？ UTF-8の変換アルゴリズムを知りました

はじめに うにおん！ならぬ、うにこーど！ nikkieです。 先日ChatGPTがどのように日本語テキストをトークン化するのか覗きました。 トークンのIDから対応するテキストを見ようとPythonのbytesを扱ったわけですが、その中で感じた疑問についてアウトプットです。 目次 はじめに 目次 あ（U+3042）をencodeするとb'\xe3\x81\x82' 続く文字を変換していくと規則性がある 脱線：こんなところでも見かけます jsonでUnicodeコードポイント urllib.parseでバイト列 変換規則：1110 xxxx 10xx xxxx 10xx xxxx 変換規則の適用例…

#Unicode#UTF-8#bytes#変換規則
素肌にサスペンダー•2年前

【Mac】Shift_JISのCSVを一括でUTF-8に変換する方法

手順 1.変換したいCSVファイルを任意のフォルダにまとめて入れる。 2.Terminalをいて、cd {1.の任意のフォルダ}で移動し、以下を実行する mkdir utf8 for file in *.csv; do iconv -f Shift-JIS -t UTF-8 "$file" > "utf8/${file%.csv}.csv" done 3.utf8フォルダが作成され、utf-8に変換されたcsvが保存されている。

#Shift_JIS#UTF-8#ターミナル
Satoの節約＆ソロ活雑記•2年前

【Excel】エクセルで開いたCSVファイルが文字化けした時の直し方

Netflixの視聴履歴を確認したところ、ドラマを含めて1年に400本も動画をクリックしていることに気づいたSatoです。本日は、Excelファイルが文字化けしたときの対処法です。 文字化けしたエクセルファイルの直し方 まとめ 記事紹介 雑記 文字化けしたエクセルファイルの直し方 下記の①、②のどちらか、または両方を行うことで直るはずです。 ［方法１］①ダウンロードしたCSVファイルをメモ帳で開き、上書き保存②Excelで開く ［方法２］①EXCELの「データ」タブの「テキストまたはCSVから」をクリック ②ダウンロードしたCSVファイルを選択、「インポート」をクリック③左上のテキストファイル…

#Excel#エクセル#CSV#文字化け#UTF-8
rokkonet•2年前

各行にテキストファイルパスが書かれたファイルを読み込み、各テキストファイルの文字コードをUTF-8に変換するシェルスクリプト

2023 Feb. 23. 各行にテキストファイルパスが書かれたファイルを読み込み、各テキストファイルの文字コードをUTF-8に変換し、指定ディレクトリに保存するシェルスクリプト convert2utf8withNonUtfFileList.sh LISTFILE DESTDIR LISTFILE is a textFile with filePath in each line. コード参照先 https://bitbucket.org/arsmus/shell-script-public/src/master/text-file/convert2utf8withNonUtfFileList.…

#文字コード#UTF-8#テキストファイル#シェルスクリプト
arms inc. Engineers' Blog•5時間前

【フロントエンド初心者向け】microCMSを使ってお知らせ一覧を作ってみた！

こんにちは、ユアサです。 先日初めてmicroCMSを触り、APIで内容を取得してお知らせ記事を作成しました。今回の記事ではその自習の内容の応用として、管理画面でお知らせ記事を作成した後、その内容を一覧表示するページを作成していこうと思います。 今回はあくまでもmicroCMS公式のチュートリアルの内容を参考にして作成するので、あらかじめmicroCMSの「Getting Started（ブラウザ）」ページの内容を終えている前提で進めます。 ↓microCMSの公式ページはこちら microcms.io ↓microCMSのチュートリアル「Getting Started（ブラウザ）」はこちら …

ecbeing labs（イーシービーイング・ラボ）•6時間前

JWTの基本のキ

はじめまして。もしくはお久しぶりです。 製品開発6年目のはっちゃんです。 製品開発部ではメンバーの技術力向上を目的として、さまざまな取り組みを実施しています。 今回は取り組みの1つである「Tech Discovery」の活動の中でJWTについて調べる機会があったので、その内容をまとめようと思います。 Tech Discoveryは部内でメンバーを選抜し、半期で集中的に技術力向上の取り組みをしていただく企画です。 調査・学習だけでなく実践も通じて、未来のecbeingを支えるアーキテクトの育成を目的としています。 自分で学習した内容をアウトプットとして形にすることで、理解が深まり知識としての定着…

Ekasiliconのゴミ捨て場•10時間前

さっくりわかるActivityPub

初めましての方は初めまして。Ekasiliconと申します。さて私は去る2024年5月11日に開催されたUNTIL.LT #0x04に参加させていただきました。 そこにおいて「さっくりわかるActivityPub」というタイトルで10分間のLTをしました。この記事ではどのような話をしたのかをブログの記事という形にして記録していこうかと思います。 タイトル さっくりわかるActivityPub あーすというところに所属しております。Ekasiliconと申します。さて今回私は「さっくりわかるActivityPub」というタイトルでお話をさせていただこうかと思います。 ちょっと前から話題になってい…

Alternative Architecture DOJO•12時間前

GitHub Copilot の Multi-file editを利用して複数ファイルを編集しよう！

こんばんは！しんば@shinbazです！ GitHub Universe 2024 でプレビューが開始されたMulti-file edit機能について、ユースケースや実際の編集画面をご紹介します。 Multi-file editing （複数ファイル編集）機能とは 現時点（2024年12月24日）において、Visual StudioとVisual Studio Codeのみで提供されている、複数ファイルに影響する形でGitHub Copilotにコードを提案させる機能です。 これまでのGitHub Copilotは単一ファイル編集でした これまでのGitHub Copilotは、単一のファイル…

kohheyの備忘録•15時間前

スクリプトの実行アクション(Office Scripts)でできなかったこと

この記事はMicrosoft Power Automate Advent Calendar 2024 シリーズ3 10日目担当分の記事です。 はじめに Power AutoamteのGUIベースの実装だけで要件を満たすのが厳しい時ってありませんか？ そんな時にOffice Scriptsでスクリプト実行すると実現できないかと考えたのですが、できなかったこととその基準が分かったので記事にしようと思います。 ※2024/12/24時点の情報です。 やろうとしたこと M365ライセンスで使えるコネクタのみを使用し、クラウドフローだけでcsvファイルの文字コードをUTF-8に変換→後続の処理につなげて…

Django Girls and Boys 備忘録•19時間前

【Python】PythonでPDFファイルをテキストファイルに変換する方法

PDF（Portable Document Format）は、文書を配布するための一般的なフォーマットですが、PDF内のテキストを抽出して編集したり、他のフォーマットに変換したりすることが必要な場合もあります。 この記事では、Pythonを使ってPDFファイルをテキストファイルに変換する方法を紹介します。使用するライブラリは、「PyMuPDF」（別名 「fitz」）と「PyPDF2」の2つのライブラリです。それぞれのライブラリを使った方法を解説します。 目次 １．必要なライブラリのインストール ２．PyMuPDF（fitz）を使ったPDFからテキストへの変換 処理の流れ ３．PyPDF2を使っ…

ENGINEERING BLOG ドコモ開発者ブログ•1日前

Document Intelligenceを活用したPDFのRAGスターターセット

TL;DR Document Intelligenceを使ってPDFをテキストと画像に分離した。 テキストと画像を別々のデータとして扱わず、画像のリンクをテキストに組み込んでPDFの文脈を維持するようにした。 テキストと画像を用いた簡単なRAGを作成した。 自己紹介 NTTドコモ データプラットフォーム部（以下DP部）藤平です。 NTTドコモでは様々なサービスで機械学習やLLMを取り入れることでサービス価値の向上を目指しています。 データプラットフォーム部（以下DP部）ではこうした技術の適用を含め、全社におけるデータ活用をミッションとしています。 今回執筆いただいた協働者の鶴薗さんとは、DP部…

FURYU Tech Blog - フリュー株式会社•1日前

Tableauに旅行記録を可視化してみた

こちらは フリュー Advent Calendar 2024の24日目の記事になります。こんにちは！ピクトリンク事業部 商品技術開発部の堀江です。本日はクリスマスイブですね🎄🎀皆さんクリスマスっぽいことはしましたか？私はちょうど先週クリスマスマーケットに行きました！今日・明日はケーキを食べながらのほほんとしようと思います。今回の記事ですが、自分のスマホの写真フォルダにあるデータをTableauに可視化して、旅行の記録を作ってみたという内容になります。 アウトプットイメージ 必要なもの 手順1：データの前処理 1-1：HEIC→JPEG変換（任意） 1-2：位置情報の埋め込み確認 1-3：Goo…

そばちゃ•2日前

tree-sitter を使ってみるめも

びっくりするほどコードサンプルが見つからなかった tree-sitter.github.io !pip install tree-sitter !pip install tree-sitter-kotlin from tree_sitter import Language, Parser import tree_sitter_kotlin as tskotlin KOTLIN_LANGUAGE = Language(tskotlin.language()) parser = Parser(KOTLIN_LANGUAGE) # Read Kotlin file content with open…

KAYAC Engineers' Blog•2日前

勝手にAIがプログラム書いてくれたら嬉しくない?

この記事は【カヤック】面白法人グループ Advent Calendar 2024の24日目の記事です。 おはこんばんちは。らりです。 2週間前に給湯器が壊れ、水を浴びながら生きてます。 インフルエンザも流行ってるし仕方ないですね。 はじめに 近年ではAIが進化し、もはや人間と区別がつかなくなってきました。 昨今のAIについては色々議論が巻き起こっていますが、本当に仕事を奪われそうでSFじみてきましたね。 ロボット工学三原則には「仕事を奪ってはならない」とは無いので、どこかで付け足されるのでしょうか。 ところで、簡単なプロジェクトを淡々とAIに作ってもらう検証をしてみました。 お題は電卓で、色々…

おいしい健康　開発者ブログ•2日前

Xcodeのビルド時間計測の取り組み

弊社iOSチームにおける、Xcodeのビルド速度改善の取り組みの一端について紹介したいとおもいます。 おいしい健康のiOSアプリでは、機能開発を重ねていく過程で、コードベース量に比例してビルド時間が長くなり、数行の変更で1分近くビルド時間を要するなど、開発効率に難がある状態が続いていました。 ビルド時間は、ビルドキャッシュがほぼない状態でのクリーンビルドか、一定のビルドキャッシュの効いたインクリメンタルビルドかによって大きく異なります。 日々の開発への影響度が大きいのはインクリメンタルビルドであるため、これを計測・可視化し、開発生産性の観点で問題の大きさを定量的に把握したいと考え、チーム内のビ…

LayerX エンジニアブログ•2日前

Aurora Cluster Exportで出力したデータをdbtを使ってSnowflakeへImportする

こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。もうすぐクリスマスですね。最近、何度か娘に「サンタさんへお願いしたもの」をヒアリングしているのですが、私には秘密みたいで、サンタさんから委託された業務を全うできないかもしれず、ヒヤヒヤする日々を過ごしています。 さて、本記事では、Amazon AuroraのCluster Export機能を用いてAmazon S3へ出力したデータを、dbtを使用してSnowflakeへimportする方法を書きます。以前、『BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestio…

晴歩雨描•2日前

HTMLカレンダーに「Holidays JP API 」で祝日表示。AIツールChatGPT、Copilotで作成。

先程、JavaScriptでシンプルなHTMLカレンダーを作成した。 これは、祝日表示対応していない。 これに、祝日表示を追加した。「Google Calendar API 」を使う方法もあるが、Google API KEYが必要だし、大晦日なども祝日扱いになってしまうので、問題がある。 ということで、今回、「Holidays JP API (日本の祝日API)」を使うことにした。 Googleカレンダーの情報を使っているらしいが、Google API KEYは不要で、JSON形式で祝日データを取得できる。JSONデータのURLは以下。 https://holidays-jp.github.i…

虎の穴ラボ技術ブログ•2日前

マルチプラットフォームを目指すための「Haxe」という選択肢

皆さんこんにちは！虎の穴ラボのmisonoです。 この記事は虎の穴ラボ Advent Calendar 2024の23日目の記事です。 皆さんはアプリケーションを作成する時にどんな言語やプラットフォームを使いますか？ 人によって様々だと思いますが、目的のアプリケーションをPCでもスマホでも、あるいはゲーム機でも動作させたいなどと思う時があるかもしれません。 そんな時に選択肢として有力な「Haxe」。聞いたことのない人は多いと思います。 今回は、そのHaxeについて少し紹介してみたいと思います。 Haxeとは haxe.org Haxeは静的型付けのオブジェクト指向なプログラミング言語、そしてそ…

晴歩雨描•2日前

JavaScriptで、シンプルなHTMLカレンダーを作成。AIツールCopilotで作成。

以前に、PHPでHTMLカレンダーを作成した。 今回、JavaScriptで、シンプルなHTMLカレンダーを作成。 JavaScriptを使ったHTMLカレンダーはネットで探すといくつも出てくる。今回、AIツール「ChatGPT」「Google Gemini」「Microsoft Copilot」に聞いてみた。「Microsoft Copilot」の回答が一番良さそうだったので、採用。一部手修正。 祝日表示の処理はしていない。 当月前後の日付表示もしている。 URLで年月の指定もできる。 https://ok2nd.github.io/tool/calendar/month.html?y=20…