[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

タグ

2025年1月6日のブックマーク (2件)

  • Parquet形式とは

    今回はデータ形式のParquetについて解説します。 Parquet形式とは Parquet形式は、大規模なデータファイルに使用されるフォーマットの一つであり、以下の構成要素を持ちます。 ファイルヘッダー ファイルがParquet形式であることを示す メタデータ データセットのスキーマ情報(カラム名、データ型など)、各列のデータ詳細(圧縮タイプ、エンコーディングなど)を示す。これによりデータへのアクセス方法が分かる データブロック(行グループ) データ体。列方向に複数の行グループに分割されて保存されている。例えば1000行のデータであれば、5つの200行を内包する行グループに分けることができる。各行グループに対してメタデータが存在する データブロックの確認 具体的にデータ形式をイメージするために、データ体の構造について見ていきましょう。 # 時間、周波数、振幅 #行グループ1 [[0.

    Parquet形式とは
    kyuns
    kyuns 2025/01/06
  • DuckDB雑紹介(1.1対応版)@DuckDB座談会

    2024年6月に発表した(https://speakerdeck.com/ktz/duckdbza-shao-jie)内容にDuckDB バージョン1.1の変更点を追記した版

    DuckDB雑紹介(1.1対応版)@DuckDB座談会
    kyuns
    kyuns 2025/01/06