.parquet ファイルから答えまで
ファイルの中を見るのに、Python 環境もノートブックもクラスターも要りません。
ファイルを開く
ファイルをウィンドウにドロップするか、フォルダーごと開くか、
./data/2026-0*/*.parquetのようなパターンを使います。Mac では Finder でファイルをダブルクリックします。各ファイルは、その名前のビューになります。中身を見る
スキーマのサイドバーに、すべての列とその型が並びます。概要タブは結果の各列を要約します。null、異なる値の数、範囲、分布です。
クエリ、グラフ、エクスポート
DuckDB SQL で絞り込みと集計を行い、結果をグラフに切り替え、結果全体を CSV または Parquet にエクスポートします。
ファイルそのものを調べる
Parquet ファイルは、スキーマ、行グループ、圧縮、列の統計情報を自分のフッターに持っています。DuckDB はそれらを普通の SQL で読めるので、1 行もスキャンする前に、ファイルがどう書かれたかを確認できます。
-- columns and types DESCRIBE SELECT * FROM 'trips.parquet'; -- row groups, compression and statistics SELECT * FROM parquet_metadata('trips.parquet');
何も開かずにプレビューする
macOS では、Finder で Parquet ファイルを選んで スペース キーを押します。Quick Look のプレビューに列とその型、先頭 50 行が表示され、フッターから行数、行グループ、圧縮、書き出したツールがわかります。
プレビューは DuckLocal.app の中に入っています。ファイル全体をスキャンすることはなく、何もダウンロードしません。Quick Look プレビューの詳細
- ファイルはその場所で読まれ、アップロードされない
- クエリは必要な列だけを読む
- 元のファイルは変更されない
- アカウントなし、テレメトリーなし
- Apache-2.0 のオープンソース
1 ファイルでも、数千ファイルでも
Parquet のデータが 1 ファイルで来ることはほとんどありません。保存されている形のまま開けます。
- *.parquetパターンに一致するすべてのファイルを開く
- folder/ディレクトリを再帰的にたどる
- read_parquet()多数のファイルを 1 つのテーブルとして SQL で読む
- https://リモートの Parquet ファイルを HTTPS 経由でクエリ
- s3://設定すれば、バケットや S3 互換ストレージも
- CSV をエクスポートクエリ結果を CSV に変換
- Parquet をエクスポートCSV、JSON、Excel のデータを Parquet として書き出す
- JOINParquet を CSV、JSON、Excel、DuckDB のテーブルと結合
表計算ソフトでは開けないファイルのために
結果グリッドは最大 100,000 行を表示し、そこで止まったことを明示します。集計、絞り込み、結合はファイル全体に対して実行され、エクスポートではクエリを再実行してすべての行を書き出します。
ですからいつもの流れは、何百万行ものデータをスクロールするのではなく、SQL で必要な答えまで絞り込むことになります。
Parquet ビューアーについての質問
- Mac で Parquet ファイルを開くには?
- DuckLocal をインストールし、Finder で
.parquetファイルをダブルクリックするか、DuckLocal のウィンドウにドロップします。開かずに中身を見たいときは、ファイルを選択してスペースキーを押すと Quick Look でプレビューできます。DuckLocal には Apple シリコンの macOS 12 以降が必要です。 - Windows や Linux で Parquet ファイルを開くには?
- DuckLocal を起動してファイルをウィンドウにドロップするか、開くメニューから選びます。ターミナルからは
ducklocal ./file.parquetで直接開けます。 - Parquet を CSV に変換できますか?
- はい。ファイルをクエリし、CSV をエクスポートすると、エクスポートがクエリを再実行して結果全体を書き出します。逆方向も可能で、CSV ファイルを開いて Parquet としてエクスポートできます。
- DuckLocal はどれくらい大きな Parquet ファイルを開けますか?
- DuckDB は Parquet を列ごとに、しかもクエリが必要とする部分だけ読みます。そのため数百万行を超えるファイルでもノートパソコンで実用的に扱えます。グリッドには結果の最大 100,000 行が表示され、集計はファイル全体に対して実行されます。
- Parquet ファイルはどこかにアップロードされますか?
- いいえ。DuckLocal は DuckDB を内蔵したデスクトップアプリです。パソコン上のパスからファイルを読み、アカウントも必要とせず、テレメトリーも送信しません。
関連: ローカルデータ分析 · DuckDB GUI · CSV を SQL でクエリ
最初の Parquet ファイルを開く
DuckLocal をダウンロードし、.parquet ファイルをウィンドウにドロップしてください。SQL を書く前に列が表示されます。