デスクトップで Parquet ファイルを開いてクエリする

Parquet はバイナリの列指向フォーマットなので、テキストエディタや表計算ソフトでは中身を表示できません。DuckLocal は .parquet ファイルをテーブルとして開き、閲覧、絞り込み、SQL でのクエリ、エクスポートができます。すべて自分のパソコン上で動き、ファイルがオンラインビューアーにアップロードされることはありません。

macOS、Windows、Linux 向けの無料オープンソース。アカウント不要。テレメトリーなし。

.parquet ファイルから答えまで

ファイルの中を見るのに、Python 環境もノートブックもクラスターも要りません。

  1. ファイルを開く

    ファイルをウィンドウにドロップするか、フォルダーごと開くか、./data/2026-0*/*.parquet のようなパターンを使います。Mac では Finder でファイルをダブルクリックします。各ファイルは、その名前のビューになります。

  2. 中身を見る

    スキーマのサイドバーに、すべての列とその型が並びます。概要タブは結果の各列を要約します。null、異なる値の数、範囲、分布です。

  3. クエリ、グラフ、エクスポート

    DuckDB SQL で絞り込みと集計を行い、結果をグラフに切り替え、結果全体を CSV または Parquet にエクスポートします。

ファイルそのものを調べる

Parquet ファイルは、スキーマ、行グループ、圧縮、列の統計情報を自分のフッターに持っています。DuckDB はそれらを普通の SQL で読めるので、1 行もスキャンする前に、ファイルがどう書かれたかを確認できます。

データソース · 結果、概要、グラフ

-- columns and types
DESCRIBE SELECT * FROM 'trips.parquet';

-- row groups, compression and statistics
SELECT * FROM parquet_metadata('trips.parquet');

何も開かずにプレビューする

macOS では、Finder で Parquet ファイルを選んで スペース キーを押します。Quick Look のプレビューに列とその型、先頭 50 行が表示され、フッターから行数、行グループ、圧縮、書き出したツールがわかります。

プレビューは DuckLocal.app の中に入っています。ファイル全体をスキャンすることはなく、何もダウンロードしません。Quick Look プレビューの詳細

  • ファイルはその場所で読まれ、アップロードされない
  • クエリは必要な列だけを読む
  • 元のファイルは変更されない
  • アカウントなし、テレメトリーなし
  • Apache-2.0 のオープンソース

1 ファイルでも、数千ファイルでも

Parquet のデータが 1 ファイルで来ることはほとんどありません。保存されている形のまま開けます。

  • *.parquetパターンに一致するすべてのファイルを開く
  • folder/ディレクトリを再帰的にたどる
  • read_parquet()多数のファイルを 1 つのテーブルとして SQL で読む
  • https://リモートの Parquet ファイルを HTTPS 経由でクエリ
  • s3://設定すれば、バケットや S3 互換ストレージも
  • CSV をエクスポートクエリ結果を CSV に変換
  • Parquet をエクスポートCSV、JSON、Excel のデータを Parquet として書き出す
  • JOINParquet を CSV、JSON、Excel、DuckDB のテーブルと結合

表計算ソフトでは開けないファイルのために

結果グリッドは最大 100,000 行を表示し、そこで止まったことを明示します。集計、絞り込み、結合はファイル全体に対して実行され、エクスポートではクエリを再実行してすべての行を書き出します。

ですからいつもの流れは、何百万行ものデータをスクロールするのではなく、SQL で必要な答えまで絞り込むことになります。

Parquet ビューアーについての質問

Mac で Parquet ファイルを開くには?
DuckLocal をインストールし、Finder で .parquet ファイルをダブルクリックするか、DuckLocal のウィンドウにドロップします。開かずに中身を見たいときは、ファイルを選択してスペースキーを押すと Quick Look でプレビューできます。DuckLocal には Apple シリコンの macOS 12 以降が必要です。
Windows や Linux で Parquet ファイルを開くには?
DuckLocal を起動してファイルをウィンドウにドロップするか、開くメニューから選びます。ターミナルからは ducklocal ./file.parquet で直接開けます。
Parquet を CSV に変換できますか?
はい。ファイルをクエリし、CSV をエクスポートすると、エクスポートがクエリを再実行して結果全体を書き出します。逆方向も可能で、CSV ファイルを開いて Parquet としてエクスポートできます。
DuckLocal はどれくらい大きな Parquet ファイルを開けますか?
DuckDB は Parquet を列ごとに、しかもクエリが必要とする部分だけ読みます。そのため数百万行を超えるファイルでもノートパソコンで実用的に扱えます。グリッドには結果の最大 100,000 行が表示され、集計はファイル全体に対して実行されます。
Parquet ファイルはどこかにアップロードされますか?
いいえ。DuckLocal は DuckDB を内蔵したデスクトップアプリです。パソコン上のパスからファイルを読み、アカウントも必要とせず、テレメトリーも送信しません。

最初の Parquet ファイルを開く

DuckLocal をダウンロードし、.parquet ファイルをウィンドウにドロップしてください。SQL を書く前に列が表示されます。