Beispiel: 3,5 Millionen Taxifahrten über HTTPS
New York City veröffentlicht jede Fahrt der Yellow Cabs als Parquet-Datei. Der Januar 2025 ist eine einzelne Datei mit 59 MB und 3.475.226 Zeilen, und DuckLocal kann sie dort abfragen, wo sie liegt – kein Download-Schritt, kein Cluster, kein Import. Dieser Durchgang führt vom ersten Blick bis zu drei Diagrammen und einem Dashboard, eine Abfrage nach der anderen. Den breiteren Datei-zuerst-Workflow finden Sie unter lokale Datenanalyse mit DuckDB SQL.
Dieser Leitfaden setzt voraus, dass Sie Ihre ersten 10 Minuten abgeschlossen haben oder die Grundlagen schon kennen: ⌘↵ (unter Windows und Linux Ctrl+Enter) führt die Abfrage im Editor aus, und der Ergebnisbereich hat einen Tab Diagramm.
Die Datei:
https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquetNetzwerk
Die erste Abfrage auf eine https://-Adresse lässt DuckDB seine httpfs-Erweiterung herunterladen, Sie müssen also einmal online sein. Danach liest jede Abfrage nur die Teile der Datei, die sie braucht – eine Parquet-Datei hält jede Spalte getrennt, und DuckDB fragt Byte-Bereiche statt der ganzen Datei an.
1. Erst schauen, dann abfragen
Fügen Sie dies in einen Abfragetab ein und drücken Sie ⌘↵:
SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
LIMIT 100;Hundert Zeilen, zwanzig Spalten: Abhol- und Ankunftszeiten, Distanz, Fahrpreis, Trinkgeld, Abhol- und Ankunftszonen und wie der Fahrgast bezahlt hat. Um jede Spalte mit ihrem Typ zu sehen, statt seitwärts zu scrollen, DESCRIBE Sie dieselbe Abfrage:
DESCRIBE SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet';Die unten verwendeten:
| Spalte | Typ | Bedeutung |
|---|---|---|
tpep_pickup_datetime | TIMESTAMP | Wann der Meter startete |
fare_amount | DOUBLE | Der metergemessene Fahrpreis, in Dollar |
tip_amount | DOUBLE | Das Trinkgeld, in Dollar – nur Karten-Trinkgeld, siehe Schritt 4 |
payment_type | BIGINT | 1 Kreditkarte, 2 Bargeld, 3 ohne Berechnung, 4 Reklamation |
2. Ein Monat, Stunde für Stunde
Wie viele Fahrten begannen in jeder Stunde des Januar?
SELECT date_trunc('hour', tpep_pickup_datetime) AS hour,
count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE tpep_pickup_datetime >= '2025-01-01'
AND tpep_pickup_datetime < '2025-02-01'
GROUP BY 1
ORDER BY 1;Die Abfrage aggregiert alle 3,5 Millionen Zeilen in wenigen Sekunden zu 744 – eine pro Stunde des Monats. Wechseln Sie zu Diagramm: Die erste Spalte ist ein Zeitstempel, also zeichnet DuckLocal ein Flächendiagramm über die Zeit. Jeder Tag erscheint als Gipfel, und die Gipfel steigen und fallen mit der Woche; die verkehrsreichste Stunde des Monats war 18:00 am Donnerstag, 16. Januar, mit 13.288 Fahrten.
Zwei Feinheiten machen das Diagramm ehrlich:
- Die
WHERE-Klausel. Zweiundzwanzig Fahrten in der Datei begannen außerhalb des Januar: 21 an Silvester, eine 44 Sekunden nach Beginn des Februar. Ohne den Filter fügen sie vier verirrte Stunden an den Enden des Diagramms hinzu. ORDER BY 1. Diagramme zeichnen Zeilen in der Reihenfolge, in der die Abfrage sie zurückgibt.GROUP BYverspricht keine Reihenfolge, ohne diese Angabe würde die Linie im Zickzack laufen.
744 Punkte liegen unter dem Grenzwert von 1.500 Punkten des Diagramms, jede Stunde wird also so gezeichnet, wie sie ist, statt in Buckets gemittelt zu werden. Prüfen Sie den Titel des Diagramms: Er sagt, wie viele Punkte gezeichnet wurden.
3. Die Form eines Tages
Falten Sie den Monat zu einem einzigen Tag: Fahrten nach Stunde des Tages, 00:00 bis 23:00.
SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
GROUP BY 1
ORDER BY 1;Diagramm zeichnet jetzt 24 Balken. Am ruhigsten ist die Stadt um 04:00 (20.033 Fahrten im ganzen Monat), am geschäftigsten um 18:00 (267.951) – mehr als dreizehnmal so viele.
Warum die Stunde Text ist
Das Label wird absichtlich mit format('{:02d}:00', …) gebaut. Das Ergebnisdiagramm zeichnet die erste numerische Spalte – und ein einfaches hour(…) ist eine Zahl. Sie würde zu den Balkenhöhen, und Sie bekämen eine ordentliche Treppe von 0 bis 23 statt der Fahrtzahlen. Eine Text-Spalte an erster Stelle ist ein Label, nie ein Wert. Nullen auffüllen (04:00, nicht 4:00) hält den Text unter ORDER BY in der richtigen Reihenfolge.
4. Wer gibt Trinkgeld?
Trinkgeld als Anteil des Fahrpreises, danach, wie die Fahrt bezahlt wurde:
SELECT CASE payment_type
WHEN 1 THEN 'Credit card' WHEN 2 THEN 'Cash'
WHEN 3 THEN 'No charge' WHEN 4 THEN 'Dispute'
ELSE 'Other'
END AS payment,
round(100 * avg(tip_amount / fare_amount), 1) AS tip_pct,
count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE fare_amount > 0
GROUP BY 1
ORDER BY trips DESC;| payment | tip_pct | trips |
|---|---|---|
| Credit card | 26.8 | 2444292 |
| Other | 2.7 | 455288 |
| Cash | 0.0 | 375850 |
| Dispute | 0.0 | 38787 |
| No charge | 0.1 | 15493 |
Kartenzahler geben etwa 27 % des Fahrpreises als Trinkgeld, Barzahler anscheinend nichts. Das sind die Daten, nicht die Fahrgäste: Der Meter erfasst nur Trinkgelder, die per Karte bezahlt werden. Ein Bar-Trinkgeld geht in die Hand des Fahrers und erreicht nie die Datei. Zu wissen, woher eine Spalte kommt, ist so wichtig wie das SQL.
WHERE fare_amount > 0 hält Erstattungen und Fahrten mit Fahrpreis null davon ab, durch null zu teilen oder das Vorzeichen umzudrehen. Das Diagramm zeichnet tip_pct, weil es die erste numerische Spalte ist – setzen Sie trips nach vorn, um stattdessen das Volumen darzustellen.
5. Als Dashboard behalten
Drei Abfragen, die man gern erneut ausführt, gehören in ein Dashboard. Laden Sie nyc-taxi.dash herunter: Es enthält den stündlichen Verlauf, die Balken nach Tagesstunde, das Trinkgeld-Diagramm und eine Tabelle mit den Zahlen dahinter. Ziehen Sie es auf das DuckLocal-Fenster, und es öffnet sich als Tab, der jede Abfrage ausführt und jeden Plot zeichnet.
Weil das SQL eine absolute https://-Adresse liest, funktioniert die Datei, egal wie und wo sie geöffnet wird. Bevor Sie sie teilen, kann ducklocal check jede Abfrage ausführen, um zu belegen, dass sie funktioniert:
ducklocal check nyc-taxi.dash # syntax and references only
ducklocal check nyc-taxi.dash --database any.duckdb # also runs each query6. Dasselbe aus einem Terminal
Die CLI antwortet ohne Fenster, so würde ein KI-Agent fragen:
ducklocal query --format md --sql "
SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
GROUP BY 1 ORDER BY trips DESC LIMIT 3"Weiter
- Offline arbeiten, oder schneller. Jede Abfrage liest die benötigten Spalten erneut über das Netzwerk. Um eine Kopie zu behalten, führen Sie das
SELECT *aus Schritt 1 ohneLIMITaus und nutzen Parquet exportieren… – ziehen Sie dann die lokale Datei hinein, und sie wird zu einer View, die Sie über ihren Namen abfragen können. - Mehr Monate. Die Dateien folgen einem Muster,
yellow_tripdata_YYYY-MM.parquet. DuckDB liest eine Liste davon als eine Tabelle:FROM read_parquet(['https://…/yellow_tripdata_2025-01.parquet', 'https://…/yellow_tripdata_2025-02.parquet']). Ein Glob (*) funktioniert über einfaches HTTPS nicht, weil ein Webserver nicht aufgelistet werden kann; auf S3 funktioniert es. - Zonen.
PULocationIDundDOLocationIDsind Taxi-Zonennummern; die NYC Taxi & Limousine Commission (TLC) veröffentlicht die Nachschlagetabelle, die sie benennt.
Die Daten werden von der TLC veröffentlicht, die auch jede Spalte dokumentiert.
