Zum Inhalt springen

Beispiel: 3,5 Millionen Taxifahrten über HTTPS ​

New York City veröffentlicht jede Fahrt der Yellow Cabs als Parquet-Datei. Der Januar 2025 ist eine einzelne Datei mit 59 MB und 3.475.226 Zeilen, und DuckLocal kann sie dort abfragen, wo sie liegt – kein Download-Schritt, kein Cluster, kein Import. Dieser Durchgang führt vom ersten Blick bis zu drei Diagrammen und einem Dashboard, eine Abfrage nach der anderen. Den breiteren Datei-zuerst-Workflow finden Sie unter lokale Datenanalyse mit DuckDB SQL.

Dieser Leitfaden setzt voraus, dass Sie Ihre ersten 10 Minuten abgeschlossen haben oder die Grundlagen schon kennen: ⌘↵ (unter Windows und Linux Ctrl+Enter) führt die Abfrage im Editor aus, und der Ergebnisbereich hat einen Tab Diagramm.

Die Datei:

text
https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet

Netzwerk

Die erste Abfrage auf eine https://-Adresse lässt DuckDB seine httpfs-Erweiterung herunterladen, Sie müssen also einmal online sein. Danach liest jede Abfrage nur die Teile der Datei, die sie braucht – eine Parquet-Datei hält jede Spalte getrennt, und DuckDB fragt Byte-Bereiche statt der ganzen Datei an.

1. Erst schauen, dann abfragen ​

Fügen Sie dies in einen Abfragetab ein und drücken Sie ⌘↵:

sql
SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
LIMIT 100;

Hundert Zeilen, zwanzig Spalten: Abhol- und Ankunftszeiten, Distanz, Fahrpreis, Trinkgeld, Abhol- und Ankunftszonen und wie der Fahrgast bezahlt hat. Um jede Spalte mit ihrem Typ zu sehen, statt seitwärts zu scrollen, DESCRIBE Sie dieselbe Abfrage:

sql
DESCRIBE SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet';

Die unten verwendeten:

SpalteTypBedeutung
tpep_pickup_datetimeTIMESTAMPWann der Meter startete
fare_amountDOUBLEDer metergemessene Fahrpreis, in Dollar
tip_amountDOUBLEDas Trinkgeld, in Dollar – nur Karten-Trinkgeld, siehe Schritt 4
payment_typeBIGINT1 Kreditkarte, 2 Bargeld, 3 ohne Berechnung, 4 Reklamation

2. Ein Monat, Stunde für Stunde ​

Wie viele Fahrten begannen in jeder Stunde des Januar?

sql
SELECT date_trunc('hour', tpep_pickup_datetime) AS hour,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE tpep_pickup_datetime >= '2025-01-01'
  AND tpep_pickup_datetime <  '2025-02-01'
GROUP BY 1
ORDER BY 1;

Die Abfrage aggregiert alle 3,5 Millionen Zeilen in wenigen Sekunden zu 744 – eine pro Stunde des Monats. Wechseln Sie zu Diagramm: Die erste Spalte ist ein Zeitstempel, also zeichnet DuckLocal ein Flächendiagramm über die Zeit. Jeder Tag erscheint als Gipfel, und die Gipfel steigen und fallen mit der Woche; die verkehrsreichste Stunde des Monats war 18:00 am Donnerstag, 16. Januar, mit 13.288 Fahrten.

Zwei Feinheiten machen das Diagramm ehrlich:

  • Die WHERE-Klausel. Zweiundzwanzig Fahrten in der Datei begannen außerhalb des Januar: 21 an Silvester, eine 44 Sekunden nach Beginn des Februar. Ohne den Filter fügen sie vier verirrte Stunden an den Enden des Diagramms hinzu.
  • ORDER BY 1. Diagramme zeichnen Zeilen in der Reihenfolge, in der die Abfrage sie zurückgibt. GROUP BY verspricht keine Reihenfolge, ohne diese Angabe würde die Linie im Zickzack laufen.

744 Punkte liegen unter dem Grenzwert von 1.500 Punkten des Diagramms, jede Stunde wird also so gezeichnet, wie sie ist, statt in Buckets gemittelt zu werden. Prüfen Sie den Titel des Diagramms: Er sagt, wie viele Punkte gezeichnet wurden.

3. Die Form eines Tages ​

Falten Sie den Monat zu einem einzigen Tag: Fahrten nach Stunde des Tages, 00:00 bis 23:00.

sql
SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
GROUP BY 1
ORDER BY 1;

Diagramm zeichnet jetzt 24 Balken. Am ruhigsten ist die Stadt um 04:00 (20.033 Fahrten im ganzen Monat), am geschäftigsten um 18:00 (267.951) – mehr als dreizehnmal so viele.

Warum die Stunde Text ist

Das Label wird absichtlich mit format('{:02d}:00', …) gebaut. Das Ergebnisdiagramm zeichnet die erste numerische Spalte – und ein einfaches hour(…) ist eine Zahl. Sie würde zu den Balkenhöhen, und Sie bekämen eine ordentliche Treppe von 0 bis 23 statt der Fahrtzahlen. Eine Text-Spalte an erster Stelle ist ein Label, nie ein Wert. Nullen auffüllen (04:00, nicht 4:00) hält den Text unter ORDER BY in der richtigen Reihenfolge.

4. Wer gibt Trinkgeld? ​

Trinkgeld als Anteil des Fahrpreises, danach, wie die Fahrt bezahlt wurde:

sql
SELECT CASE payment_type
         WHEN 1 THEN 'Credit card' WHEN 2 THEN 'Cash'
         WHEN 3 THEN 'No charge'   WHEN 4 THEN 'Dispute'
         ELSE 'Other'
       END AS payment,
       round(100 * avg(tip_amount / fare_amount), 1) AS tip_pct,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE fare_amount > 0
GROUP BY 1
ORDER BY trips DESC;
paymenttip_pcttrips
Credit card26.82444292
Other2.7455288
Cash0.0375850
Dispute0.038787
No charge0.115493

Kartenzahler geben etwa 27 % des Fahrpreises als Trinkgeld, Barzahler anscheinend nichts. Das sind die Daten, nicht die Fahrgäste: Der Meter erfasst nur Trinkgelder, die per Karte bezahlt werden. Ein Bar-Trinkgeld geht in die Hand des Fahrers und erreicht nie die Datei. Zu wissen, woher eine Spalte kommt, ist so wichtig wie das SQL.

WHERE fare_amount > 0 hält Erstattungen und Fahrten mit Fahrpreis null davon ab, durch null zu teilen oder das Vorzeichen umzudrehen. Das Diagramm zeichnet tip_pct, weil es die erste numerische Spalte ist – setzen Sie trips nach vorn, um stattdessen das Volumen darzustellen.

5. Als Dashboard behalten ​

Drei Abfragen, die man gern erneut ausführt, gehören in ein Dashboard. Laden Sie nyc-taxi.dash herunter: Es enthält den stündlichen Verlauf, die Balken nach Tagesstunde, das Trinkgeld-Diagramm und eine Tabelle mit den Zahlen dahinter. Ziehen Sie es auf das DuckLocal-Fenster, und es öffnet sich als Tab, der jede Abfrage ausführt und jeden Plot zeichnet.

Weil das SQL eine absolute https://-Adresse liest, funktioniert die Datei, egal wie und wo sie geöffnet wird. Bevor Sie sie teilen, kann ducklocal check jede Abfrage ausführen, um zu belegen, dass sie funktioniert:

bash
ducklocal check nyc-taxi.dash                         # syntax and references only
ducklocal check nyc-taxi.dash --database any.duckdb   # also runs each query

6. Dasselbe aus einem Terminal ​

Die CLI antwortet ohne Fenster, so würde ein KI-Agent fragen:

bash
ducklocal query --format md --sql "
  SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
         count(*) AS trips
  FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
  GROUP BY 1 ORDER BY trips DESC LIMIT 3"

Weiter ​

  • Offline arbeiten, oder schneller. Jede Abfrage liest die benötigten Spalten erneut über das Netzwerk. Um eine Kopie zu behalten, führen Sie das SELECT * aus Schritt 1 ohne LIMIT aus und nutzen Parquet exportieren… – ziehen Sie dann die lokale Datei hinein, und sie wird zu einer View, die Sie über ihren Namen abfragen können.
  • Mehr Monate. Die Dateien folgen einem Muster, yellow_tripdata_YYYY-MM.parquet. DuckDB liest eine Liste davon als eine Tabelle: FROM read_parquet(['https://…/yellow_tripdata_2025-01.parquet', 'https://…/yellow_tripdata_2025-02.parquet']). Ein Glob (*) funktioniert über einfaches HTTPS nicht, weil ein Webserver nicht aufgelistet werden kann; auf S3 funktioniert es.
  • Zonen. PULocationID und DOLocationID sind Taxi-Zonennummern; die NYC Taxi & Limousine Commission (TLC) veröffentlicht die Nachschlagetabelle, die sie benennt.

Die Daten werden von der TLC veröffentlicht, die auch jede Spalte dokumentiert.

Veröffentlicht unter der Apache-2.0-Lizenz.