Aller au contenu

Exemple : 3,5 millions de courses de taxi via HTTPS ​

La ville de New York publie chaque course de taxi jaune dans un fichier Parquet. Janvier 2025 tient dans un seul fichier de 59 Mo comptant 3 475 226 lignes, et DuckLocal peut l'interroger là où il se trouve : pas d'étape de téléchargement, pas de cluster, pas d'import. Cette visite guidée le mène d'un premier coup d'œil à trois graphiques et un tableau de bord, une requête à la fois. Pour le flux de travail plus général centré sur les fichiers, voir l'analyse de données locales avec DuckDB SQL.

Ce guide suppose que vous avez suivi Vos 10 premières minutes ou que vous connaissez déjà les bases : appuyer sur ⌘↵ (Ctrl+Entrée sous Windows et Linux) exécute la requête de l'éditeur, et la zone de résultats comporte un onglet Chart.

Le fichier :

text
https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet

Réseau

La première requête sur une adresse https:// fait télécharger à DuckDB son extension httpfs : vous devez donc être en ligne une fois. Ensuite, chaque requête ne lit que les parties du fichier dont elle a besoin — un fichier Parquet garde chaque colonne à part, et DuckDB demande des plages d'octets plutôt que le fichier entier.

1. Regarder avant d'interroger ​

Collez ceci dans un onglet de requête et appuyez sur ⌘↵ :

sql
SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
LIMIT 100;

Cent lignes, vingt colonnes : heures de prise en charge et de dépose, distance, montant de la course, pourboire, zones de prise en charge et de dépose, et le mode de paiement du passager. Pour voir chaque colonne avec son type au lieu de faire défiler horizontalement, utilisez DESCRIBE sur la même requête :

sql
DESCRIBE SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet';

Celles qui servent ci-dessous :

ColonneTypeSignification
tpep_pickup_datetimeTIMESTAMPLe moment où le compteur démarre
fare_amountDOUBLELe montant au compteur, en dollars
tip_amountDOUBLELe pourboire, en dollars — par carte uniquement, voir l'étape 4
payment_typeBIGINT1 carte bancaire, 2 espèces, 3 sans frais, 4 litige

2. Un mois, heure par heure ​

Combien de courses ont commencé à chaque heure de janvier ?

sql
SELECT date_trunc('hour', tpep_pickup_datetime) AS hour,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE tpep_pickup_datetime >= '2025-01-01'
  AND tpep_pickup_datetime <  '2025-02-01'
GROUP BY 1
ORDER BY 1;

Elle agrège les 3,5 millions de lignes en 744 — une par heure du mois — en quelques secondes. Basculez sur Chart : la première colonne est un horodatage, donc DuckLocal dessine un graphique en aires dans le temps. Chaque journée apparaît comme un pic, et les pics montent et descendent avec la semaine ; l'heure la plus chargée du mois fut 18:00 le jeudi 16 janvier, avec 13 288 courses.

Deux détails rendent le graphique honnête :

  • La clause WHERE. Vingt-deux courses du fichier ont commencé en dehors de janvier : 21 le soir de la Saint-Sylvestre, une 44 secondes après le début de février. Sans le filtre, elles ajoutent quatre heures parasites aux extrémités du graphique.
  • ORDER BY 1. Les graphiques tracent les lignes dans l'ordre où la requête les renvoie. GROUP BY ne promet aucun ordre : sans cette clause, la courbe zigzaguerait.

744 points, c'est moins que la limite de 1 500 points du graphique : chaque heure est donc dessinée telle quelle plutôt que moyennée en tranches. Vérifiez le titre du graphique : il indique combien de points ont été tracés.

3. La forme d'une journée ​

Repliez le mois en une seule journée : les courses par heure, de 00:00 à 23:00.

sql
SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
GROUP BY 1
ORDER BY 1;

Chart dessine maintenant 24 barres. La ville est la plus calme à 04:00 (20 033 courses sur tout le mois) et la plus active à 18:00 (267 951) — plus de treize fois plus.

Pourquoi l'heure est du texte

Le libellé est construit avec format('{:02d}:00', …) à dessein. Le graphique des résultats trace la première colonne numérique — et un simple hour(…) est un nombre. Il deviendrait la hauteur des barres, et vous obtiendriez un bel escalier de 0 à 23 au lieu du nombre de courses. Une première colonne de texte est un libellé, jamais une valeur. Le remplissage par des zéros (04:00, et non 4:00) garde le texte dans le bon ordre avec ORDER BY.

4. Qui laisse un pourboire ? ​

Les pourboires en part du montant de la course, selon le mode de paiement :

sql
SELECT CASE payment_type
         WHEN 1 THEN 'Credit card' WHEN 2 THEN 'Cash'
         WHEN 3 THEN 'No charge'   WHEN 4 THEN 'Dispute'
         ELSE 'Other'
       END AS payment,
       round(100 * avg(tip_amount / fare_amount), 1) AS tip_pct,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE fare_amount > 0
GROUP BY 1
ORDER BY trips DESC;
paymenttip_pcttrips
Credit card26.82444292
Other2.7455288
Cash0.0375850
Dispute0.038787
No charge0.115493

Les passagers qui paient par carte laissent environ 27 % du montant en pourboire ; ceux qui paient en espèces, apparemment rien. Ce sont les données qui parlent, pas les passagers : le compteur n'enregistre que les pourboires payés par carte. Un pourboire en espèces passe de la main à la main et n'atteint jamais le fichier. Savoir d'où vient une colonne compte autant que le SQL.

WHERE fare_amount > 0 évite que les remboursements et les courses à zéro ne provoquent une division par zéro ou n'inversent le signe. Le graphique trace tip_pct parce que c'est la première colonne numérique — placez trips en premier pour représenter plutôt le volume.

5. Le conserver sous forme de tableau de bord ​

Trois requêtes qui valent la peine d'être relancées ont leur place dans un tableau de bord. Téléchargez nyc-taxi.dash : il contient la tendance horaire, les barres par heure de la journée, le graphique des pourboires et un tableau des chiffres qui les sous-tendent. Faites-le glisser sur la fenêtre de DuckLocal : il s'ouvre comme un onglet qui exécute chaque requête et dessine chaque graphique.

Comme le SQL lit une adresse https:// absolue, le fichier fonctionne quelle que soit la façon et l'endroit où il est ouvert. Avant de le partager, ducklocal check peut exécuter chaque requête pour prouver qu'il fonctionne :

bash
ducklocal check nyc-taxi.dash                         # syntax and references only
ducklocal check nyc-taxi.dash --database any.duckdb   # also runs each query

6. La même chose depuis un terminal ​

La CLI répond sans fenêtre, comme le demanderait un agent IA :

bash
ducklocal query --format md --sql "
  SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
         count(*) AS trips
  FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
  GROUP BY 1 ORDER BY trips DESC LIMIT 3"

Aller plus loin ​

  • Travailler hors ligne, ou plus vite. Chaque requête relit sur le réseau les colonnes dont elle a besoin. Pour en garder une copie, exécutez le SELECT * de l'étape 1 sans LIMIT et utilisez Export Parquet… — puis faites glisser le fichier local dans la fenêtre : il devient une vue que vous pouvez interroger par son nom.
  • Plusieurs mois. Les fichiers suivent un seul modèle, yellow_tripdata_YYYY-MM.parquet. DuckDB lit une liste de ces fichiers comme une seule table : FROM read_parquet(['https://…/yellow_tripdata_2025-01.parquet', 'https://…/yellow_tripdata_2025-02.parquet']). Un glob (*) ne fonctionne pas en HTTPS simple, car un serveur web ne peut pas être listé ; il fonctionne sur S3.
  • Zones. PULocationID et DOLocationID sont des numéros de zone de taxi ; la NYC Taxi & Limousine Commission (TLC) publie la table de correspondance qui leur donne un nom.

Les données sont publiées par la TLC, qui documente aussi chaque colonne.

Publié sous licence Apache-2.0.