Vai al contenuto

Esempio: 3,5 milioni di corse in taxi via HTTPS ​

New York City pubblica ogni corsa dei taxi gialli come file Parquet. Gennaio 2025 è un singolo file da 59 MB con 3.475.226 righe, e DuckLocal può interrogarlo dove si trova — nessun passaggio di download, nessun cluster, nessuna importazione. Questa guida lo porta da un primo sguardo a tre grafici e una dashboard, una query alla volta. Per il flusso di lavoro più ampio incentrato sui file, vedi analisi di dati locali con DuckDB SQL.

Questa guida dà per scontato che tu abbia completato I tuoi primi 10 minuti o che conosca già le basi: premere ⌘↵ (Ctrl+Enter su Windows e Linux) esegue la query nell'editor, e l'area dei risultati include una scheda Grafico.

Il file:

text
https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet

Rete

La prima query su un indirizzo https:// fa scaricare a DuckDB la sua estensione httpfs, quindi devi essere online una volta. Dopo, ogni query legge solo le parti del file che le servono — un file Parquet tiene ogni colonna separata, e DuckDB chiede intervalli di byte invece del file intero.

1. Guarda prima di interrogare ​

Incolla questo in una scheda di query e premi ⌘↵:

sql
SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
LIMIT 100;

Cento righe, venti colonne: orari di salita e discesa, distanza, tariffa, mancia, zone di salita e di discesa e come ha pagato il passeggero. Per vedere ogni colonna con il suo tipo invece di scorrere in orizzontale, usa DESCRIBE sulla stessa query:

sql
DESCRIBE SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet';

Quelle usate qui sotto:

ColonnaTipoSignificato
tpep_pickup_datetimeTIMESTAMPQuando è partito il tassametro
fare_amountDOUBLELa tariffa del tassametro, in dollari
tip_amountDOUBLELa mancia, in dollari — solo mance con carta, vedi il passaggio 4
payment_typeBIGINT1 carta di credito, 2 contanti, 3 senza addebito, 4 contestazione

2. Un mese, ora per ora ​

Quante corse sono iniziate in ogni ora di gennaio?

sql
SELECT date_trunc('hour', tpep_pickup_datetime) AS hour,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE tpep_pickup_datetime >= '2025-01-01'
  AND tpep_pickup_datetime <  '2025-02-01'
GROUP BY 1
ORDER BY 1;

Aggrega tutte le 3,5 milioni di righe in 744 — una per ogni ora del mese — in un paio di secondi. Passa a Grafico: la prima colonna è un timestamp, quindi DuckLocal disegna un grafico ad area nel tempo. Ogni giorno appare come un picco, e i picchi salgono e scendono con la settimana; l'ora più trafficata del mese è stata le 18:00 di giovedì 16 gennaio, con 13.288 corse.

Due dettagli rendono onesto il grafico:

  • La clausola WHERE. Ventidue corse nel file sono iniziate fuori da gennaio: 21 a Capodanno, una 44 secondi dentro febbraio. Senza il filtro aggiungono quattro ore disperse alle estremità del grafico.
  • ORDER BY 1. I grafici disegnano le righe nell'ordine in cui la query le restituisce. GROUP BY non promette alcun ordine, quindi senza di esso la linea zigzagherebbe.

744 punti sono sotto il limite di 1.500 punti del grafico, quindi ogni ora viene disegnata così com'è invece di essere mediata in intervalli. Controlla il titolo del grafico: dice quanti punti sono stati disegnati.

3. La forma di una giornata ​

Ripiega il mese in un solo giorno: corse per ora del giorno, dalle 00:00 alle 23:00.

sql
SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
GROUP BY 1
ORDER BY 1;

Grafico disegna ora 24 barre. La città è più tranquilla alle 04:00 (20.033 corse in tutto il mese) e più affollata alle 18:00 (267.951) — più di tredici volte tanto.

Perché l'ora è testo

L'etichetta è costruita con format('{:02d}:00', …) di proposito. Il grafico dei risultati disegna la prima colonna numerica — e un semplice hour(…) è un numero. Diventerebbe l'altezza delle barre, e otterresti una scalinata ordinata da 0 a 23 invece dei conteggi delle corse. Una prima colonna di testo è un'etichetta, mai un valore. Il riempimento con zeri (04:00, non 4:00) mantiene il testo nell'ordine giusto con ORDER BY.

4. Chi lascia la mancia? ​

Mance come quota della tariffa, in base a come è stata pagata la corsa:

sql
SELECT CASE payment_type
         WHEN 1 THEN 'Credit card' WHEN 2 THEN 'Cash'
         WHEN 3 THEN 'No charge'   WHEN 4 THEN 'Dispute'
         ELSE 'Other'
       END AS payment,
       round(100 * avg(tip_amount / fare_amount), 1) AS tip_pct,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE fare_amount > 0
GROUP BY 1
ORDER BY trips DESC;
paymenttip_pcttrips
Credit card26.82444292
Other2.7455288
Cash0.0375850
Dispute0.038787
No charge0.115493

Chi paga con carta lascia circa il 27% della tariffa; chi paga in contanti, apparentemente, nulla. Sono i dati, non i passeggeri: il tassametro registra solo le mance pagate con carta. Una mancia in contanti finisce nella mano dell'autista e non arriva mai al file. Sapere da dove viene una colonna conta quanto l'SQL.

WHERE fare_amount > 0 evita che i rimborsi e le tariffe a zero dividano per zero o invertano il segno. Il grafico disegna tip_pct perché è la prima colonna numerica — metti trips per prima per rappresentare invece il volume.

5. Conservalo come dashboard ​

Tre query che vale la pena rieseguire appartengono a una dashboard. Scarica nyc-taxi.dash: contiene la tendenza oraria, le barre per ora del giorno, il grafico delle mance e una tabella con i numeri che ci sono dietro. Trascinalo sulla finestra di DuckLocal e si apre come scheda che esegue ogni query e disegna ogni grafico.

Poiché l'SQL legge un indirizzo https:// assoluto, il file funziona comunque e ovunque venga aperto. Prima di condividerlo, ducklocal check può eseguire ogni query per dimostrare che funziona:

bash
ducklocal check nyc-taxi.dash                         # syntax and references only
ducklocal check nyc-taxi.dash --database any.duckdb   # also runs each query

6. Lo stesso da un terminale ​

La CLI risponde senza finestra, che è come chiederebbe un agente di IA:

bash
ducklocal query --format md --sql "
  SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
         count(*) AS trips
  FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
  GROUP BY 1 ORDER BY trips DESC LIMIT 3"

Per andare oltre ​

  • Lavora offline, o più veloce. Ogni query rilegge dalla rete le colonne che le servono. Per conservare una copia, esegui il SELECT * del passaggio 1 senza LIMIT e usa Esporta Parquet… — poi trascina il file locale e diventa una vista che puoi interrogare per nome.
  • Più mesi. I file seguono uno schema, yellow_tripdata_YYYY-MM.parquet. DuckDB legge un elenco di essi come un'unica tabella: FROM read_parquet(['https://…/yellow_tripdata_2025-01.parquet', 'https://…/yellow_tripdata_2025-02.parquet']). Un glob (*) non funziona su HTTPS semplice, perché un server web non può essere elencato; funziona su S3.
  • Zone. PULocationID e DOLocationID sono numeri di zona dei taxi; la NYC Taxi & Limousine Commission (TLC) pubblica la tabella di lookup che dà loro un nome.

I dati sono pubblicati dalla TLC, che documenta anche ogni colonna.

Pubblicato con licenza Apache-2.0.