Ir al contenido

Ejemplo: 3,5 millones de viajes en taxi por HTTPS ​

Nueva York publica cada viaje de taxi amarillo como un archivo Parquet. Enero de 2025 es un solo archivo de 59 MB con 3.475.226 filas, y DuckLocal puede consultarlo donde está: sin paso de descarga, sin clúster, sin importación. Este recorrido lo lleva desde un primer vistazo hasta tres gráficos y un panel, una consulta a la vez. Para el flujo de trabajo más amplio centrado en archivos, consulta análisis de datos locales con DuckDB SQL.

Esta guía da por hecho que has completado Tus primeros 10 minutos o que ya conoces lo básico: pulsar ⌘↵ (Ctrl+Enter en Windows y Linux) ejecuta la consulta del editor, y el área de resultados incluye una pestaña Gráfico.

El archivo:

text
https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet

Red

La primera consulta a una dirección https:// hace que DuckDB descargue su extensión httpfs, así que necesitas estar en línea una vez. Después, cada consulta lee solo las partes del archivo que necesita: un archivo Parquet mantiene cada columna aparte, y DuckDB pide rangos de bytes en lugar del archivo entero.

1. Mira antes de consultar ​

Pega esto en una pestaña de consulta y pulsa ⌘↵:

sql
SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
LIMIT 100;

Cien filas, veinte columnas: horas de recogida y de bajada, distancia, tarifa, propina, zonas de recogida y de bajada, y cómo pagó el pasajero. Para ver cada columna con su tipo en lugar de desplazarte en horizontal, usa DESCRIBE sobre la misma consulta:

sql
DESCRIBE SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet';

Las que se usan abajo:

ColumnaTipoSignificado
tpep_pickup_datetimeTIMESTAMPCuándo arrancó el taxímetro
fare_amountDOUBLELa tarifa del taxímetro, en dólares
tip_amountDOUBLELa propina, en dólares: solo propinas con tarjeta, ver paso 4
payment_typeBIGINT1 tarjeta de crédito, 2 efectivo, 3 sin cargo, 4 disputa

2. Un mes, hora a hora ​

¿Cuántos viajes empezaron en cada hora de enero?

sql
SELECT date_trunc('hour', tpep_pickup_datetime) AS hour,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE tpep_pickup_datetime >= '2025-01-01'
  AND tpep_pickup_datetime <  '2025-02-01'
GROUP BY 1
ORDER BY 1;

Agrega las 3,5 millones de filas en 744 —una por hora del mes— en un par de segundos. Cambia a Gráfico: la primera columna es una marca temporal, así que DuckLocal dibuja un gráfico de área a lo largo del tiempo. Cada día aparece como un pico, y los picos suben y bajan con la semana; la hora más concurrida del mes fue las 18:00 del jueves 16 de enero, con 13.288 viajes.

Dos detalles hacen que el gráfico sea honesto:

  • La cláusula WHERE. Veintidós viajes del archivo empezaron fuera de enero: 21 en Nochevieja, uno 44 segundos después de entrar en febrero. Sin el filtro añaden cuatro horas sueltas en los extremos del gráfico.
  • ORDER BY 1. Los gráficos dibujan las filas en el orden en que las devuelve la consulta. GROUP BY no promete ningún orden, así que sin él la línea zigzaguearía.

744 puntos están por debajo del límite de 1.500 puntos del gráfico, así que cada hora se dibuja tal cual en lugar de promediarse en bloques. Mira el título del gráfico: dice cuántos puntos se dibujaron.

3. La forma de un día ​

Pliega el mes en un solo día: viajes por hora del día, de 00:00 a 23:00.

sql
SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
GROUP BY 1
ORDER BY 1;

Gráfico dibuja ahora 24 barras. La ciudad está más tranquila a las 04:00 (20.033 viajes en todo el mes) y más concurrida a las 18:00 (267.951), más de trece veces más.

Por qué la hora es texto

La etiqueta se construye con format('{:02d}:00', …) a propósito. El gráfico de resultados dibuja la primera columna numérica, y un simple hour(…) es un número. Se convertiría en las alturas de las barras, y obtendrías una escalera ordenada de 0 a 23 en lugar de los recuentos de viajes. Una primera columna de texto es una etiqueta, nunca un valor. El relleno con ceros (04:00, no 4:00) mantiene el texto en el orden correcto con ORDER BY.

4. ¿Quién da propina? ​

Propinas como porcentaje de la tarifa, según cómo se pagó el viaje:

sql
SELECT CASE payment_type
         WHEN 1 THEN 'Credit card' WHEN 2 THEN 'Cash'
         WHEN 3 THEN 'No charge'   WHEN 4 THEN 'Dispute'
         ELSE 'Other'
       END AS payment,
       round(100 * avg(tip_amount / fare_amount), 1) AS tip_pct,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE fare_amount > 0
GROUP BY 1
ORDER BY trips DESC;
paymenttip_pcttrips
Credit card26.82444292
Other2.7455288
Cash0.0375850
Dispute0.038787
No charge0.115493

Los pasajeros que pagan con tarjeta dan alrededor del 27 % de la tarifa; los que pagan en efectivo, al parecer, nada. Eso son los datos, no los pasajeros: el taxímetro solo registra las propinas pagadas con tarjeta. Una propina en efectivo va a la mano del conductor y nunca llega al archivo. Saber de dónde viene una columna importa tanto como el SQL.

WHERE fare_amount > 0 evita que los reembolsos y las tarifas a cero dividan por cero o inviertan el signo. El gráfico dibuja tip_pct porque es la primera columna numérica; pon trips primero para dibujar el volumen en su lugar.

5. Guárdalo como panel ​

Tres consultas que merece la pena volver a ejecutar pertenecen a un panel. Descarga nyc-taxi.dash: contiene la tendencia por horas, las barras por hora del día, el gráfico de propinas y una tabla con los números que hay detrás. Arrástralo a la ventana de DuckLocal y se abre como una pestaña que ejecuta todas las consultas y dibuja todos los gráficos.

Como el SQL lee una dirección https:// absoluta, el archivo funciona como y donde se abra. Antes de compartirlo, ducklocal check puede ejecutar todas las consultas para demostrar que funciona:

bash
ducklocal check nyc-taxi.dash                         # syntax and references only
ducklocal check nyc-taxi.dash --database any.duckdb   # also runs each query

6. Lo mismo desde un terminal ​

La CLI responde sin ventana, que es como preguntaría un agente de IA:

bash
ducklocal query --format md --sql "
  SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
         count(*) AS trips
  FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
  GROUP BY 1 ORDER BY trips DESC LIMIT 3"

Para seguir ​

  • Trabaja sin conexión, o más rápido. Cada consulta vuelve a leer por la red las columnas que necesita. Para conservar una copia, ejecuta el SELECT * del paso 1 sin LIMIT y usa Exportar Parquet…: luego arrastra el archivo local y se convierte en una vista que puedes consultar por nombre.
  • Más meses. Los archivos siguen un patrón, yellow_tripdata_YYYY-MM.parquet. DuckDB lee una lista de ellos como una sola tabla: FROM read_parquet(['https://…/yellow_tripdata_2025-01.parquet', 'https://…/yellow_tripdata_2025-02.parquet']). Un glob (*) no funciona sobre HTTPS simple, porque no se puede listar un servidor web; sí funciona en S3.
  • Zonas. PULocationID y DOLocationID son números de zona de taxi; la NYC Taxi & Limousine Commission (TLC) publica la tabla de consulta que les da nombre.

Los datos los publica la TLC, que también documenta cada columna.

Publicado bajo la licencia Apache-2.0.