Перейти к содержимому

Пример: 3,5 млн поездок такси по HTTPS ​

Нью-Йорк публикует каждую поездку жёлтого такси как файл Parquet. Январь 2025 года — это один файл на 59 МБ с 3 475 226 строками, и DuckLocal может запрашивать его там, где он лежит: без шага загрузки, без кластера, без импорта. Это руководство проведёт вас от первого взгляда до трёх графиков и дашборда, запрос за запросом. О более широком подходе «сначала файлы» см. локальный анализ данных с DuckDB SQL.

Это руководство предполагает, что вы прошли Ваши первые 10 минут или уже знакомы с основами: нажатие ⌘↵ (Ctrl+Enter в Windows и Linux) выполняет запрос в редакторе, а область результатов включает вкладку График.

Файл:

text
https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet

Сеть

Первый запрос по адресу https:// заставляет DuckDB скачать расширение httpfs, поэтому один раз нужно быть онлайн. После этого каждый запрос читает только те части файла, которые ему нужны — файл Parquet хранит каждый столбец отдельно, и DuckDB запрашивает диапазоны байтов, а не файл целиком.

1. Посмотрите, прежде чем запрашивать ​

Вставьте это во вкладку запроса и нажмите ⌘↵:

sql
SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
LIMIT 100;

Сто строк, двадцать столбцов: время посадки и высадки, расстояние, тариф, чаевые, зоны посадки и высадки и способ оплаты поездки. Чтобы увидеть каждый столбец с его типом, а не прокручивать таблицу вбок, примените DESCRIBE к тому же запросу:

sql
DESCRIBE SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet';

Используемые ниже:

СтолбецТипЗначение
tpep_pickup_datetimeTIMESTAMPКогда включился счётчик
fare_amountDOUBLEТариф по счётчику в долларах
tip_amountDOUBLEЧаевые в долларах — только оплаченные картой, см. шаг 4
payment_typeBIGINT1 кредитная карта, 2 наличные, 3 без оплаты, 4 спор

2. Месяц, час за часом ​

Сколько поездок началось в каждый час января?

sql
SELECT date_trunc('hour', tpep_pickup_datetime) AS hour,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE tpep_pickup_datetime >= '2025-01-01'
  AND tpep_pickup_datetime <  '2025-02-01'
GROUP BY 1
ORDER BY 1;

Он агрегирует все 3,5 млн строк в 744 — по одной на каждый час месяца — за пару секунд. Переключитесь на График: первый столбец — метка времени, поэтому DuckLocal рисует график области по времени. Каждый день виден как пик, и пики поднимаются и опускаются вместе с неделей; самый загруженный час месяца — 18:00 в четверг 16 января, 13 288 поездок.

Две детали делают график честным:

  • Предложение WHERE. Двадцать две поездки в файле начались вне января: 21 в новогоднюю ночь, одна — через 44 секунды после начала февраля. Без фильтра они добавляют четыре лишних часа на краях графика.
  • ORDER BY 1. Графики рисуют строки в том порядке, в котором их вернул запрос. GROUP BY не обещает никакого порядка, поэтому без него линия шла бы зигзагом.

744 точки меньше лимита графика в 1 500 точек, поэтому каждый час рисуется как есть, а не усредняется по интервалам. Проверьте заголовок графика: в нём сказано, сколько точек нарисовано.

3. Форма дня ​

Сложите месяц в один день: поездки по часам суток, с 00:00 до 23:00.

sql
SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
GROUP BY 1
ORDER BY 1;

Теперь График рисует 24 столбца. Город тише всего в 04:00 (20 033 поездки за весь месяц) и оживлённее всего в 18:00 (267 951) — более чем в тринадцать раз больше.

Почему час — это текст

Подпись намеренно строится через format('{:02d}:00', …). График результатов рисует первый числовой столбец, а простой hour(…) — это число. Оно стало бы высотой столбцов, и вы получили бы аккуратную лестницу от 0 до 23 вместо количества поездок. Текстовый первый столбец — это подпись, а не значение. Дополнение нулями (04:00, а не 4:00) сохраняет правильный порядок текста при ORDER BY.

4. Кто даёт чаевые? ​

Чаевые как доля тарифа в зависимости от способа оплаты поездки:

sql
SELECT CASE payment_type
         WHEN 1 THEN 'Credit card' WHEN 2 THEN 'Cash'
         WHEN 3 THEN 'No charge'   WHEN 4 THEN 'Dispute'
         ELSE 'Other'
       END AS payment,
       round(100 * avg(tip_amount / fare_amount), 1) AS tip_pct,
       count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE fare_amount > 0
GROUP BY 1
ORDER BY trips DESC;
paymenttip_pcttrips
Credit card26.82444292
Other2.7455288
Cash0.0375850
Dispute0.038787
No charge0.115493

Пассажиры, платящие картой, оставляют около 27 % тарифа; платящие наличными, судя по данным, ничего. Это данные, а не пассажиры: счётчик записывает только чаевые, оплаченные картой. Чаевые наличными попадают в руки водителя и никогда не доходят до файла. Понимать, откуда берётся столбец, так же важно, как и сам SQL.

WHERE fare_amount > 0 не даёт возвратам и нулевым тарифам делить на ноль или переворачивать знак. График рисует tip_pct, потому что это первый числовой столбец; поставьте trips первым, чтобы вместо этого нарисовать объём.

5. Сохраните это как дашборд ​

Три запроса, которые стоит выполнять снова, достойны дашборда. Скачайте nyc-taxi.dash: в нём есть тренд по часам, столбцы по часам суток, график чаевых и таблица с числами за ними. Перетащите его в окно DuckLocal, и он откроется как вкладка, которая выполняет все запросы и рисует все графики.

Поскольку SQL читает абсолютный адрес https://, файл работает так и там, где его откроют. Прежде чем делиться им, ducklocal check может выполнить все запросы, чтобы доказать, что он работает:

bash
ducklocal check nyc-taxi.dash                         # syntax and references only
ducklocal check nyc-taxi.dash --database any.duckdb   # also runs each query

6. То же самое из терминала ​

CLI отвечает без окна — именно так спросил бы ИИ-агент:

bash
ducklocal query --format md --sql "
  SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
         count(*) AS trips
  FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
  GROUP BY 1 ORDER BY trips DESC LIMIT 3"

Что дальше ​

  • Работайте офлайн или быстрее. Каждый запрос снова читает нужные столбцы по сети. Чтобы сохранить копию, выполните SELECT * из шага 1 без LIMIT и используйте Экспорт Parquet… — затем перетащите локальный файл, и он станет представлением, к которому можно обращаться по имени.
  • Больше месяцев. Файлы следуют одному шаблону, yellow_tripdata_YYYY-MM.parquet. DuckDB читает их список как одну таблицу: FROM read_parquet(['https://…/yellow_tripdata_2025-01.parquet', 'https://…/yellow_tripdata_2025-02.parquet']). Glob (*) не работает по обычному HTTPS, потому что веб-сервер нельзя перечислить; он работает в S3.
  • Зоны. PULocationID и DOLocationID — это номера зон такси; NYC Taxi & Limousine Commission (TLC) публикует таблицу соответствий с их названиями.

Данные публикует TLC, которая также документирует каждый столбец.

Опубликовано под лицензией Apache-2.0.