Пример: 3,5 млн поездок такси по HTTPS
Нью-Йорк публикует каждую поездку жёлтого такси как файл Parquet. Январь 2025 года — это один файл на 59 МБ с 3 475 226 строками, и DuckLocal может запрашивать его там, где он лежит: без шага загрузки, без кластера, без импорта. Это руководство проведёт вас от первого взгляда до трёх графиков и дашборда, запрос за запросом. О более широком подходе «сначала файлы» см. локальный анализ данных с DuckDB SQL.
Это руководство предполагает, что вы прошли Ваши первые 10 минут или уже знакомы с основами: нажатие ⌘↵ (Ctrl+Enter в Windows и Linux) выполняет запрос в редакторе, а область результатов включает вкладку График.
Файл:
https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquetСеть
Первый запрос по адресу https:// заставляет DuckDB скачать расширение httpfs, поэтому один раз нужно быть онлайн. После этого каждый запрос читает только те части файла, которые ему нужны — файл Parquet хранит каждый столбец отдельно, и DuckDB запрашивает диапазоны байтов, а не файл целиком.
1. Посмотрите, прежде чем запрашивать
Вставьте это во вкладку запроса и нажмите ⌘↵:
SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
LIMIT 100;Сто строк, двадцать столбцов: время посадки и высадки, расстояние, тариф, чаевые, зоны посадки и высадки и способ оплаты поездки. Чтобы увидеть каждый столбец с его типом, а не прокручивать таблицу вбок, примените DESCRIBE к тому же запросу:
DESCRIBE SELECT *
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet';Используемые ниже:
| Столбец | Тип | Значение |
|---|---|---|
tpep_pickup_datetime | TIMESTAMP | Когда включился счётчик |
fare_amount | DOUBLE | Тариф по счётчику в долларах |
tip_amount | DOUBLE | Чаевые в долларах — только оплаченные картой, см. шаг 4 |
payment_type | BIGINT | 1 кредитная карта, 2 наличные, 3 без оплаты, 4 спор |
2. Месяц, час за часом
Сколько поездок началось в каждый час января?
SELECT date_trunc('hour', tpep_pickup_datetime) AS hour,
count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE tpep_pickup_datetime >= '2025-01-01'
AND tpep_pickup_datetime < '2025-02-01'
GROUP BY 1
ORDER BY 1;Он агрегирует все 3,5 млн строк в 744 — по одной на каждый час месяца — за пару секунд. Переключитесь на График: первый столбец — метка времени, поэтому DuckLocal рисует график области по времени. Каждый день виден как пик, и пики поднимаются и опускаются вместе с неделей; самый загруженный час месяца — 18:00 в четверг 16 января, 13 288 поездок.
Две детали делают график честным:
- Предложение
WHERE. Двадцать две поездки в файле начались вне января: 21 в новогоднюю ночь, одна — через 44 секунды после начала февраля. Без фильтра они добавляют четыре лишних часа на краях графика. ORDER BY 1. Графики рисуют строки в том порядке, в котором их вернул запрос.GROUP BYне обещает никакого порядка, поэтому без него линия шла бы зигзагом.
744 точки меньше лимита графика в 1 500 точек, поэтому каждый час рисуется как есть, а не усредняется по интервалам. Проверьте заголовок графика: в нём сказано, сколько точек нарисовано.
3. Форма дня
Сложите месяц в один день: поездки по часам суток, с 00:00 до 23:00.
SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
GROUP BY 1
ORDER BY 1;Теперь График рисует 24 столбца. Город тише всего в 04:00 (20 033 поездки за весь месяц) и оживлённее всего в 18:00 (267 951) — более чем в тринадцать раз больше.
Почему час — это текст
Подпись намеренно строится через format('{:02d}:00', …). График результатов рисует первый числовой столбец, а простой hour(…) — это число. Оно стало бы высотой столбцов, и вы получили бы аккуратную лестницу от 0 до 23 вместо количества поездок. Текстовый первый столбец — это подпись, а не значение. Дополнение нулями (04:00, а не 4:00) сохраняет правильный порядок текста при ORDER BY.
4. Кто даёт чаевые?
Чаевые как доля тарифа в зависимости от способа оплаты поездки:
SELECT CASE payment_type
WHEN 1 THEN 'Credit card' WHEN 2 THEN 'Cash'
WHEN 3 THEN 'No charge' WHEN 4 THEN 'Dispute'
ELSE 'Other'
END AS payment,
round(100 * avg(tip_amount / fare_amount), 1) AS tip_pct,
count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
WHERE fare_amount > 0
GROUP BY 1
ORDER BY trips DESC;| payment | tip_pct | trips |
|---|---|---|
| Credit card | 26.8 | 2444292 |
| Other | 2.7 | 455288 |
| Cash | 0.0 | 375850 |
| Dispute | 0.0 | 38787 |
| No charge | 0.1 | 15493 |
Пассажиры, платящие картой, оставляют около 27 % тарифа; платящие наличными, судя по данным, ничего. Это данные, а не пассажиры: счётчик записывает только чаевые, оплаченные картой. Чаевые наличными попадают в руки водителя и никогда не доходят до файла. Понимать, откуда берётся столбец, так же важно, как и сам SQL.
WHERE fare_amount > 0 не даёт возвратам и нулевым тарифам делить на ноль или переворачивать знак. График рисует tip_pct, потому что это первый числовой столбец; поставьте trips первым, чтобы вместо этого нарисовать объём.
5. Сохраните это как дашборд
Три запроса, которые стоит выполнять снова, достойны дашборда. Скачайте nyc-taxi.dash: в нём есть тренд по часам, столбцы по часам суток, график чаевых и таблица с числами за ними. Перетащите его в окно DuckLocal, и он откроется как вкладка, которая выполняет все запросы и рисует все графики.
Поскольку SQL читает абсолютный адрес https://, файл работает так и там, где его откроют. Прежде чем делиться им, ducklocal check может выполнить все запросы, чтобы доказать, что он работает:
ducklocal check nyc-taxi.dash # syntax and references only
ducklocal check nyc-taxi.dash --database any.duckdb # also runs each query6. То же самое из терминала
CLI отвечает без окна — именно так спросил бы ИИ-агент:
ducklocal query --format md --sql "
SELECT format('{:02d}:00', hour(tpep_pickup_datetime)) AS pickup_hour,
count(*) AS trips
FROM 'https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2025-01.parquet'
GROUP BY 1 ORDER BY trips DESC LIMIT 3"Что дальше
- Работайте офлайн или быстрее. Каждый запрос снова читает нужные столбцы по сети. Чтобы сохранить копию, выполните
SELECT *из шага 1 безLIMITи используйте Экспорт Parquet… — затем перетащите локальный файл, и он станет представлением, к которому можно обращаться по имени. - Больше месяцев. Файлы следуют одному шаблону,
yellow_tripdata_YYYY-MM.parquet. DuckDB читает их список как одну таблицу:FROM read_parquet(['https://…/yellow_tripdata_2025-01.parquet', 'https://…/yellow_tripdata_2025-02.parquet']). Glob (*) не работает по обычному HTTPS, потому что веб-сервер нельзя перечислить; он работает в S3. - Зоны.
PULocationIDиDOLocationID— это номера зон такси; NYC Taxi & Limousine Commission (TLC) публикует таблицу соответствий с их названиями.
Данные публикует TLC, которая также документирует каждый столбец.
