S3 und httpfs
DuckLocal kann Objekte aus S3 und S3-kompatiblem Speicher über die httpfs-Erweiterung von DuckDB lesen. Konfigurieren Sie das über die Schaltfläche S3 in der Titelleiste.
Zugangsdaten konfigurieren
Der Dialog hat vier Felder:
| Feld | Standard | Hinweise |
|---|---|---|
| Endpoint | s3.amazonaws.com | http:// wird berücksichtigt; sonst wird HTTPS verwendet |
| Region | us-east-1 | Wird so gesendet, wie eingegeben |
| Access Key ID | — | Erforderlich |
| Secret Access Key | — | Erforderlich, maskiert, mit Umschalter zum Anzeigen |
Bestätigen führt das Äquivalent zu Folgendem aus:
INSTALL httpfs; LOAD httpfs;
CREATE OR REPLACE SECRET ducklocal_s3 (
TYPE s3, PROVIDER config,
KEY_ID '…', SECRET '…',
REGION '…', ENDPOINT '…'
);Zugangsdaten gelten nur für die Sitzung. Sie werden nicht auf die Festplatte geschrieben und gelöscht, wenn Sie eine Datenbank öffnen oder wechseln; danach müssen Sie sie neu konfigurieren. Einen anderen Weg, Zugangsdaten zu löschen, als sie neu zu konfigurieren, gibt es nicht.
Durchsuchen
Sobald konfiguriert, erscheint eine Wurzel S3 in der Seitenleiste. Ihre Inhalte laden erst beim Aufklappen: Die Wurzel listet Buckets, und jeder Bucket bzw. jedes Präfix listet seine Objekte. Buckets und Präfixe sind sortiert, Objekte zeigen eine lesbare Größe. Über die Aktualisieren-Schaltfläche laden Sie eine Ebene neu oder versuchen es nach einem Fehler erneut.
Die Auflistung ist auf 1.000 Einträge pro Ebene begrenzt, auch wenn die Antwort mehr meldet. Es gibt kein tieferes Blättern, kein Präfix-Filterfeld und keine Suche — ein Bucket mit mehr als tausend Objekten auf einer Ebene erscheint vollständig, obwohl er es nicht ist.
Objekte abfragen
Ein Klick auf ein Objekt, dessen Schlüssel eine Datendatei-Endung hat, füllt den aktiven Editor mit:
SELECT *
FROM 's3://bucket/key'
LIMIT 100;Das ist eine gewöhnliche Abfrage: Das Lesen läuft über httpfs, daher gilt das Verhalten von DuckDBs read_parquet / read_csv_auto, inklusive Pushdown — Filter und Spaltenauswahl werden in das Lesen der Datei geschoben. Die Abfrage ersetzt, was der aktive Tab enthielt.
Nur Schlüssel, die als Datendateien erkannt werden, sind anklickbar. Die erkannten Endungen sind dieselben wie bei lokalen Dateien; siehe Datenquellen.
Einschränkungen
- Das Durchsuchen ist schreibgeschützt. Der Browser hat keine Aktion zum Hochladen, Herunterladen in eine Datei, Löschen, Kopieren oder Anlegen von Buckets. Abfragen laden entfernte Daten weiterhin herunter.
- Keine Session-Tokens. Der Header
X-Amz-Security-Tokenwird nie gesendet, daher funktionieren temporäre STS-Zugangsdaten nicht — verwenden Sie langlebige Schlüssel oder einen Endpoint, der Key/Secret allein akzeptiert. - Der Endpoint-Stil ist weitgehend automatisch. S3-URLs können einen Bucket auf zwei Arten adressieren: virtual-hosted addressing oder path style. Virtual-hosted addressing wird verwendet, wenn der Host
amazonaws.comenthält, sonst path style. Bei selbst gehosteten Gateways ist das meist gewünscht; für eines, das den anderen Stil braucht, gibt es keine Überschreibung. - Eine falsche Region wird einmal erneut versucht, mit der Region, die DuckDB zurückmeldet. Wenn auch das fehlschlägt, wird der Fehler unverändert angezeigt.
- Netzwerk ist erforderlich:
INSTALL httpfslädt die Erweiterung beim ersten Gebrauch. Das Durchsuchen sendet HTTP- oder HTTPS-Anfragen an den konfigurierten Endpoint (http://wählt HTTP; sonst wird HTTPS verwendet). Diese Anfragen senden Metadaten wie Bucket-Namen und Schlüssel-Präfixe sowie Authentifizierungsinformationen in signierten Headern; das Durchsuchen lädt keine lokalen Datenbankdateien oder Abfrageergebnisse hoch. Abfragen auf entfernten Objekten laden Daten überhttpfsauf Ihren Rechner herunter.
Fehlerbehebung
| Symptom | Wahrscheinliche Ursache |
|---|---|
| Das Durchsuchen schlägt direkt nach dem Konfigurieren fehl | Region oder Endpoint falsch; prüfen Sie die Meldung in der Seitenleiste |
| Fehler bei einem selbst gehosteten Endpoint | Falscher Addressing-Stil oder ein Endpoint, der ein Session-Token verlangt |
Fehler bei der Installation von httpfs | Kein Netzwerk oder ein Proxy, der den Download der Erweiterung blockiert |
| Zugangsdaten scheinen vergessen | Es wurde eine Datenbank geöffnet oder gewechselt, was sie konstruktionsbedingt löscht |
Wenn DuckLocal als signierte App gepackt ist, braucht das Laden der httpfs-Erweiterung das Entitlement com.apple.security.cs.disable-library-validation; das mitgelieferte Packaging-Skript enthält es bereits.
