Zum Inhalt springen

S3 und httpfs ​

DuckLocal kann Objekte aus S3 und S3-kompatiblem Speicher über die httpfs-Erweiterung von DuckDB lesen. Konfigurieren Sie das über die Schaltfläche S3 in der Titelleiste.

Zugangsdaten konfigurieren ​

Der Dialog hat vier Felder:

FeldStandardHinweise
Endpoints3.amazonaws.comhttp:// wird berücksichtigt; sonst wird HTTPS verwendet
Regionus-east-1Wird so gesendet, wie eingegeben
Access Key ID—Erforderlich
Secret Access Key—Erforderlich, maskiert, mit Umschalter zum Anzeigen

Bestätigen führt das Äquivalent zu Folgendem aus:

sql
INSTALL httpfs; LOAD httpfs;
CREATE OR REPLACE SECRET ducklocal_s3 (
  TYPE s3, PROVIDER config,
  KEY_ID '…', SECRET '…',
  REGION '…', ENDPOINT '…'
);

Zugangsdaten gelten nur für die Sitzung. Sie werden nicht auf die Festplatte geschrieben und gelöscht, wenn Sie eine Datenbank öffnen oder wechseln; danach müssen Sie sie neu konfigurieren. Einen anderen Weg, Zugangsdaten zu löschen, als sie neu zu konfigurieren, gibt es nicht.

Durchsuchen ​

Sobald konfiguriert, erscheint eine Wurzel S3 in der Seitenleiste. Ihre Inhalte laden erst beim Aufklappen: Die Wurzel listet Buckets, und jeder Bucket bzw. jedes Präfix listet seine Objekte. Buckets und Präfixe sind sortiert, Objekte zeigen eine lesbare Größe. Über die Aktualisieren-Schaltfläche laden Sie eine Ebene neu oder versuchen es nach einem Fehler erneut.

Die Auflistung ist auf 1.000 Einträge pro Ebene begrenzt, auch wenn die Antwort mehr meldet. Es gibt kein tieferes Blättern, kein Präfix-Filterfeld und keine Suche — ein Bucket mit mehr als tausend Objekten auf einer Ebene erscheint vollständig, obwohl er es nicht ist.

Objekte abfragen ​

Ein Klick auf ein Objekt, dessen Schlüssel eine Datendatei-Endung hat, füllt den aktiven Editor mit:

sql
SELECT *
FROM 's3://bucket/key'
LIMIT 100;

Das ist eine gewöhnliche Abfrage: Das Lesen läuft über httpfs, daher gilt das Verhalten von DuckDBs read_parquet / read_csv_auto, inklusive Pushdown — Filter und Spaltenauswahl werden in das Lesen der Datei geschoben. Die Abfrage ersetzt, was der aktive Tab enthielt.

Nur Schlüssel, die als Datendateien erkannt werden, sind anklickbar. Die erkannten Endungen sind dieselben wie bei lokalen Dateien; siehe Datenquellen.

Einschränkungen ​

  • Das Durchsuchen ist schreibgeschützt. Der Browser hat keine Aktion zum Hochladen, Herunterladen in eine Datei, Löschen, Kopieren oder Anlegen von Buckets. Abfragen laden entfernte Daten weiterhin herunter.
  • Keine Session-Tokens. Der Header X-Amz-Security-Token wird nie gesendet, daher funktionieren temporäre STS-Zugangsdaten nicht — verwenden Sie langlebige Schlüssel oder einen Endpoint, der Key/Secret allein akzeptiert.
  • Der Endpoint-Stil ist weitgehend automatisch. S3-URLs können einen Bucket auf zwei Arten adressieren: virtual-hosted addressing oder path style. Virtual-hosted addressing wird verwendet, wenn der Host amazonaws.com enthält, sonst path style. Bei selbst gehosteten Gateways ist das meist gewünscht; für eines, das den anderen Stil braucht, gibt es keine Überschreibung.
  • Eine falsche Region wird einmal erneut versucht, mit der Region, die DuckDB zurückmeldet. Wenn auch das fehlschlägt, wird der Fehler unverändert angezeigt.
  • Netzwerk ist erforderlich: INSTALL httpfs lädt die Erweiterung beim ersten Gebrauch. Das Durchsuchen sendet HTTP- oder HTTPS-Anfragen an den konfigurierten Endpoint (http:// wählt HTTP; sonst wird HTTPS verwendet). Diese Anfragen senden Metadaten wie Bucket-Namen und Schlüssel-Präfixe sowie Authentifizierungsinformationen in signierten Headern; das Durchsuchen lädt keine lokalen Datenbankdateien oder Abfrageergebnisse hoch. Abfragen auf entfernten Objekten laden Daten über httpfs auf Ihren Rechner herunter.

Fehlerbehebung ​

SymptomWahrscheinliche Ursache
Das Durchsuchen schlägt direkt nach dem Konfigurieren fehlRegion oder Endpoint falsch; prüfen Sie die Meldung in der Seitenleiste
Fehler bei einem selbst gehosteten EndpointFalscher Addressing-Stil oder ein Endpoint, der ein Session-Token verlangt
Fehler bei der Installation von httpfsKein Netzwerk oder ein Proxy, der den Download der Erweiterung blockiert
Zugangsdaten scheinen vergessenEs wurde eine Datenbank geöffnet oder gewechselt, was sie konstruktionsbedingt löscht

Wenn DuckLocal als signierte App gepackt ist, braucht das Laden der httpfs-Erweiterung das Entitlement com.apple.security.cs.disable-library-validation; das mitgelieferte Packaging-Skript enthält es bereits.

Veröffentlicht unter der Apache-2.0-Lizenz.