MinIO kann Ordner nicht löschen – Behebung nicht löschbarer Dateien und verwaister Ordner

Uns ist aufgefallen, dass in MinIO ein Ordner manchmal auch nach einem Klick auf „Delete Folder“ in der Weboberfläche weiterhin angezeigt wird – und schlimmer noch: Er lässt sich anschließend überhaupt nicht mehr löschen. Schauen wir uns dieses Problem genauer an.1

Aktuelle Situation

Wir verwenden Spark, um Parquet-Dateien nach MinIO (RELEASE.2025-03-12T17-29-24Z) zu schreiben. Irgendwann begann Delta Lake folgenden Fehler auszugeben:

Caused by: org.apache.spark.sql.delta.DeltaAnalysisException: [DELTA_CREATE_TABLE_WITH_NON_EMPTY_LOCATION] 
Cannot create table ('`landingzone`.`testi_table`'). The associated location ('s3a://landing-zone/testi/table') is not empty and also not a Delta table.

Als wir den entsprechenden Pfad in der MinIO-Weboberfläche überprüften, konnten wir den Ordner jedoch nicht löschen. Darin befanden sich „Ordner“ mit der Endung .parquet, die jedoch leer zu sein schienen. Da sich diese nicht entfernen ließen, betrachtete Delta den Speicherort weiterhin als nicht leer und verweigerte die Erstellung der Tabelle.

Analyse

MinIO speichert Objekte auf Dateisystemebene anders, als sie in der Weboberfläche dargestellt werden.

Ein intaktes Objekt (z. B. eine Parquet-Datei) sieht folgendermaßen aus:

part-00000-...snappy.parquet/
├── xl.meta
└── <uuid>/
├── part.1
├── part.2
└── part.3

Auffällig ist die Datei xl.meta. Sie lässt sich zwar teilweise lesen, enthält jedoch auch nicht lesbare Zeichen und Symbole. Das deutet darauf hin, dass es sich um eine Binärdatei handelt, die Metadaten enthält und MinIO beschreibt, wie das Verzeichnis als einzelnes Objekt interpretiert werden soll.

In unserem fehlerhaften Fall sah die Struktur dagegen so aus:

part-00000-...snappy.parquet/
└── <uuid>/
    └── part.1

Hier fehlt die Datei xl.meta!

Unsere Interpretation / Hypothese
Ohne xl.meta kann MinIO dieses Verzeichnis offenbar nicht mehr als Objekt interpretieren. Dadurch entsteht folgendes Verhalten:

  • Die Weboberfläche zeigt das Verzeichnis als Ordner an (weil es auf Dateisystemebene tatsächlich ein Ordner ist).
  • Der Ordner erscheint jedoch leer, da MinIO die rohen Datenfragmente nicht mehr interpretieren kann.
  • mc-Befehle funktionieren nicht mehr zuverlässig.
  • Spark bzw. Delta erkennt dennoch, dass sich irgendetwas an diesem Speicherort befindet, wodurch die oben genannten Fehler ausgelöst werden.

Vermutlich entsteht dieser Zustand durch einen unterbrochenen Schreib- oder Löschvorgang, bei dem verwaiste Datenfragmente ohne die zugehörigen Metadaten zurückbleiben.

Lösung

Die einzige zuverlässige Lösung bestand darin, die beschädigten Objekte direkt auf Dateisystemebene zu entfernen. MinIO erlaubte dies, ohne dass ein Neustart des Containers erforderlich war. Anschließend war der Speicherort tatsächlich leer und Delta konnte die Tabelle wieder erfolgreich anlegen.

Wir haben außerdem verschiedene Ansätze mit dem MinIO-Client (mc) ausprobiert und unterschiedliche Optionen wie --version, --dangerous und --force getestet. Keiner dieser Ansätze war jedoch erfolgreich.

Weitere (verwandte) Resourcen

https://github.com/minio/minio/discussions/15257#discussioncomment-3109625

https://github.com/minio/minio/issues/16836

https://github.com/minio/minio/discussions/19516

  1. This blog post was drafted manually and then summarized, refined, and written with the help of ChatGPT 5.3. ↩︎

10 Kommentare zu „MinIO kann Ordner nicht löschen – Behebung nicht löschbarer Dateien und verwaister Ordner“

  1. Der Hinweis auf verwaiste Ordner nach Spark-/Delta-Lake-Schreibvorgängen ist besonders hilfreich. Gerade bei der genannten MinIO-Version sollte man neben der Weboberfläche auch unvollständige Multipart-Uploads und versteckte Objekte prüfen, bevor man den Ordner erneut löscht.

  2. Der Hinweis auf Spark und Delta Lake beim Schreiben von Parquet-Dateien ist besonders hilfreich, weil dadurch klar wird, dass das Problem nicht nur durch die MinIO-Weboberfläche entsteht. Eine Prüfung auf verwaiste Multipart-Uploads und unvollständige Objekte neben dem Aufräumen der Metadaten klingt hier nach einem sinnvollen Lösungsweg.

  3. Der Hinweis auf verwaiste Ordner nach Spark-/Delta-Lake-Schreibvorgängen mit Parquet-Dateien ist sehr hilfreich. Besonders nützlich wäre noch ein kurzer Hinweis, ob das Entfernen der betroffenen Objekte über die MinIO-CLI zuverlässiger funktioniert als über die Weboberfläche.

  4. Interessant, dass gerade beim Schreiben von Parquet-Dateien mit Spark und Delta Lake verwaiste Ordner in MinIO sichtbar bleiben und sich anschließend nicht mehr über die Weboberfläche löschen lassen. Der Hinweis auf die konkrete RELEASE.2025-03-12T17-29-24Z macht die beschriebene Fehleranalyse besonders nachvollziehbar.

  5. Der Hinweis auf verwaiste Ordner nach fehlgeschlagenen Spark-/Delta-Lake-Schreibvorgängen ist sehr hilfreich. Besonders wichtig finde ich den Bezug zur MinIO-Version RELEASE.2025-03-12T17-29-24Z, da sich damit prüfen lässt, ob das Problem versionsabhängig ist.

  6. Der Zusammenhang zwischen Spark-Parquet-Schreibvorgängen und den anschließend verwaist angezeigten Ordnern in MinIO ist sehr nachvollziehbar beschrieben. Besonders hilfreich ist der Hinweis auf die verwendete RELEASE.2025-03-12T17-29-24Z-Version und die Delta-Lake-Fehlermeldung als Ansatzpunkt für die Fehlersuche.

  7. Der Hinweis auf verwaiste Ordner nach Spark-/Delta-Lake-Schreibvorgängen ist sehr hilfreich. Besonders wichtig ist der Bezug zur MinIO-Version RELEASE.2025-03-12T17-29-24Z, da dadurch klar wird, dass solche Löschprobleme auch durch inkonsistente Metadaten oder unvollständig entfernte Parquet-Dateien entstehen können.

  8. Interessant, dass gerade beim Schreiben von Parquet-Dateien mit Spark und Delta Lake verwaiste Ordner in MinIO sichtbar bleiben. Der Hinweis auf RELEASE.2025-03-12T17-29-24Z ist besonders hilfreich, weil sich damit prüfen lässt, ob das Verhalten versionsabhängig ist.

  9. Interessant, dass der verwaiste Ordner offenbar durch fehlgeschlagene Spark-/Delta-Lake-Schreibvorgänge mit Parquet-Dateien und nicht durch die Weboberfläche selbst entsteht. Der Hinweis auf die verwendete MinIO-Version RELEASE.2025-03-12T17-29-24Z ist dabei besonders hilfreich, um das Verhalten gezielt nachzustellen.

  10. Interessant, dass das Problem beim Schreiben der Parquet-Dateien mit Spark und MinIO RELEASE.2025-03-12T17-29-24Z auftrat und sich die verwaisten Ordner anschließend auch über die Weboberfläche nicht entfernen ließen. Besonders hilfreich wäre noch ein Hinweis, ob die Ursache in offenen Multipart-Uploads, S3-Versionierung oder der Delta-Lake-Bereinigung lag.

Schreibe einen Kommentar

Your email address will not be published. Required fields are marked *

hungsblog
Nach oben scrollen