Data Engineering

Superset Guest Token mit Python erstellen, um Superset Dashboard zu embedden

Superset Guest Token mit Python erstellen, um Superset Dashboard zu embedden

Hung Manh Dec 30, 2022 4 min read

Das große Ziel ist es, ein Superset Dashboard in einer Webanwendung z.B. in REACT einzubetten. Um das zu erreichen, muss unter anderem ein Guest Token (Service Account) erstellt werden. Da dieser Prozess (meiner Meinung nach) nicht ganz ausreichend gut dokumentiert…

Airflow – “Fill Dagbag” dauert zu lange

Airflow – “Fill Dagbag” dauert zu lange

Hung Manh Dec 14, 2022 4 min read

TLDR: Es ist möglich, DAGs mit nur einem Skript dynamisch zu erstellen. Bei der Ausführung der Tasks wird jedoch das ursprüngliche DAG-Skript noch einmal geparset. Dies führt zu unnötigen Parsing-Iterationen von DAGs, die nicht zum aktuellen Task zugehörig sind. Beobachtung:…

Migration von Kubernetes in ein VCN Natives Cluster in der OCI

Migration von Kubernetes in ein VCN Natives Cluster in der OCI

Hung Manh Dec 2, 2022 3 min read

Euer managed Kubernetes Cluster in der OCI könnte eine kleine Anzeige besitzen, die besagt, dass eine “Migration erforderlich” ist. Das liegt daran, dass in früheren Releases (vor dem 16. März die der Kubernetes API-Endpunkt von der Container Engine zwar bereitgestellt,…

Statistiken, Statistiken, Statistiken!

Statistiken, Statistiken, Statistiken!

Hung Manh Feb 3, 2022 3 min read

Wir hatten eine moderat komplexe Query, die ca. 270000 Zeilen umfasste, allerdings über eine Stunde lief. Nachdem Statistiken zu der darunterliegenden Tabelle aktualisiert wurden, lief die Query in nur 4 Sekunden durch.

Kubernetes pod steckt im pending Status fest. Nodes had no available volume.

Kubernetes pod steckt im pending Status fest. Nodes had no available volume.

Hung Manh Jan 30, 2022 2 min read

Ein deployter pod steckt im pending Status fest. Ein kurzer Blick auf den pod gibt eine Warnung aus: 0/3 nodes are available: 3 node(s) had no available volume zone.

Airflow Tasks werden nicht zur spezifizierten Zeit ausgeführt

Airflow Tasks werden nicht zur spezifizierten Zeit ausgeführt

Hung Manh Dec 9, 2021 4 min read

Wir haben ein Problem beobachtet, bei denen unsere Dags nicht zur spezifizierten Zeit, sondern konsistent zu einer scheinbar zufälligen Zeit ausgeführt wurden.

dummy-img

Objekte im OCI bucket verschieben

Hung Manh Jul 26, 2021 2 min read

Gerade bin ich wohl über einer meiner Meisterstreiche in Sachen Dokumentation gestolpert. In der oracle cloud lassen sich Objekte nicht einfach verschieben, stattdessen geschieht dies über einen Umweg von Kopier- und Löschvorgängen.

pgadmin in Kubernetes – mount Permission denied

pgadmin in Kubernetes – mount Permission denied

Hung Manh Jul 2, 2021 2 min read

Wenn ein PVC im k8 Cluster angebunden wurde, um die Daten von pgadmin zu persistieren, wird möglicherweise ein mount permission denied Fehler auftreten

NULL Werte und ihre Tücken

NULL Werte und ihre Tücken

Hung Manh Aug 6, 2020 4 min read

Merke: Am besten keine NULL Werte in kritischen Spalten zulassen, die für Vergleichsoperationen genutzt werden Wenn NULL Werte mit anderen Zeichenketten verglichen werden, so ist das Ergebnis stets falsch. Dies kann zu hoher Frustration und Verwirrung führen, da es nicht…

hungsblog | Nguyen Hung Manh | Dresden
Nach oben scrollen