Machine Learning Engineering

dummy-img

Signalverarbeitung – Filter

Hung ManhAug 24, 20232 min read

Da ich noch nie wirklich mit Signalen gearbeitet habe, brauchte ich zunächst ein grundlegendes Verständnis von Filtern. Im Folgenden sind meine Notizen über Tiefpass- und Hochpassfilter aus dem Youtube-Video von ritvikmath. Terminologie Low-Pass und High-Pass Filter Low-Pass Filter High-Pass Filter…

Wie man zwei Zeitstempel in gleiche Teile teilt

Wie man zwei Zeitstempel in gleiche Teile teilt

Hung ManhAug 9, 20233 min read

Wie kann man gleichmäßige Zeitabstände zwischen zwei Zeitstempeln erzeugen?

Pytorch – Skalartyp Float erwartet, aber Double gefunden

Pytorch – Skalartyp Float erwartet, aber Double gefunden

Hung ManhDec 14, 20223 min read

TLDR: Der Standard-Datentyp eines Numpy-Arrays ist double/float64. Wenn ein Tensor aus diesem Array mit torch.as_tensor() erstellt wird, nimmt er diesen Datentyp an. Der Standarddatentyp eines neuronalen Netzwerkmodells ist allerdings float32. Die Verwendung des float64 Tensors als Eingabe für das NN-Modell…

Fehler beim Training eines Languagemodels – RuntimeError the expanded size of the tensor (100) must match the existing size (64) at non singleton dimension 1.

Fehler beim Training eines Languagemodels – RuntimeError the expanded size of the tensor (100) must match the existing size (64) at non singleton dimension 1.

Hung ManhJul 4, 20221 min read

Kontext Ich habe ein neues Sprachmodell von Grund auf mit dem Huggingface-Frameworkes und einem vorkonfiguriertem Roberta-Modells auf einem eigenen Datensatz trainiert. Nun wollt ich einen neuen Datensatz mit Hilfe des trainierten Modells vektorisieren. Beobachtung Es trat ein Fehler auf: Auflösung…

SentenceTransformer – float object is not subscriptable

SentenceTransformer – float object is not subscriptable

Hung ManhJun 1, 20222 min read

TLDR: np.nan Objekte sind fom Typ float Beobachtung Um numerische Repräsentationen für Dokumente (sogenannte Embeddings) zu erstellen habe ich mich dem SentenceTransformer (v2.2.0) bedient, allerdings wurde in vereinzelten Fällen der Fehler “TypeError: ‘float’ object is not subscriptable” geworfen. Der traceback…

Visuelle Erklärung der Multi-Head Attention

Visuelle Erklärung der Multi-Head Attention

Hung ManhMay 28, 20225 min read

Warum ändert sich bei einer Änderung der Anzahl der Heads eines Transformermodell nicht dessen Anzahl an Parametern? – Das war die Frage, die ich mir gestellt habe. Nachdem ich die entsprechende Matrizenmultiplikation nachvollzogen und zu einem entsprechendem Ergebnis gekommen bin,…

Evaluierung des Trainers der Transformer Bibliothek

Evaluierung des Trainers der Transformer Bibliothek

Hung ManhMay 4, 20221 min read

Innerhalb des Transformer Frameworkes kann ein Trainer Objekt lästigen Code für die Konfiguration der Traningspipeline einsparen. Mit den TrainingArguments können zusätzliche Parameter eingestellt werden. Eine der wichtigen Argumente ist die evaluation_strategy, welche als Standartwert “no” besitzt. Dies besagt, dass keine…

Unterschied zwischem dem Tokenizer und PreTrainedTokenizer

Unterschied zwischem dem Tokenizer und PreTrainedTokenizer

Hung ManhMar 17, 20225 min read

Da ich recht zufällig in des Transformers framework reingezogen wurde, hatte ich anfangs einige Probleme gehabt, die verschiedenen Komponenten zu verstehen. In diesem Beitrag würde ich gerne mein Verständnis zum Tokenizer teilen und wie man special_tokens einbauen kann, um sie…

Objekterkennung – Ein Überblick zur Mean Average Precision (mAP)

Objekterkennung – Ein Überblick zur Mean Average Precision (mAP)

Hung ManhDec 2, 202014 min read

Um die Performance verschiedener Modelle in der Objekterkennung vergleichbar zu machen ist eine einfache lesbare Metrik vorteilhaft. In diesem Beitrag wird die Mean Average Precision (mAP) vorgestellt.

hungsblog | Nguyen Hung Manh | Dresden
Nach oben scrollen