Evaluierung des Trainers der Transformer Bibliothek

Innerhalb des Transformer Frameworkes kann ein Trainer Objekt lästigen Code für die Konfiguration der Traningspipeline einsparen. Mit den TrainingArguments können zusätzliche Parameter eingestellt werden.

Eine der wichtigen Argumente ist die evaluation_strategy, welche als Standartwert “no” besitzt. Dies besagt, dass keine Evaluation während des Trainings stattefindet. Diese kann entsprechend umgestelllt werden und auch so konfiguriert werden, dass sie in Abhängigkeit der Schritte oder Epochen evaluiert. Hierzu muss selsbtverständlich dann auch der Evaluations Datensatz dem Trainer mit übergeben werden.

# Example snippet

training_args = TrainingArguments(
        [..]
        evaluation_strategy="steps",
        eval_steps=100,
    )

trainer = Trainer(
        [..]
        args=training_args
        train_dataset=train,
        eval_dataset=eval
    )

Weiteres Infomaterial:

Fine-tuning a model with the Trainer API, access under: https://huggingface.co/course/chapter3/3?fw=pt