Wann man das Training stoppen sollte
Last updated
Last updated
AugeLab Studio berechnet automatisch die optimale Trainingszeit für Ihre Modelle. Das Training stoppt automatisch, wenn es endet.
Das Training eines Objekterkennungsmodells erfordert eine sorgfältige Überlegung, wann der Trainingsprozess gestoppt werden sollte. Das rechtzeitige Stoppen des Trainings kann die Leistung, die Generalisierungsfähigkeiten und die Effizienz des Modells erheblich beeinflussen.
Dieser Leitfaden soll Forschern, Entwicklern und Praktikern wertvolle Einblicke geben, um den optimalen Stoppunkt während des Modelltrainings zu bestimmen.
Wenn dies Ihr erstes Training ist, können Sie die Starter Checkliste befolgen.
Überwachen Sie während des Trainings kontinuierlich den Fortschritt des Modells. Behalten Sie wichtige Leistungsmetriken im Auge, wie zum Beispiel:
Verlust
mAP
IOU
Iterationen
Die Werte für Verlust und mAP werden in einem Diagramm angezeigt, wie unten:
Alle Metriken können stark variieren durch:
Datenvielfalt
Datengröße
Annotierungsgenauigkeit
Modellgröße
Die unten angegebenen Zahlen dienen nur dazu, Anfängern einen ersten Anhaltspunkt zu geben.
Der Verlust wird mit blauen Punkten im Trainingsdiagramm angezeigt und repräsentiert, wie weit die Modellgenauigkeit von den bereitgestellten Trainingsdaten entfernt ist.
Der Trainingsverlust kann überwacht werden, um die Modellgenauigkeit und Übertraining im Auge zu behalten. Verschiedene Bereiche des Trainingsverlustwerts können folgendes anzeigen:
Der Verlust selbst gibt nicht genügend Informationen darüber, wie genau die Daten sind. Konsultieren Sie mAP für einen Parameter, der genauer widerspiegelt.
Ein generisches Modell, das einen Anhaltspunkt dafür gibt, wie generisch und genau die Datenbank ist. Für nicht spezifische Datenbanken sollte dies ein einigermaßen genaues Modell ergeben, das bereit ist, den Trainingsprozess zu bewerten.
Wie im obigen Diagramm gezeigt, können Verlustwerte um 2.0 möglicherweise keine genauen Modelle erzeugen.
Eine spezialisierte Datenbank kann verwendet werden, um Verlustwerte unter 1.0 zu erreichen und ist ein guter Indikator für eine spezialisierte Datenbank.
Ein feinabgestimmtes Modell, das bereit ist, getestet und bereitgestellt zu werden. Nach Erreichen dieses Wertes kann die Verbesserung des Verlustwertes deutlich länger dauern als in den ersten Phasen des Trainings.
Die mAP (mean average precision) Metrik kombiniert sowohl Präzision als auch Recall, um eine umfassende Bewertung der Genauigkeit des Modells bei der Erkennung von Objekten in einem Bild zu bieten.
Sie wird berechnet, indem Vorhersagekästen mit Überlappungen der wahrheitsgemäßen Annotationen verglichen werden.
mAP als Prozentsatz spiegelt nicht wider, ob eine Erkennung korrekt oder nicht ist. Sie spiegelt die durchschnittliche Überlappung der Begrenzungsrahmen zwischen dem Trainingsdatensatz und der Vorhersage wider.
Während des Trainings wird das Erreichen von Werten um %90 im Allgemeinen als gutes Modell angesehen. Werte über %90 werden häufig als Überanpassung. betrachtet.
IOU (Intersection over Union) misst die Überlappung zwischen vorhergesagten und echten Begrenzungsrahmen für einzelne Objekterkennungen. mAP bewertet die Gesamtleistung des Objekterkennungsmodells über alle Objektkategorien hinweg, wobei sowohl Präzision als auch Recall berücksichtigt werden.
Je höher der IOU-Wert, desto besser ist die Vorhersage.
Sie können jeden IOU in den Protokollen des Trainingsfensters verfolgen:
Definieren Sie ein maximales Trainingszeitbudget basierend auf den verfügbaren Rechenressourcen und den Projektanforderungen. Wenn das Modell innerhalb der vorgegebenen Zeit keine zufriedenstellende Leistung erbringt, sollten Sie in Betracht ziehen, das Training zu stoppen und andere Ansätze zu erkunden, wie zum Beispiel:
Manuelle Analyse der Annotierungsgenauigkeit
Überprüfung der Klassenvielfalt
Auswahl anderer Modell- und Batchgrößen
Erhöhung der Datenbankgröße
Vermeiden Sie Überanpassung, indem Sie die Trainings- und Validierungsverluste überwachen. Dies geschieht normalerweise, wenn der Trainingsverlust den Großteil seiner Abwärtsbewegung verliert und sich zu stabilisieren beginnt.
In spezialisierten Datenbanken oder Fällen ist Überanpassung jedoch nicht immer eine schlechte Sache. Vorausgesetzt, Sie haben genügend Daten, kann ein übertrainiertes Modell von Vorteil sein.
Balancieren Sie die Trainingszeit mit der gewünschten Modellleistung. In einigen Fällen kann eine zusätzliche Trainingsiteration die Leistung verbessern, allerdings können die Erträge im Laufe der Zeit abnehmen. Wiegen Sie die Vorteile gegenüber den Rechenkosten und der Dringlichkeit des Projekts ab.
In der Regel kann die Trainingsdauer, abhängig von der Anzahl der Klassen und der Größe der Datenbank, zwischen einem Tag und einer Woche variieren.
Datenbank:
Modell:
Training (stoppen, wenn):
