Benutzerdefinierte HMI-Anwendungen bereitstellen

1. WAS IST DAS REZEPFENFENSTER

Das Rezeptfenster ermöglicht es Ihnen, mehrere Bildverarbeitungsaufgaben (Rezeptregeln) als eine einzige Anwendung (Rezept) über eine einfache Benutzeroberfläche zu erstellen und zu verwalten. Sie richten diese Rezepte in AugeLab Studio während der Projektentwicklungsphase ein und können sie später über das Rezeptfenster leicht bereitstellen oder ändern. Dies hilft Ihnen, komplexe Bildverarbeitungsprojekte zu entwickeln, zu überwachen und zu testen, ohne fortgeschrittene technische Fähigkeiten zu benötigen.

2. WIE MAN DAS REZEPTFENSTER INSTALLIERT / STARTET

Das Rezeptfenster kann als externe Anwendung verwendet werden (es ist nicht erforderlich, AugeLab Studio zu öffnen). Das Rezeptfenster kann über AugeLab Studio installiert werden. Klicken Sie auf "Tools -> Install Recipe Window" in der Menüleiste.

INSTALLATION DES REZEPTFENSTERS

Nach der Installation wird eine Verknüpfung (AugeLab Studio - Recipe Window) auf dem Desktop erstellt. Mit dieser Verknüpfung kann das Rezeptfenster als externe Anwendung verwendet werden (es ist nicht erforderlich, AugeLab Studio zu öffnen).

3. BENUTZEROBERFLÄCHE

Im Rezeptfenster gibt es drei Unterfenster. Diese Unterfenster sind:

• EDITORWINDOW

  • Rezepte können in diesem Fenster erstellt / geändert werden.

• VIEWWINDOW

  • Erstellt Rezepte können im Ansichtsfenster überwacht werden.

• TESTWINDOW

  • Erstellt Rezepte können in diesem Fenster mit den gegebenen Testbildern getestet werden.

BENUTZEROBERFLÄCHEN DES REZEPTFENSTERS

3.1. EDITORWINDOW

Dies ist das Editorfenster in der Rezeptfenster-Anwendung. In diesem Fenster kann der Benutzer Rezepte erstellen / ändern. Lassen Sie uns Schritt für Schritt prüfen, wie es funktioniert.

EDITORWINDOW

1. BUTTON MODELL LADEN

   Rezepte werden basierend auf der Rezeptmodellkonfiguration erstellt. Dieses Modell enthält alle Bildverarbeitungsverfahren und wird in AugeLab Studio erstellt. Diese Modell-Datei wird im Abschnitt REZEPTMODELL ausführlich erklärt.

2. KAMERA CONFIG BEARBEITEN

   Kameras werden als Bildquelle für Rezeptregeln verwendet. Jede Regel benötigt eine Bildquelle, um eine Bildverarbeitungsaufgabe auszuführen. Bevor Sie mit der Erstellung eines Rezepts beginnen, muss die Kamerakonfiguration festgelegt werden. Diese Konfiguration kann über das Kamerakonfigurationsfenster eingestellt werden. Alle verbundenen Kameras werden in diesem Fenster aufgelistet. Die Kamerarauflösung und erweiterte Einstellungen (Belichtung, Weißabgleich, ... mit dem BUTTON KAMERAEINSTELLUNG) müssen für jede Kamera festgelegt werden. Bilder können über den Button KAMERA ÜBERPRÜFEN überprüft werden. Wenn es ein Problem mit der Kamera gibt (z. B. Verbindungsprobleme), können alle verbundenen Kameras über die entsprechenden Tasten NEU SCANNEN oder FREIGEBEN werden. Nachdem alle Konfigurationen abgeschlossen sind, speichern Sie die Konfiguration über die Schaltfläche KONFIGURATION SPEICHERN.

KAMERAKONFIGURATIONSFENSTER

1. KAMERA AUSWÄHLEN

   Wie bereits erwähnt, benötigt jede Rezeptregel eine Bildquelle (Kamera). Bevor eine Rezeptregel erstellt wird, muss eine Kamera ausgewählt werden.

2. REGELCONFIG FESTLEGEN

   Nach der Kamerawahl muss ein Regeltyp ausgewählt werden, basierend auf den Anforderungen. Diese Rezeptregeln sind basierend auf dem [Rezeptmodell] aufgelistet. Ein Rezept kann mehrere Regeln haben, jede Regel muss einen eindeutigen Namen haben, um zwischen mehreren Regeln unterschieden zu werden.

3. REGELBILD FESTLEGEN

   Bilder können im Rezeptfenster auf verschiedene Weisen erfasst werden:

   • BILD AUFNEHMEN-Taste

     • Sofort ein Bild von der ausgewählten Kamera erfassen und anzeigen.\

   • BILD IMPORTIEREN-Taste

     • Eine Bilddatei kann auch anstelle der Kamera als Bildquelle verwendet werden.

     ⚠️ Die Bildauflösung muss mit der Kamerarauflösung übereinstimmen.

   • BILD MIT AUSLÖSER AUFNEHMEN-Taste

     • Ein Auslöser muss in Rezeptmodell definiert werden, um ein Bild zu erhalten, wenn das zugehörige Objekt erkannt wird, um die definierte Bildverarbeitungsaufgabe in der Modell-Datei auszuführen. Diese Taste wartet auf den Auslöser und erfasst dann das Bild.\

4. BEREICH AUSWÄHLEN

   Der Benutzer benötigt möglicherweise einen bestimmten Bereich im Kamerabild / -video, um Bildverarbeitungsaufgaben auszuführen. Nachdem Sie auf die Schaltfläche BEREICH AUSWÄHLEN geklickt haben, kann der Benutzer diesen Bereich im Bild mit Klick und Ziehen der Maus festlegen.

5. OBJEKTBEREICH AUSWÄHLEN

   Der Benutzer muss möglicherweise ein Referenzbild für bestimmte Bildverarbeitungsaufgaben (wie das Finden eines Objekts) erstellen. Dieses Referenzobjektbild kann mit der Schaltfläche OBJEKT AUSWÄHLEN festgelegt werden. Nachdem der Benutzer auf diese Schaltfläche klickt, kann der Bereich des Objekts im Bild mit Klick und Ziehen der Maus festgelegt werden.

6. REGELBETRIEBE

   Bisher haben wir folgende Schritte abgeschlossen:

   • Kamerakonfiguration abgeschlossen

   • Regeltyp und -name definiert

   Durch Klicken auf die Schaltfläche REGEL HINZUFRAGEN werden all diese Konfigurationen zusammengeführt und als Regel in das Rezept aufgenommen.

   ** REGEL AKTUALISIEREN: Klicken Sie auf die zugehörige Regel in der Regel-Tabelle, aktualisieren Sie einen Parameter (Kamera, Regeltyp, Objektbereich, ...) und klicken Sie auf die Schaltfläche REGEL AKTUALISIEREN. ** REGEL LÖSCHEN: Klicken Sie auf die zugehörige Regel in der Regel-Tabelle, klicken Sie auf die Schaltfläche REGEL LÖSCHEN.\

7. REZEPT SPEICHERN

   Als letzter Schritt müssen alle erstellten Regelkonfigurationen mit den zugehörigen Bildern und Kamerakonfigurationen als Datei mit der Schaltfläche REZEPT SPEICHERN gespeichert werden.

3.2. VIEWWINDOW

Im vorherigen Abschnitt haben wir die Funktionen des Editorfensters geprüft und gelernt, wie man neue Rezepte erstellt. Im View Window können diese erstellten Rezepte als Prozess gestartet werden, und das Ergebnis kann wie unten gezeigt überprüft werden.

VIEWWINDOW

Lassen Sie uns Schritt für Schritt prüfen, wie dieses View Window verwendet wird:\

1. REZEPTNAMEN DEFINIEREN UND AUSFÜHREN\

   Im ersten Schritt muss der Rezeptname definiert werden, um das Rezept auszuführen. Wenn es ein verfügbares gespeichertes Rezept mit dem angegebenen Namen gibt. Wenn die Schaltfläche AUSFÜHREN gedrückt wird und alle Konfigurationen gültig und der Auslöser wahr sind, beginnt das Modell mit der Ausführung, und die Ergebnisse werden nacheinander im Bild- und Tabellenansicht angezeigt.\

2. ERGEBNISSE ÜBERPRÜFEN Wie in den vorherigen Abschnitten erwähnt, kann ein Rezept mehrere Regeln haben. Wie im obigen Bild dargestellt, wurde das Rezept mit dem Namen pi geladen und ausgeführt. Da es in diesem Rezept zwei Regeln gibt, gibt es in dem angezeigten Bild zwei umrandete Bilder.\

   In diesem Beispiel gibt es einen Fehler in der Kreisregel im letzten Lauf. Um den Fehler in der Benutzeroberfläche anzuzeigen, gibt es einen roten Rand um das zugehörige Regelbild, und auch ein NOK-Indikator wird in der Tabellenansicht angezeigt. Zudem wird der Regelname, der als NOK erkannt wurde, angezeigt.\

   In der Tabellenansicht gibt es zudem einen Zähler, der anzeigt, wie viele Produkte verarbeitet wurden und wie viele Produkte als NOK erkannt wurden. In diesem Beispiel gab es 12 Läufe, was bedeutet, dass 12 Produkte ausgelöst und verarbeitet wurden, und es gibt 1 Produkt, das für alle Rezeptregeln nicht gültig ist.\

   RESET BUTTON : Der Zähler kann zurückgesetzt werden, wenn der Reset-Knopf gedrückt wird. REZEPT NEULADEN BUTTON : Wenn Änderungen am Rezept vorgenommen wurden, kann das Rezept mit Klick auf diese Schaltfläche neu geladen werden, sodass kein Neustart der Anwendung erforderlich ist.

3.3. TESTWINDOW

Bevor Sie das erstellte Rezept ausführen, müssen die Benutzer möglicherweise die Rezepte testen. Im Test Window können die erstellten Rezepte mit gegebenen Bilddateien getestet werden. Der Benutzer muss lediglich einen Bildordner auswählen, der mehrere Bilder für jedes Kameraobjekt im Rezept enthält. Nach dem Laden der Bilder können diese durch Klicken auf den Bildpfad, der in einer Tabellenansicht auf der linken Seite aufgelistet ist, überprüft werden. Wenn alle Bilder korrekt geladen wurden, kann das Rezept für jedes Bild durch Klicken auf die Schaltfläche TEST AUSFÜHREN ausgeführt werden. Nachdem der Lauf abgeschlossen ist, werden alle Eingabebilder durch Ergebnisbilder ersetzt, sodass diese Bilder durch Klicken darauf überprüft werden können. Das Layout des Ergebnisbildes ist das gleiche wie im View Window, jede Regel wird in einer umrandeten Ansicht im Hauptbild angezeigt.\

⚠️

• Geladene Bildauflösungen müssen mit der Kamerarauflösung übereinstimmen, die im Rezept definiert ist. Die Auflösungen der geladenen Bilder können in der unteren linken Ecke des Fensters überprüft werden.

• Wenn mehrere Kameras für das Rezept verwendet werden, müssen die geladenen Bildordner für jede Kamera getrennt werden, und die Bildzählungen müssen übereinstimmen, um das Modell erfolgreich für jedes Bildpaar auszuführen.

TESTWINDOW

4. REZEPTMODELL

Wie bereits erwähnt; Ein Rezept besteht aus mehreren Rezeptregeln, und die Rezeptregel ist im Wesentlichen ein Bildverarbeitungsverfahren. Dieses Verfahren ist eine Kombination von Bildverarbeitungsaufgaben. Es gibt zwei Standard-Rezeptregeln im Rezeptfenster, aber der Benutzer ist verantwortlich dafür, seine eigenen Verfahren basierend auf seinen Bedürfnissen zu erstellen.

Das Rezeptmodell ist eine Datei, die in AugeLab Studio erstellt wurde. Das Layout dieser Modell-Datei ist im folgenden Bild dargestellt:

LAYOUT DES REZEPTMODELLS

Es gibt 4 Abschnitte in der Modell-Datei:

• Rezeptlade-Plugin: Diese Plugin-Datei liest die Rezeptdatei und erhält alle Konfigurationen (Kamerakonfiguration, Regel Daten, ...), und sendet diese Daten an andere Komponenten.

• Trigger-Subsystem Überprüfen: Diese Komponente erhält das Triggerregel (Frame, Konfigurationen) als Eingabe, erstellt ein Trigger-Signal, welches bedeutet, dass die Kamera das zugehörige Objekt erkannt hat und die Bildverarbeitungsaufgaben gestartet werden können.

• HAUPTSUBSYSTEM: Diese Komponente besteht aus allen Bildverarbeitungsverfahren und führt alle Verfahren basierend auf den gegebenen Eingaben (Regeldaten, Trigger-Signal) aus.

• Überprüfen der Ergebnissubsystem: Das HAUPTSUBSYSTEM gibt viele Ausgaben (Bilder, Signale, ...) für jede Regel zurück. Diese Komponente verarbeitet alle Eingabedaten und gibt Bilder zurück (ein Bild für jede Regel) und Signale (ein Signal für jede Regel).

Der Benutzer sollte nur das HAUPTSUBSYSTEM ändern.

HAUPTSUBSYSTEM

Die interne Anordnung des HAUPTSUBSYSTEMS ist im folgenden Bild dargestellt:

REZEPTFENSTER - HAUPTSUBSYSTEM

Es gibt 2 Abschnitte in diesem HAUPTSUBSYSTEM:

• Regelsysteme: Diese Subsysteme sind der Hauptlogikteil der Rezeptregel. Diese Subsysteme müssen vom Benutzer basierend auf ihren Bedürfnissen geändert werden. Schritte zum Hinzufügen einer neuen Regel:

  • Vorhandene Regel kopieren und einfügen

  • Eingaben (Regeldaten) und Ausgaben (Bilder und Signale sammeln) verbinden

  • Regel-Subsystem aktualisieren

  Jeder Regelblock hat zwei Ausgänge: - Bild: Enthält das Ergebnisbild des Bildverarbeitungsverfahrens - Signal: Enthält das Signal, das den NOK/OK-Status darstellt. Das Rezeptfenster erkennt alle Regeln und listet sie in einer Tabelle, sodass der Benutzer Rezepte unter Verwendung dieser Regeln erstellen kann. \

• Bilder sammeln & Signale sammeln: Dieses Subsystem fügt alle Bilder und Signale aus jedem Regelsystem zusammen.

5. ZUSÄTZLICHE FUNKTIONEN

5.1. WIE MAN KAMERAS SIMULIERT

USB-KAMERASIMULIEREN

❗ Diese Einstellungen sind nur für grundlegende USB-Kameras gültig.

In einigen Fällen muss das Rezept aktualisiert werden, auch wenn die erforderlichen Kameras nicht angeschlossen sind. In diesem Fall können USB-Kameras mit der Datei config/sim_usb_cams.json simuliert werden.

Rezept spezifische Kameras können simuliert werden, indem die KAMERA_CONFIG-Daten aus der zugehörigen Rezept-JSON-Datei in die Datei config/sim_usb_cams.json kopiert und eingefügt werden.

Die Simulation kann deaktiviert werden, indem der Inhalt (nicht die Datei löschen) der Datei config/sim_usb_cams.json gelöscht wird.

USB-KAMERAKONFIGURATIONSSIMULATION

Ein zufälliges Bild wird im Rezeptfenster für die ausgewählte Kamera angezeigt. Das Bild kann mit der Schaltfläche BILD IMPORTIEREN ersetzt werden.

❗ Die Auflösung des importierten Bildes sollte der Auflösung der Kamera entsprechen.

❗ Eingefügte Bilder können nur in der EDITOR-Ansicht gesehen werden (kann verwendet werden, um Rezeptregeln zu bearbeiten). Das zufällige Bild wird während des Ausführens des Rezept-Szenarios (VIEW-Fenster) verwendet.

USB-KAMERASIMULATION

IP-KAMERA

❗ Diese Einstellungen sind nur für grundlegende IP-Kameras gültig.

Wenn IP-Kameras (grundlegende IP-Kamera, keine externe Bibliothek) verbunden sind, müssen die IP-Adressen in die Datei config/ip_cam_config.json eingegeben werden.

JSON-Format:

{
  "192.168.5.200": {},
  "192.168.5.100": {},
  "192.168.5.50": {}
}

6. TIPPS

6.1. TASTENKOMBINATIONEN

• Strg-Taste fokussiert auf das Eingabefeld für den Rezeptnamen (funktioniert nicht, wenn bereits auf das Bild-Widget usw. fokussiert).

• Alt-Taste wechselt die Tab-Ansicht.

• R oder S-Tasten starten / stoppen das Szenario im Ansichtsfenster.

• F11, um das Trigger-Override umzuschalten (funktioniert nur im VIEW-Fenster).

• Umschalt + L, um die Sichtbarkeit des Protokollfensters umzuschalten.