Steuerungsdetektion

Wir unterstützen verschiedene Methoden zur Steuerungserkennung, um die Steuerelemente in der Anwendung zu erkennen und sowohl Standard- (UIA) als auch benutzerdefinierte Steuerelemente (Visual) zu berücksichtigen. Die Methoden zur Steuerungserkennung umfassen

Mechanismus	Beschreibung
UIA	Das UI Automation (UIA)-Framework wird verwendet, um Standardsteuerelemente in der Anwendung zu erkennen. Es bietet eine Reihe von APIs für den Zugriff auf und die Manipulation von UI-Elementen in Windows-Anwendungen.
Visual	Die visuelle Methode zur Steuerungserkennung verwendet OmniParser-Visuelle Erkennung, um benutzerdefinierte Steuerelemente in der Anwendung zu erkennen. Sie verwendet Techniken der Computer Vision, um UI-Elemente anhand ihres visuellen Erscheinungsbilds zu identifizieren und mit ihnen zu interagieren.
Hybrid	Die hybride Methode zur Steuerungserkennung kombiniert sowohl UIA- als auch visuelle Erkennungsmethoden, um die Steuerelemente in der Anwendung zu erkennen. Sie versucht zuerst, die UIA-Methode zu verwenden, und wenn diese fehlschlägt, greift sie auf die visuelle Methode zurück.

Konfiguration

Um die Methode zur Steuerungserkennung zu konfigurieren, können Sie den Parameter CONTROL_BACKEND in der Datei config_dev.yaml festlegen. Die verfügbaren Optionen sind uia und onmiparser. Wenn Sie die hybride Methode verwenden möchten, können Sie sie auf ["uia", "onmiparser"] setzen.

CONTROL_BACKEND: ["uia"]