Screenshot-Protokolle
UFO speichert auch Desktop- oder Anwendungsscreenshots zur Fehlersuche und Auswertung. Die Screenshot-Protokolle werden im Verzeichnis logs/{task_name}/ gespeichert.
UFO generiert 4 Arten von Screenshot-Protokollen, wie nachstehend detailliert beschrieben.
Saubere Screenshots
Bei jedem Schritt speichert UFO einen sauberen Screenshot des Desktops oder der Anwendung. Der saubere Screenshot wird in der Datei action_step{step_number}.png gespeichert. Zusätzlich werden saubere Screenshots auch gespeichert, wenn eine Unteraufgabe, eine Runde oder eine Sitzung abgeschlossen ist. Die sauberen Screenshots werden in den Dateien action_round_{round_id}_sub_round_{sub_task_id}_final.png, action_round_{round_id}_final.png bzw. action_step_final.png gespeichert. Nachfolgend finden Sie ein Beispiel für einen sauberen Screenshot.
Annotierte Screenshots
UFO speichert auch annotierte Screenshots der Anwendung, wobei jedes Steuerelement mit einer Nummer versehen ist, gemäß dem Set-of-Mark-Paradigma. Die annotierten Screenshots werden in der Datei action_step{step_number}_annotated.png gespeichert. Nachfolgend finden Sie ein Beispiel für einen annotierten Screenshot.
Info
Nur ausgewählte Arten von Steuerelementen werden in den Screenshots annotiert. Sie sind in der Datei config_dev.yaml unter dem Feld CONTROL_LIST konfiguriert.
Tipp
Verschiedene Arten von Steuerelementen werden mit unterschiedlichen Farben annotiert. Sie können die Farben in der Datei config_dev.yaml unter dem Feld ANNOTATION_COLORS konfigurieren.
Verkettete Screenshots
UFO speichert auch verkettete Screenshots der Anwendung, wobei saubere und annotierte Screenshots nebeneinander verkettet sind. Die verketteten Screenshots werden in der Datei action_step{step_number}_concat.png gespeichert. Nachfolgend finden Sie ein Beispiel für einen verketteten Screenshot.
Info
Sie können in der Datei config_dev.yaml unter dem Feld CONCAT_SCREENSHOT konfigurieren, ob die verketteten Screenshots an die LLMs übergeben werden sollen oder separate saubere und annotierte Screenshots.
Ausgewählte Steuerungs-Screenshots
UFO speichert Screenshots des ausgewählten Steuerelements für den Betrieb. Die ausgewählten Steuerelement-Screenshots werden in der Datei action_step{step_number}_selected_controls.png gespeichert. Nachfolgend finden Sie ein Beispiel für einen ausgewählten Steuerelement-Screenshot.
Info
Sie können in der Datei config_dev.yaml unter dem Feld INCLUDE_LAST_SCREENSHOT konfigurieren, ob die ausgewählten Steuerelement-Screenshots aus dem vorherigen Schritt an das LLM übergeben werden sollen, um den Kontext zu verbessern.