Stellen Sie dem AppAgent menschliche Demonstrationen zur Verfügung

Benutzer oder Anwendungsentwickler können dem AppAgent menschliche Demonstrationen zur Verfügung stellen, um ihn bei der Ausführung ähnlicher Aufgaben in Zukunft zu leiten. Der AppAgent nutzt diese Demonstrationen, um den Kontext der Aufgabe und die zu ihrer Ausführung erforderlichen Schritte zu verstehen und wird so effektiv zu einem Experten für die Anwendung.

Wie bereite ich menschliche Demonstrationen für den AppAgent vor?

Derzeit unterstützt UFO das Lernen von Benutzerpfaden, die vom in Windows integrierten Schritte-Recorder aufgezeichnet wurden. Zukünftig werden weitere Tools unterstützt.

Schritt 1: Aufzeichnen von Benutzervorführungen

Befolgen Sie die offizielle Anleitung zur Verwendung des Schritte-Recorders zur Aufzeichnung von Benutzervorführungen.

Schritt 2: Fügen Sie bei Bedarf zusätzliche Informationen oder Kommentare hinzu

Fügen Sie spezifische Details oder Anweisungen für UFO hinzu, indem Sie Kommentare hinzufügen. Da der Schritte-Recorder keinen getippten Text erfasst, fügen Sie auch alle erforderlichen getippten Inhalte in die Kommentare ein.

Schritt 3: Überprüfen und Speichern der aufgezeichneten Demonstrationen

Überprüfen Sie die aufgezeichneten Schritte und speichern Sie sie in einer ZIP-Datei. Beziehen Sie sich auf die sample_record.zip als Beispiel für aufgezeichnete Schritte für eine bestimmte Anfrage, z. B. "eine E-Mail an example@gmail.com senden, um Hallo zu sagen".

Schritt 4: Erstellen eines Aktionspfad-Indexers

Sobald Ihre Demonstrationsaufzeichnungs-ZIP-Datei bereit ist, können Sie sie als Beispiel parsen, um RAG für UFO zu unterstützen. Befolgen Sie diese Schritte

# Assume you are in the cloned UFO folder
python -m record_processor -r "<your request for the demonstration>" -p "<record ZIP file path>"

• Ersetzen Sie <Ihre Anfrage für die Demonstration> durch die spezifische Anfrage, z. B. "eine E-Mail an example@gmail.com senden, um Hallo zu sagen".
• Ersetzen Sie <Pfad zur Record-ZIP-Datei> durch den vollständigen Pfad zur gerade erstellten ZIP-Datei.

Dieser Befehl parst die Aufzeichnung und fasst sie zu einem Ausführungsplan zusammen. Sie sehen eine Bestätigungsnachricht, die der folgenden ähnelt

Here are the plans summarized from your demonstration:
Plan [1]
(1) Input the email address 'example@gmail.com' in the 'To' field.
(2) Input the subject of the email. I need to input 'Greetings'.
(3) Input the content of the email. I need to input 'Hello,\nI hope this message finds you well. I am writing to send you a warm greeting and to wish you a great day.\nBest regards.'
(4) Click the Send button to send the email.
Plan [2]
(1) ***
(2) ***
(3) ***
Plan [3]
(1) ***
(2) ***
(3) ***
Would you like to save any one of them as a future reference for the agent? Press [1] [2] [3] to save the corresponding plan, or press any other key to skip.

Drücken Sie 1, um den Plan zur zukünftigen Referenz in seinem Speicher zu speichern. Ein Beispiel finden Sie hier.

Sie können ein Demonstrationsvideo unten ansehen

Wie verwende ich menschliche Demonstrationen, um den AppAgent zu verbessern?

Nachdem Sie den Offline-Indexer erstellt haben, beziehen Sie sich auf den Abschnitt Lernen von Benutzerdemonstrationen, um Anleitungen zur Verwendung menschlicher Demonstrationen zur Verbesserung des AppAgent zu erhalten.

---