Bereitstellung von Hilfedokumenten für den AppAgent

Hilfedokumente bieten dem AppAgent Anleitungen zur Ausführung spezifischer Aufgaben. Der AppAgent verwendet diese Dokumente, um den Kontext der Aufgabe und die zu ihrer Ausführung erforderlichen Schritte zu verstehen, und wird so effektiv zu einem Experten für die Anwendung.

Wie stelle ich Hilfedokumente für den AppAgent bereit?

Schritt 1: Hilfedokumente und Metadaten vorbereiten

UFO unterstützt derzeit die Verarbeitung von Hilfedokumenten im json-Format. Zukünftig werden weitere Formate unterstützt.

Ein Beispiel für ein Hilfedokument im json-Format sieht wie folgt aus

{
    "application": "chrome",
    "request": "How to change the username in chrome profiles?",
    "guidance": [
        "Click the profile icon in the upper-right corner of the Chrome window.",
        "Click the gear icon labeled 'Manage Chrome Profiles' in the profile menu.",
        "In the list of profiles, locate the profile whose name you want to change.",
        "Hover over the desired profile and click the three-dot menu icon on that profile card.",
        "Select 'Edit' from the dropdown menu.",
        "In the Edit Profile dialog, click inside the name field.",
        "Delete the current name and type your new desired username.",
        "Click 'Save' to confirm the changes.",
        "Verify that the profile name is updated in the profile list and in the top-right corner of Chrome."
    ]
}

Speichern Sie jedes Hilfedokument in einer json-Datei in Ihrem Zielordner.

Schritt 2: Hilfedokumente im AppAgent-Verzeichnis ablegen

Sobald Sie alle Hilfedokumente und deren Metadaten vorbereitet haben, legen Sie diese in einem Ordner ab. Unterordner für die Hilfedokumente sind erlaubt, stellen Sie jedoch sicher, dass jedes Hilfedokument und seine entsprechenden Metadaten im selben Verzeichnis abgelegt werden.

Schritt 3: Einen Indexer für Hilfedokumente erstellen

Nachdem Sie Ihre Dokumente in einem Ordner namens pfad_der_dokumente organisiert haben, können Sie einen Offline-Indexer zur Unterstützung von RAG für UFO erstellen. Befolgen Sie diese Schritte

# Assume you are in the cloned UFO folder
python -m learner --app <app_name> --docs <path_of_the_docs>

• Ersetzen Sie <app_name> durch den Exakten Prozessnamen der Anwendung, z. B. WINWORD.EXE für Microsoft Word oder POWERPNT.EXE für PowerPoint.
• Ersetzen Sie <pfad_der_dokumente> durch den vollständigen Pfad zu dem Ordner, der alle Ihre Dokumente enthält.

Dieser Befehl erstellt einen Offline-Indexer für alle Dokumente im Ordner pfad_der_dokumente unter Verwendung von Faiss und Einbettungen mit Sentence Transformer (weitere Einbettungen werden bald unterstützt). Standardmäßig wird der erstellte Index hier abgelegt.

Wie verwende ich Hilfedokumente, um den AppAgent zu verbessern?

Nach der Erstellung des Offline-Indexers finden Sie Anleitungen zur Verwendung der Hilfedokumente zur Verbesserung des AppAgent im Abschnitt Lernen aus Hilfedokumenten.