Visualisiere Traces#

Experimentelles Feature

Dies ist ein experimentelles Feature und kann sich jederzeit ändern. Erfahren Sie mehr.

Prompt Flow bietet mehrere Trace-Toolkits in promptflow-devkit. Diese Seite stellt die Trace-Benutzeroberfläche vor, mit der Benutzer die internen Ausführungsdetails für Flows besser erfassen und visualisieren können. Mit der Trace-Benutzeroberfläche können Benutzer die Flow-Ausführung verfolgen und visualisieren, was kritische Einblicke für Entwickler liefert, um die internen Details der Ausführung zu verstehen.

Übersicht#

Nachdem promptflow-devkit installiert ist, erzeugt die Ausführung eines Python-Skripts mit start_trace die unten gezeigte Beispielausgabe

Prompt flow service has started...
You can view the traces from local: http://127.0.0.1:<port>/v1.0/ui/traces/?#collection=basic

Klicken Sie auf die URL, und der Benutzer sieht eine Liste von Traces, die jedem LLM-Aufruf entsprechen: LLM-trace-list

Klicken Sie auf einen Zeilen-Datensatz, und die LLM-Details werden mit einer Chatfenster-Erfahrung zusammen mit anderen LLM-Aufrufparametern angezeigt: LLM-trace-detail

Wenn Traces und Flows kombiniert werden, bietet die Trace-Benutzeroberfläche eine umfassendere Ansicht der Flow-Ausführung. Benutzer können die Details der Flow-Ausführung leicht verfolgen und Probleme bei der Flow-Ausführung beheben.

Flow-Test#

Wenn Ihre Anwendung mit einem DAG-Flow erstellt wurde, werden alle Flow-Tests und Batch-Läufe automatisch mit der Trace-Funktion aktiviert. Nehmen Sie chat_with_pdf als Beispiel.

Führen Sie pf flow test --flow . aus. Jeder Flow-Test generiert eine einzelne Zeile in der Trace-Benutzeroberfläche.

flow-trace-record

Klicken Sie auf einen Datensatz, und die Trace-Details werden als Baumansicht visualisiert.

flow-trace-detail

Bewerten gegen Batch-Daten#

Verwenden Sie weiterhin chat_with_pdf als Beispiel. Um einen Batch-Lauf auszulösen, können Sie den folgenden Befehl im Ordner verwenden (weitere Informationen finden Sie unter Run and evaluate a flow, um zu verstehen, was der folgende Befehl tut).

pf run create --flow . --data "./data/bert-paper-qna.jsonl" --column-mapping chat_history='${data.chat_history}' pdf_url='${data.pdf_url}' question='${data.question}'

Dann erhalten Sie eine Lauf-bezogene Trace-URL, z. B. http://127.0.0.1:<port>/v1.0/ui/traces?run=chat_with_pdf_20240226_181222_219335

batch_run_record