Instrumentieren Ihres Codes lokal

AutoGen unterstützt die Instrumentierung Ihres Codes mit OpenTelemetry. Dies ermöglicht es Ihnen, Traces und Logs aus Ihrem Code zu sammeln und an ein Backend Ihrer Wahl zu senden.

Während des Debuggings können Sie ein lokales Backend wie Aspire oder Jaeger verwenden. In dieser Anleitung verwenden wir Aspire als Beispiel.

Aspire einrichten

Befolgen Sie die Anweisungen hier, um Aspire im Standalone-Modus einzurichten. Dies erfordert, dass Docker auf Ihrem Computer installiert ist.

Instrumentieren Ihres Codes

Sobald Sie ein Dashboard eingerichtet haben, geht es nun darum, Traces und Logs dorthin zu senden. Sie können die Schritte im Telemetry-Leitfaden befolgen, um das OpenTelemetry SDK und den Exporteur einzurichten.

Nachdem Sie Ihren Code instrumentiert und das Aspire Dashboard laufen haben, sollten Traces und Logs im Dashboard erscheinen, während Ihr Code ausgeführt wird.

LLM-Aufrufe mit Open AI beobachten

Wenn Sie das Open AI Paket verwenden, können Sie die LLM-Aufrufe beobachten, indem Sie OpenTelemetry für diese Bibliothek einrichten. Wir verwenden in diesem Beispiel opentelemetry-instrumentation-openai.

Paket installieren

pip install opentelemetry-instrumentation-openai

Instrumentierung aktivieren

from opentelemetry.instrumentation.openai import OpenAIInstrumentor

OpenAIInstrumentor().instrument()

Wenn Sie nun Ihren Code ausführen, werden Traces, einschließlich der LLM-Aufrufe, an Ihr Telemetrie-Backend (in unserem Fall Aspire) gesendet.