Erste Schritte mit flex flow#

Autor(en):  Avatar AvatarAuf GitHub öffnen

Lernziele - Nach Abschluss dieses Tutorials sollten Sie in der Lage sein:

  • Schreiben Sie LLM-Anwendungen mithilfe von Notebooks und visualisieren Sie den Ablauf Ihrer Anwendung.

  • Konvertieren Sie die Anwendung in einen Flow und führen Sie einen Batch-Lauf mit mehreren Datenzeilen durch.

0. Abhängige Pakete installieren#

%%capture --no-stderr
%pip install -r ./requirements.txt

1. Verfolgen Sie Ihre Anwendung mit Prompt Flow#

Wir gehen davon aus, dass wir bereits eine Python-Funktion haben, die die OpenAI-API aufruft.

with open("llm.py") as fin:
    print(fin.read())

Hinweis: Konfigurieren Sie vor dem Ausführen der folgenden Zelle die erforderliche Umgebungsvariable AZURE_OPENAI_API_KEY, AZURE_OPENAI_ENDPOINT, indem Sie eine .env-Datei erstellen. Weitere Informationen finden Sie unter ../.env.example als Vorlage.

# control the AOAI deployment (model) used in this example
deployment_name = "gpt-4o"

from llm import my_llm_tool

# pls configure `AZURE_OPENAI_API_KEY`, `AZURE_OPENAI_ENDPOINT` environment variables first
result = my_llm_tool(
    prompt="Write a simple Hello, world! program that displays the greeting message when executed. Output code only.",
    deployment_name=deployment_name,
)
result

Visualisieren Sie den Trace mit `start_trace`#

Beachten Sie, dass wir `@trace` zur Funktion `my_llm_tool` hinzugefügt haben. Wenn Sie die folgende Zelle erneut ausführen, wird ein Trace in der Trace-Benutzeroberfläche gesammelt.

from promptflow.tracing import start_trace

# start a trace session, and print a url for user to check trace
start_trace()
# rerun the function, which will be recorded in the trace
result = my_llm_tool(
    prompt="Write a simple Hello, world! program that displays the greeting message when executed. Output code only.",
    deployment_name=deployment_name,
)
result

Fügen wir nun eine weitere Ebene von Funktionsaufrufen hinzu. In programmer.py gibt es eine Funktion namens write_simple_program, die eine neue Funktion namens load_prompt und die vorherige Funktion my_llm_tool aufruft.

# show the programmer.py content
with open("programmer.py") as fin:
    print(fin.read())

# call the flow entry function
from programmer import write_simple_program

result = write_simple_program("Java Hello, world!")
result

Modellkonfiguration mit Umgebungsvariablen einrichten#

Bei lokaler Verwendung erstellen Sie ein Modellkonfigurationsobjekt mit Umgebungsvariablen.

import os
from dotenv import load_dotenv

from promptflow.core import AzureOpenAIModelConfiguration

if "AZURE_OPENAI_API_KEY" not in os.environ:
    # load environment variables from .env file
    load_dotenv()

if "AZURE_OPENAI_API_KEY" not in os.environ:
    raise Exception("Please specify environment variables: AZURE_OPENAI_API_KEY")
model_config = AzureOpenAIModelConfiguration(
    azure_endpoint=os.environ["AZURE_OPENAI_ENDPOINT"],
    api_key=os.environ["AZURE_OPENAI_API_KEY"],
    azure_deployment=deployment_name,
    api_version="2023-07-01-preview",
)

Bewerten Sie das Ergebnis#

%load_ext autoreload
%autoreload 2

import paths  # add the code_quality module to the path
from code_quality import CodeEvaluator

evaluator = CodeEvaluator(model_config=model_config)
eval_result = evaluator(result)
eval_result

2. Führen Sie die Funktion als Flow im Batch-Lauf mit mehrzeiligen Daten aus#

Erstellen Sie eine flow.flex.yaml-Datei, um einen Flow zu definieren, dessen Einstiegspunkt auf die von uns definierte Python-Funktion verweist.

# show the flow.flex.yaml content
with open("flow.flex.yaml") as fin:
    print(fin.read())

Batch-Lauf mit einer Datendatei (mit mehreren Zeilen Testdaten)#

from promptflow.client import PFClient

pf = PFClient()

data = "./data.jsonl"  # path to the data file
# create run with the flow function and data
base_run = pf.run(
    flow=write_simple_program,
    data=data,
    column_mapping={
        "text": "${data.text}",
    },
    stream=True,
)

details = pf.get_details(base_run)
details.head(10)

3. Bewerten Sie Ihren Flow#

Anschließend können Sie eine Bewertungsmethode verwenden, um Ihren Flow zu bewerten. Die Bewertungsmethoden sind ebenfalls Flows, die in der Regel LLMs verwenden, um zu überprüfen, ob die erzeugte Ausgabe bestimmten Erwartungen entspricht.

Führen Sie die Bewertung für den vorherigen Batch-Lauf durch#

Der **base_run** ist der Batch-Lauf, den wir oben in Schritt 2 abgeschlossen haben, für den Web-Klassifizierungs-Flow mit „data.jsonl“ als Eingabe.

# we can also run flow pointing to yaml file
eval_flow = "../eval-code-quality/flow.flex.yaml"

eval_run = pf.run(
    flow=eval_flow,
    init={"model_config": model_config},
    data="./data.jsonl",  # path to the data file
    run=base_run,  # specify base_run as the run you want to evaluate
    column_mapping={
        "code": "${run.outputs.output}",
    },
    stream=True,
)

details = pf.get_details(eval_run)
details.head(10)

import json

metrics = pf.get_metrics(eval_run)
print(json.dumps(metrics, indent=4))

pf.visualize([base_run, eval_run])

Nächste Schritte#

Bis jetzt haben Sie Ihren ersten Prompt-Flow erfolgreich ausgeführt und sogar bewertet. Das ist großartig!

Sie können sich weitere Beispiele ansehen

  • Basic Chat: demonstriert, wie ein Chatbot erstellt wird, der sich frühere Interaktionen merken und den Gesprächsverlauf zur Generierung der nächsten Nachricht verwenden kann.