LLMLingua Prompt Compression#
Einleitung#
Das LLMLingua Prompt Compression-Tool ermöglicht es Ihnen, die Inferenz großer Sprachmodelle zu beschleunigen und die Wahrnehmung wichtiger Informationen durch große Sprachmodelle zu verbessern, indem der Prompt mit minimalem Leistungsverlust komprimiert wird.
Anforderungen#
PyPI-Paket: llmlingua-promptflow.
Für Azure-Benutzer: Befolgen Sie das Wiki für AzureML oder das Wiki für AI Studio, um die Compute-Sitzung vorzubereiten.
Für lokale Benutzer
pip install llmlingua-promptflow
Sie möchten möglicherweise auch die Promptflow für VS Code-Erweiterung installieren.
Voraussetzung#
Erstellen Sie eine MaaS-Bereitstellung für große Sprachmodelle im Azure-Modellkatalog. Am Beispiel des Llama-Modells können Sie lernen, wie Sie Meta Llama-Modelle mit Model-as-a-Service bereitstellen und nutzen, indem Sie die Anleitung für Azure AI Studio befolgen.
Eingaben#
Das Tool akzeptiert die folgenden Eingaben
Name |
Typ |
Beschreibung |
Erforderlich |
|---|---|---|---|
prompt |
string |
Der zu komprimierende Prompt. |
Ja |
myconn |
CustomConnection |
Die erstellte Verbindung zu einer MaaS-Ressource zur Berechnung der Log-Wahrscheinlichkeit. |
Ja |
rate |
float |
Die maximal anzustrebende Kompressionsrate. Standardwert ist 0,5. |
Nein |
Ausgaben#
Rückgabetyp |
Beschreibung |
|---|---|
string |
Der resultierende komprimierte Prompt. |
Beispiel-Flows#
Beispiel-Flows, die das Paket llmlingua-promptflow verwenden, finden Sie hier.
Kontakt#
Bitte wenden Sie sich bei Problemen an das LLMLingua Team (llmlingua@microsoft.com).