Content Safety (Text)#

Azure Content Safety ist ein von Microsoft entwickelter Dienst zur Inhaltsmoderation, der Benutzern hilft, schädliche Inhalte aus verschiedenen Modalitäten und Sprachen zu erkennen. Dieses Tool ist ein Wrapper für die Azure Content Safety Text API, mit dem Sie Textinhalte erkennen und Moderationsergebnisse erhalten können. Weitere Informationen finden Sie unter Azure Content Safety.

Anforderungen#

  • Für AzureML-Benutzer ist das Tool im Standard-Image installiert. Sie können das Tool ohne zusätzliche Installation verwenden.

  • Für lokale Benutzer: pip install promptflow-tools

[!HINWEIS] Das Tool Content Safety (Text) ist jetzt im neuesten Paket promptflow-tools enthalten. Wenn Sie zuvor das Paket promptflow-contentsafety installiert haben, deinstallieren Sie es bitte, um Duplikate in Ihrer lokalen Werkzeugliste zu vermeiden.

Voraussetzungen#

  • Erstellen Sie eine Azure Content Safety-Ressource.

  • Fügen Sie in Prompt Flow eine "Azure Content Safety"-Verbindung hinzu. Füllen Sie das Feld "API-Schlüssel" mit dem "Primärschlüssel" aus dem Abschnitt "Schlüssel und Endpunkt" der erstellten Ressource aus.

Eingaben#

Sie können die folgenden Parameter als Eingaben für dieses Tool verwenden

Name

Typ

Beschreibung

Erforderlich

text

string

Der Text, der moderiert werden muss.

Ja

hate_category

string

Die Moderationssensitivität für die Kategorie Hass. Sie können aus vier Optionen wählen: deaktiviert, niedrige_sensitivität, mittlere_sensitivität oder hohe_sensitivität. Die Option deaktiviert bedeutet keine Moderation für die Hass-Kategorie. Die anderen drei Optionen bedeuten unterschiedliche Grade der Strenge bei der Filterung von Hass-Inhalten. Die Standardoption ist mittlere_sensitivität.

Ja

sexual_category

string

Die Moderationssensitivität für die Kategorie Sex. Sie können aus vier Optionen wählen: deaktiviert, niedrige_sensitivität, mittlere_sensitivität oder hohe_sensitivität. Die Option deaktiviert bedeutet keine Moderation für die Sex-Kategorie. Die anderen drei Optionen bedeuten unterschiedliche Grade der Strenge bei der Filterung von sexuellen Inhalten. Die Standardoption ist mittlere_sensitivität.

Ja

self_harm_category

string

Die Moderationssensitivität für die Kategorie Selbstverletzung. Sie können aus vier Optionen wählen: deaktiviert, niedrige_sensitivität, mittlere_sensitivität oder hohe_sensitivität. Die Option deaktiviert bedeutet keine Moderation für die Kategorie Selbstverletzung. Die anderen drei Optionen bedeuten unterschiedliche Grade der Strenge bei der Filterung von Inhalten zu Selbstverletzung. Die Standardoption ist mittlere_sensitivität.

Ja

violence_category

string

Die Moderationssensitivität für die Kategorie Gewalt. Sie können aus vier Optionen wählen: deaktiviert, niedrige_sensitivität, mittlere_sensitivität oder hohe_sensitivität. Die Option deaktiviert bedeutet keine Moderation für die Kategorie Gewalt. Die anderen drei Optionen bedeuten unterschiedliche Grade der Strenge bei der Filterung von Gewaltinhalten. Die Standardoption ist mittlere_sensitivität.

Ja

Weitere Informationen finden Sie unter Azure Content Safety

Ausgaben#

Das Folgende ist ein Beispiel für eine JSON-formatierte Antwort, die vom Tool zurückgegeben wird

Ausgabe 
{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

Das Feld action_by_category liefert Ihnen für jede Kategorie einen binären Wert: Akzeptieren oder Ablehnen. Dieser Wert zeigt an, ob der Text die von Ihnen in den Anfrageparametern für diese Kategorie festgelegte Sensitivitätsebene erfüllt.

Das Feld suggested_action liefert Ihnen eine Gesamtempfehlung basierend auf den vier Kategorien. Wenn eine Kategorie den Wert Ablehnen hat, wird die suggested_action ebenfalls Ablehnen sein.