Ollama
Schritt 1
Wenn Sie das Ollama-Modell verwenden möchten, gehen Sie zu Ollama und folgen Sie den Anweisungen, um ein LLM-Modell in Ihrer lokalen Umgebung bereitzustellen. Wir stellen ein kurzes Beispiel zur Verfügung, das zeigt, wie Ollama konfiguriert wird. Dieses Beispiel kann sich ändern, wenn Ollama Updates vornimmt.
## Install ollama on Linux & WSL2
curl https://ollama.ai/install.sh | sh
## Run the serving
ollama serve
Schritt 2
Öffnen Sie ein weiteres Terminal und führen Sie den folgenden Befehl aus, um das Ollama-Modell zu testen
ollama run YOUR_MODEL
Info
Beim Bereitstellen von LLMs über Ollama startet standardmäßig ein Server unter https://:11434, der später als API-Basis in config.yaml verwendet wird.
Schritt 3
Nachdem Sie den API-Schlüssel erhalten haben, können Sie HOST_AGENT und APP_AGENT in der Datei config.yaml (benennen Sie die Datei config_template.yaml in config.yaml um) konfigurieren, um die Ollama-API zu verwenden. Im Folgenden finden Sie ein Beispiel für die Konfiguration der Ollama-API
VISUAL_MODE: True, # Whether to use visual mode to understand screenshots and take actions
API_TYPE: "ollama" ,
API_BASE: "YOUR_ENDPOINT",
API_KEY: "ollama", # not used but required
API_MODEL: "YOUR_MODEL"
Tipp
API_BASE ist die URL, unter der der Ollama LLM-Server gestartet wurde, und API_MODEL ist der Modellname des Ollama LLM. Er sollte mit dem zuvor bereitgestellten übereinstimmen. Aufgrund von Token-Beschränkungen des Modells können Sie eine Lite-Version des Prompts verwenden, um UFO auszuprobieren, was in config_dev.yaml konfiguriert werden kann.
Hinweis
Um UFO erfolgreich mit Ollama auszuführen, müssen Sie das Standard-Token-Limit von 2048 Tokens erhöhen, indem Sie ein benutzerdefiniertes Modell mit einer geänderten Modelfile erstellen. Erstellen Sie eine neue Modelfile, die PARAMETER num_ctx 32768 (oder die maximale Kontextlänge Ihres Modells) angibt, und erstellen Sie dann Ihr benutzerdefiniertes Modell mit ollama create [model]-max-ctx -f Modelfile. UFO benötigt mindestens 20.000 Tokens, um ordnungsgemäß zu funktionieren. Das Einstellen des num_ctx-Parameters auf die maximal unterstützte Kontextlänge Ihres Modells gewährleistet eine optimale Leistung. Weitere Details zur Modelfile-Konfiguration finden Sie in der offiziellen Dokumentation von Ollama.
Tipp
Wenn Sie VISUAL_MODE auf True setzen, stellen Sie sicher, dass API_MODEL visuelle Eingaben unterstützt.
Schritt 4
Nachdem Sie HOST_AGENT und APP_AGENT mit der Ollama-API konfiguriert haben, können Sie UFO verwenden, um mit der Ollama-API für verschiedene Aufgaben unter Windows OS zu interagieren. Weitere Details zum Einstieg mit UFO finden Sie im Schnellstart-Leitfaden.