Web-Automatisierer

Wir unterstützen auch die Verwendung des Web Automator, um den Inhalt einer Webseite abzurufen. Der Web Automator ist im Modul ufo/autoamtor/app_apis/web implementiert.

Konfiguration

Es gibt mehrere Konfigurationen, die vor der Verwendung des API Automator in der Datei config_dev.yaml eingerichtet werden müssen. Nachfolgend finden Sie die Liste der Konfigurationen im Zusammenhang mit dem API Automator.

Empfänger

Der Web Automator Receiver ist die Klasse WebReceiver, die im Modul ufo/automator/app_apis/web/webclient.py definiert ist.

21
22
23
24
25
26
27

def __init__(self) -> None:
    """
    Initialize the Web COM client.
    """
    self._headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
    }

29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54

def web_crawler(self, url: str, ignore_link: bool) -> str:
    """
    Run the crawler with various options.
    :param url: The URL of the webpage.
    :param ignore_link: Whether to ignore the links.
    :return: The result markdown content.
    """

    try:
        # Get the HTML content of the webpage
        response = requests.get(url, headers=self._headers)
        response.raise_for_status()

        html_content = response.text

        # Convert the HTML content to markdown
        h = html2text.HTML2Text()
        h.ignore_links = ignore_link
        markdown_content = h.handle(html_content)

        return markdown_content

    except requests.RequestException as e:
        print(f"Error fetching the URL: {e}")

        return f"Error fetching the URL: {e}"

Befehl

Wir unterstützen derzeit nur einen Befehl im Web Automator, um den Inhalt einer Webseite in Markdown-Format zu erhalten. Zukünftig werden weitere Befehle für den Web Automator hinzugefügt.

@WebReceiver.register
class WebCrawlerCommand(WebCommand):
    """
    The command to run the crawler with various options.
    """

    def execute(self):
        """
        Execute the command to run the crawler.
        :return: The result content.
        """
        return self.receiver.web_crawler(
            url=self.params.get("url"),
            ignore_link=self.params.get("ignore_link", False),
        )

    @classmethod
    def name(cls) -> str:
        """
        The name of the command.
        """
        return "web_crawler"

Nachfolgend finden Sie die Liste der verfügbaren Befehle im Web Automator, die derzeit von UFO unterstützt werden.