Setup-Anleitung

Dieses Dokument beschreibt, wie alle Abhängigkeiten eingerichtet werden und optional eine virtuelle Maschine erstellt wird, um die Notebooks in diesem Repository auszuführen.

Inhaltsverzeichnis

1. Installation
2. Systemanforderungen
3. Compute-Umgebung
4. Tunneling

Installation

Um das Repository und seine Abhängigkeiten zu installieren, folgen Sie diesen einfachen Schritten

1. (optional) Anaconda mit Python >= 3.6 installieren. Miniconda. Dieser Schritt kann übersprungen werden, wenn Sie auf einer Data Science Virtual Machine arbeiten (siehe Abschnitt Compute-Umgebung).

2. Repository klonen

    git clone https://github.com/Microsoft/computervision-recipes
   

3. Installieren Sie die Conda-Umgebung. Die Datei environment.yml finden Sie im Stammverzeichnis. Um die Conda-Umgebung zu erstellen

    cd computervision-recipes
    conda env create -f environment.yml
   

4. Conda-Umgebung aktivieren und mit Jupyter registrieren

    conda activate cv
    python -m ipykernel install --user --name cv --display-name "Python (cv)"
   

5. Starten Sie den Jupyter Notebook-Server

    jupyter notebook
   

6. An diesem Punkt sollten Sie in der Lage sein, die Notebooks in den verschiedenen Ordnern unter scenarios auszuführen.

pip installieren

Als Alternative zu den obigen Schritten und wenn Sie nur die Bibliothek 'utils_cv' installieren möchten (ohne eine neue Conda-Umgebung zu erstellen), kann dies mit pip install erfolgen. Beachten Sie, dass dadurch die Notebooks nicht heruntergeladen werden.

pip install git+https://github.com/microsoft/ComputerVision.git@master#egg=utils_cv

Systemvoraussetzung

Anforderungen

• Eine Maschine mit Linux (empfohlen) >= 16.04 LTS oder Windows
• Miniconda oder Anaconda mit Python-Version >= 3.6.
  • Dies ist auf der Azure DSVM vorinstalliert, sodass Sie die folgenden Schritte direkt ausführen können.
  • Es wird empfohlen, conda auf die neueste Version zu aktualisieren: conda update -n base -c defaults conda

Beachten Sie, dass PyTorch unter Windows langsamer läuft als unter Linux. Dies ist ein bekanntes Problem, das das Modelltraining beeinträchtigt und auf parallelisierte Datenladung zurückzuführen ist. Bei rechenintensiven Trainingsaufgaben (z. B. Objekterkennung) und auf Standard-GPUs liegt dieser Unterschied typischerweise unter 10 %. Bei der Bildklassifizierung mit schnellen GPUs (z. B. V100) und potenziell großen Bildern kann das Training unter Windows jedoch um ein Vielfaches langsamer sein als unter Linux.

Abhängigkeiten

Stellen Sie sicher, dass Sie CUDA Toolkit Version 9.0 oder höher auf Ihrem Computer installiert haben. Sie können den folgenden Befehl in Ihrem Terminal ausführen, um dies zu überprüfen.

nvcc --version

Wenn Sie CUDA Toolkit nicht haben oder nicht die richtige Version haben, laden Sie es bitte hier herunter: CUDA Toolkit

Compute-Umgebungen

Viele Computer-Vision-Szenarien sind extrem rechenintensiv. Das Training eines Modells erfordert oft eine Maschine mit einer starken GPU, die sonst zu langsam wäre.

Der einfachste Einstieg ist die Verwendung der Azure Data Science Virtual Machine (DSVM). Diese VM wird mit allen Systemvoraussetzungen vorinstalliert sein, die für die Ausführung der Notebooks in diesem Repository erforderlich sind. Wenn Sie diese Option wählen, können Sie den Schritt Systemanforderungen in dieser Anleitung überspringen, da diese Anforderungen auf der DSVM vorinstalliert sind.

Bevor Sie Ihre Azure DSVM erstellen, müssen Sie entscheiden, welche VM-Größe Sie wünschen. Einige VMs verfügen über GPUs, einige über mehrere GPUs, und einige haben überhaupt keine GPUs. Für dieses Repository empfehlen wir die Auswahl einer Ubuntu-VM der Größe Standard_NC6_v3. Die Standard_NC6_v3 verwendet die Nvidia Tesla V100, die uns helfen wird, unsere Computer-Vision-Modelle zu trainieren und schnell zu iterieren.

Für Benutzer, die neu bei Azure sind, hat Ihr Abonnement möglicherweise keine Quote für GPUs. Möglicherweise müssen Sie im Azure-Portal Ihre Quote für GPU-VMs erhöhen. Erfahren Sie hier mehr darüber, wie Sie dies tun können: https://docs.microsoft.com/en-us/azure/azure-subscription-service-limits.

Hier sind einige Möglichkeiten, wie Sie die DSVM erstellen können

Data Science VM mit dem Azure Portal oder CLI bereitstellen

Sie können auch eine Data Science VM direkt über das Azure Portal starten. Um dies zu tun, folgen Sie diesem Link, der Ihnen zeigt, wie Sie Ihre Data Science VM über das Portal bereitstellen.

Sie können alternativ auch die Azure Command Line (CLI) verwenden. Folgen Sie diesem Link, um mehr über die Azure CLI zu erfahren und wie sie zur Bereitstellung von Ressourcen verwendet werden kann.

Virtual Machine Builder

Eine einfache Möglichkeit, Ihre DSVM zu erstellen, ist die Verwendung des VM Builder Tools im Ordner 'contrib' im Stammverzeichnis des Repositories. Beachten Sie, dass dieses Tool nur unter Linux und Mac läuft und nicht gut gepflegt ist und möglicherweise nicht mehr funktioniert. Führen Sie einfach python contrib/vm_builder/vm_builder.py auf der obersten Ebene des Repositories aus, und dieses Tool wird Ihre virtuelle Maschine mit den entsprechenden Einstellungen für die Arbeit mit diesem Repository vorkonfigurieren.

Tunneling

Wenn Ihre Compute-Umgebung auf einer Linux-VM in der Cloud läuft, können Sie mit dem folgenden Befehl einen Tunnel von Ihrer VM zu Ihrem lokalen Computer öffnen

$ssh -L local_port:remote_address:remote_port  <username>@<server-ip>

Wenn ich zum Beispiel jupyter notebook --port 8888 auf meiner VM ausführen möchte und die Jupyter Notebooks auf meinem lokalen Browser unter localhost:9999 ausführen möchte, würde ich mich mit dem folgenden Befehl per SSH mit meiner VM verbinden

$ssh -L 9999:localhost:8888 <username>@<server-ip>

Dieser Befehl ermöglicht es dem Port 9999 Ihres lokalen Rechners, auf den Port 8888 Ihres entfernten Rechners zuzugreifen.