Ultralytics YOLO

Utilisez W&B avec les modèles Ultralytics YOLO pour le suivi des expériences, l’enregistrement de points de contrôle du modèle et la visualisation en vision par ordinateur.

Ultralytics fournit des modèles de vision par ordinateur pour des tâches comme la classification d’images, la détection d’objets, la segmentation d’images et l’estimation de pose. Il héberge YOLOv8, une itération de la série YOLO de modèles de détection d’objets en temps réel, ainsi que d’autres modèles de vision par ordinateur tels que SAM (Segment Anything Model), RT-DETR et YOLO-NAS. Ultralytics fournit également des flux de travail prêts à l’emploi pour entraîner, effectuer le fine-tuning et utiliser ces modèles via une API.

Cette page vous montre comment intégrer W&B à Ultralytics afin que W&B suive et visualise automatiquement les métriques d’expérience, les points de contrôle du modèle et les prédictions sur des images de validation ou d’inférence. Elle couvre l’installation, un flux de travail d’entraînement et de validation, ainsi qu’un flux de travail dédié uniquement à l’inférence.

Premiers pas

Pour utiliser l’intégration, vous devez d’abord installer ultralytics et wandb, puis vérifier que vous utilisez une version de ultralytics prise en charge.

Installez ultralytics et wandb :

Ligne de commande

pip install --upgrade ultralytics==8.0.238 wandb

# ou
# conda install ultralytics

Notebook

!pip install --upgrade ultralytics==8.0.238 wandb

L’équipe de développement a testé l’intégration avec ultralytics v8.0.238 et les versions antérieures. Pour signaler tout problème lié à l’intégration, créez une GitHub issue avec le tag yolov8.

Une fois les deux packages installés, vous pouvez passer à l’instrumentation d’un flux de travail Ultralytics avec W&B.

Suivre les expériences et visualiser les résultats de validation

Cette section présente un flux de travail typique qui utilise un modèle Ultralytics pour l’entraînement, le fine-tuning et la validation, et qui assure le suivi des expériences, l’enregistrement des points de contrôle du modèle et la visualisation des performances du modèle avec W&B.

Pour plus d’informations sur l’intégration, voir Supercharging Ultralytics with W&B.

Pour utiliser l’intégration W&B avec Ultralytics, importez la fonction wandb.integration.ultralytics.add_wandb_callback. Cette fonction de rappel constitue le point d’entrée qui enregistre la journalisation W&B pour le modèle Ultralytics.

import wandb
from wandb.integration.ultralytics import add_wandb_callback

from ultralytics import YOLO

Ensuite, initialisez le modèle YOLO de votre choix, puis appelez la fonction add_wandb_callback sur ce modèle avant d’effectuer une inférence. Joindre le callback avant l’entraînement active la journalisation automatique à chaque époque. Ainsi, lorsque vous effectuez un entraînement, du fine-tuning, une validation ou une inférence, W&B enregistre automatiquement les journaux de l’expérience ainsi que les images, avec les annotations de référence et les résultats de prédiction correspondants superposés à l’aide des superpositions interactives pour les tâches de vision par ordinateur, ainsi que des informations supplémentaires dans un wandb.Table.

with wandb.init(project="ultralytics", job_type="train") as run:

    # Initialiser le modèle YOLO
    model = YOLO("yolov8n.pt")

    # Ajouter le callback W&B pour Ultralytics
    add_wandb_callback(model, enable_model_checkpointing=True)

    # Entraîner votre modèle / effectuer le fine-tuning
    # À la fin de chaque époque, les prédictions sur les lots de validation sont enregistrées
    # dans un tableau W&B avec des superpositions interactives et pertinentes pour
    # les tâches de vision par ordinateur
    model.train(project="ultralytics", data="coco128.yaml", epochs=5, imgsz=640)

Une fois le callback ajouté et l’entraînement démarré, votre run envoie désormais en continu les métriques d’entraînement, les points de contrôle du modèle et les visualisations de validation pour chaque époque vers votre projet W&B.

Voici à quoi ressemblent les expériences suivies avec W&B dans un flux de travail d’entraînement ou de fine-tuning avec Ultralytics :

Voici comment les résultats de validation pour chaque époque sont visualisés à l’aide d’un tableau W&B :

Visualiser les résultats de prédiction

Cette section présente un flux de travail type qui utilise un modèle Ultralytics pour l’inférence et visualise les résultats à l’aide de W&B.

Vous pouvez essayer ce code dans Google Colab : Ouvrir dans Colab.

Comme pour le flux de travail d’entraînement, pour utiliser l’intégration de W&B avec Ultralytics, importez la fonction wandb.integration.ultralytics.add_wandb_callback.

import wandb
from wandb.integration.ultralytics import add_wandb_callback

from ultralytics.engine.model import YOLO

Ensuite, téléchargez quelques images pour tester l’intégration. Vous pouvez utiliser des images fixes, des vidéos ou des flux de caméra. Pour plus d’informations sur les sources d’inférence, voir la documentation Ultralytics.

!wget https://raw.githubusercontent.com/wandb/examples/ultralytics/colabs/ultralytics/assets/img1.png
!wget https://raw.githubusercontent.com/wandb/examples/ultralytics/colabs/ultralytics/assets/img2.png
!wget https://raw.githubusercontent.com/wandb/examples/ultralytics/colabs/ultralytics/assets/img4.png
!wget https://raw.githubusercontent.com/wandb/examples/ultralytics/colabs/ultralytics/assets/img5.png

Une fois les images de test en place, initialisez un run W&B à l’aide de wandb.init(). Initialisez ensuite le modèle YOLO de votre choix, puis appelez la fonction add_wandb_callback sur celui-ci avant d’effectuer une inférence. Cela garantit que, lorsque vous effectuez une inférence, W&B journalise automatiquement les images avec vos superpositions interactives pour les tâches de vision par ordinateur, ainsi que des informations supplémentaires dans un wandb.Table.

# Initialiser le W&B Run
with wandb.init(project="ultralytics", job_type="inference") as run:
    # Initialiser le modèle YOLO
    model = YOLO("yolov8n.pt")

    # Ajouter le callback W&B pour Ultralytics
    add_wandb_callback(model, enable_model_checkpointing=True)

    # Effectuer une prédiction qui journalise automatiquement dans un tableau W&B
    # avec des superpositions interactives pour les boîtes englobantes et les masques de segmentation
    model(
        [
            "img1.png",
            "img2.png",
            "img4.png",
            "img5.png",
        ]
    )

Vous n’avez pas besoin d’initialiser explicitement un run avec wandb.init() pour un flux de travail d’entraînement ou de fine-tuning. En revanche, si le code effectue uniquement de la prédiction, vous devez créer explicitement un run.

Après l’inférence, W&B journalise les boîtes englobantes prédites et les masques de segmentation dans votre run W&B sous forme de superpositions interactives.

Voici à quoi ressemble la superposition interactive de boîtes englobantes :

Pour plus d’informations, voir le guide des superpositions d’images W&B.

Autres ressources

• Optimiser Ultralytics avec W&B
• Détection d’objets avec YOLOv8 : un flux de travail de bout en bout