Canonical lance une pile de science des données pour les débutants en ML

La science des données est l'étude des données. Elle consiste à collecter, analyser et interpréter de grandes quantités d'informations. Les scientifiques des données utilisent ces informations pour prendre des décisions, résoudre des problèmes et prédire les tendances futures.

Les scientifiques des données utilisent divers outils et techniques pour analyser et interpréter des ensembles de données complexes. Cela aide les entreprises et les organisations à prendre de meilleures décisions.

Si vous êtes débutant et que vous commencez juste avec la science des données, vous ferez probablement face à plusieurs défis pour mettre en place un environnement de science des données approprié.

Voici quelques raisons pour lesquelles la mise en place d'un environnement de science des données peut être difficile pour les débutants :

1. Installation du logiciel : Les débutants ont souvent du mal à installer les logiciels nécessaires, tels que les langages de programmation (comme Python ou R), les bibliothèques et les outils (comme Jupyter Notebooks ou RStudio).
2. Comprendre les dépendances : Les logiciels nécessitent souvent des versions spécifiques d'autres logiciels pour fonctionner correctement. Cela peut être déroutant et entraîner des erreurs si ce n'est pas géré correctement.
3. Courbe d'apprentissage : La science des données implique l'apprentissage de nouvelles compétences, y compris la programmation, les statistiques et l'apprentissage automatique. Cela peut être accablant pour les débutants.
4. Gestion des données : Travailler avec des données peut être complexe, surtout lorsqu'il s'agit de grands ensembles de données ou de données désordonnées. Comprendre comment nettoyer, stocker et traiter les données est crucial mais peut être difficile à saisir au début.
5. Gestion de version : Suivre les modifications du code et des données est important mais peut être délicat à mettre en place et à gérer, surtout pour ceux qui découvrent les systèmes de contrôle de version comme Git.
6. Choisir les bons outils : Il existe de nombreux outils et cadres disponibles, et choisir les bons pour un projet spécifique peut être intimidant pour les débutants.

En comprenant ces défis, les débutants peuvent mieux se préparer et chercher les bonnes ressources et le soutien nécessaires pour les surmonter.

Les obstacles initiaux peuvent être difficiles pour les nouveaux data scientists, mais avec de la persévérance et un apprentissage constant, le parcours deviendra plus fluide.

Grâce à la pile de science des données (DSS) de Canonical, la mise en place de la science des données est devenue beaucoup plus facile maintenant. Dans ce tutoriel, nous allons discuter de ce qu'est la pile de science des données et comment l'utiliser pour configurer un environnement de science des données facilement et rapidement sur les systèmes d'exploitation Ubuntu.

Qu'est-ce que le Data Science Stack (DSS) ?

La pile Data Science (DSS) de Canonical est une solution prête à l'emploi pour les data scientists et les ingénieurs en apprentissage automatique.

La pile de science des données simplifie le processus d'installation en fournissant un environnement préconfiguré qui inclut tous les outils et bibliothèques nécessaires pour l'apprentissage automatique et l'analyse de données.

En étant conçu pour fonctionner sur des stations de travail Ubuntu et en optimisant l'utilisation des GPU, DSS peut améliorer les performances des modèles d'apprentissage automatique, ce qui est particulièrement bénéfique pour les tâches à forte intensité de calcul.

DSS permet aux utilisateurs de se concentrer davantage sur le développement et l'optimisation de leurs modèles plutôt que sur les aspects techniques de la configuration de l'environnement.

Cela peut permettre d'économiser une quantité de temps significative qui serait autrement consacrée à l'installation et à la configuration des composants individuels.

Qu'est-ce qui est inclus dans la pile de la science des données ?

La pile Data Science (DSS) fournit un environnement complet et intégré pour les data scientists et les ingénieurs en apprentissage automatique. Voici ce qu'elle offre :

1. Outils préinstallés : DSS comprend des outils open-source populaires comme MicroK8s, JupyterLab et MLflow, qui sont essentiels pour l'exploration des données, le développement de modèles et le suivi des expériences.
2. Cadres d'apprentissage automatique : Par défaut, il est livré avec deux cadres d'apprentissage automatique largement utilisés, PyTorch et TensorFlow, prêts à être utilisés pour construire et entraîner des modèles.
3. Interface en ligne de commande (CLI) : DSS fournit une CLI intuitive pour déployer ces outils et cadres, facilitant ainsi la gestion et la mise à l'échelle de l'environnement.
4. Interfaces Utilisateur : Après le déploiement, les utilisateurs peuvent accéder aux interfaces des outils pour commencer à travailler sur leurs projets de science des données sans la contrainte de la configuration manuelle.
5. Dépendances de l'emballage : DSS gère les dépendances de l'emballage, garantissant que tous les outils, bibliothèques et frameworks sont compatibles entre eux et fonctionnent correctement ensemble.
6. Compatibilité matérielle : Il est conçu pour être compatible avec le matériel de la machine, optimisant la performance des outils et des cadres
7. Configuration simplifiée : Traditionnellement, configurer des environnements de machine learning sur des stations de travail peut être complexe et difficile à inverser. DSS aborde ce problème en fournissant des environnements ML accessibles, prêts pour la production, isolés et reproductibles, qui utilisent efficacement les GPU d'une station de travail.
8. Configuration du GPU : DSS simplifie la configuration du GPU en incluant le opérateur GPU, qui gère la configuration et l'utilisation des GPU pour les tâches d'apprentissage automatique, en utilisant efficacement leur puissance de calcul.

Dans l'ensemble, DSS vise à fournir un environnement optimisé et sans tracas pour la science des données et l'apprentissage automatique, permettant aux utilisateurs de se concentrer sur leurs tâches principales plutôt que sur la configuration technique et la maintenance de leurs outils.

Installer la pile de science des données (DSS) sur Ubuntu

Pour commencer à utiliser la pile Data Science Stack (DSS) pour l'apprentissage automatique et la science des données, suivez ces étapes pour configurer votre environnement :

Prérequis

• Système d'exploitation : Assurez-vous d'avoir Ubuntu 22.04 LTS ou Ubuntu 24.04 LTS installé sur votre système.
• Connexion Internet : Vous aurez besoin d'une connexion Internet active pour télécharger et installer le logiciel nécessaire.
• Snap : Assurez-vous que Snap est installé sur votre système, car il est nécessaire pour installer MicroK8s et DSS.

Configuration de MicroK8s

DSS utilise MicroK8s comme système d'orchestration de conteneurs, ce qui permet aux charges de travail d'accéder aux GPU de l'hôte.

Pour installer MicroK8s sur Ubuntu, exécutez :

$ sudo snap install microk8s --channel 1.28/stable --classic

Ensuite, activez les services requis :

$ sudo microk8s enable storage dns rbac

Installation du CLI DSS

La pile de science des données est gérée via une interface en ligne de commande (CLI).

Installez DSS CLI avec la commande suivante :

$ sudo snap install data-science-stack --channel latest/stable

Une fois ces étapes terminées, vous aurez les composants fondamentaux de DSS installés et prêts à être utilisés. Vous pouvez maintenant procéder à la configuration de vos environnements d'apprentissage automatique et commencer à exécuter vos premiers notebooks en utilisant le CLI de DSS.

Commencer avec la pile de science des données

Après avoir installé MicroK8s et l'interface en ligne de commande DSS, l'étape suivante consiste à initialiser DSS sur MicroK8s et à préparer MLflow pour son utilisation.

Initialisation de DSS et MLflow

Pour initialiser DSS, vous devrez utiliser la commande dss initialize, qui configure les ressources nécessaires au sein du cluster MicroK8s.

$ dss initialize --kubeconfig="$(sudo microk8s config)"

Le drapeau --kubeconfig est utilisé pour spécifier le chemin vers le fichier de configuration Kubernetes généré par MicroK8s.

La commande dss initialize peut prendre quelques minutes à s'exécuter. Pendant ce temps, l'interface en ligne de commande DSS affichera des messages indiquant l'avancement du déploiement. Vous verrez des messages similaires aux suivants :

[INFO] Waiting for deployment my-tensorflow-notebook in namespace dss to be ready...

Ce message indique que DSS attend que le déploiement du notebook TensorFlow soit prêt. Soyez patient pendant que le système configure l'environnement et s'assure que tous les composants sont correctement configurés.

Une fois l'initialisation terminée, vous verrez une sortie comme ci-dessous :

[INFO] Executing initialize command
[INFO] Storing provided kubeconfig to /home/ostechnix/snap/data-science-stack/16/.dss/config
[INFO] Waiting for deployment mlflow in namespace dss to be ready...
[INFO] Deployment mlflow in namespace dss is ready
[INFO] DSS initialized. To create your first notebook run the command:

dss create

Examples:
  dss create my-notebook --image=pytorch
  dss create my-notebook --image=kubeflownotebookswg/jupyter-scipy:v1.8.0

Maintenant, vous serez prêt à commencer à utiliser le serveur de suivi MLflow et les autres composants fournis par DSS.

Vous pouvez ensuite procéder à la création et à l'exécution de votre premier carnet d'apprentissage automatique dans l'environnement DSS.

Commencer votre premier carnet Jupyter

Pour démarrer votre premier Jupyter Notebook en utilisant la pile Data Science (DSS), vous devrez utiliser la commande dss create, qui vous permet de spécifier le type de notebook que vous souhaitez créer.

Ici, nous créons un carnet TensorFlow nommé my-tensorflow-notebook avec le support CUDA :

$ dss create my-tensorflow-notebook --image=kubeflownotebookswg/jupyter-tensorflow-cuda:v1.8.0

Après la création réussie du Notebook, vous verrez une sortie comme ci-dessous :

[INFO] Executing create command
[INFO] Waiting for deployment my-tensorflow-notebook in namespace dss to be ready...
[INFO] Waiting for deployment my-tensorflow-notebook in namespace dss to be ready...
[INFO] Waiting for deployment my-tensorflow-notebook in namespace dss to be ready...
[INFO] Deployment my-tensorflow-notebook in namespace dss is ready
[INFO] Success: Notebook my-tensorflow-notebook created successfully.
[INFO] Access the notebook at http://10.152.183.253:80.

Une fois que le carnet est prêt, la commande affiche une URL que vous pouvez utiliser pour accéder à l'interface de JupyterLab.

Pour commencer à travailler avec votre carnet, ouvrez un navigateur web et saisissez l'URL fournie dans la barre d'adresse.

Comme vous le voyez dans la sortie ci-dessus, nous pouvons accéder au Notebook nouvellement créé à http://10.152.183.253:80 depuis un navigateur Web. Remplacez l'URL par la vôtre.

Cela vous conduira à l'interface JupyterLab où vous pourrez créer de nouveaux notebooks, télécharger des données et commencer vos tâches d'apprentissage automatique en utilisant TensorFlow et CUDA.

N'oubliez pas que l'adresse IP et le numéro de port dans l'URL peuvent varier en fonction de votre configuration spécifique.

C'est tout. Vous pouvez maintenant commencer à interagir avec votre Notebook.

Voir le statut DSS

Pour vérifier rapidement l'état de votre environnement Data Science Stack (DSS), y compris l'état de MLflow et la disponibilité de l'accélération GPU, vous pouvez utiliser la commande dss status comme indiqué ci-dessous.

$ dss status

La commande dss status vous fournira un résumé de l'état actuel de votre environnement DSS. Voici un exemple de ce à quoi la sortie pourrait ressembler :

[INFO] MLflow deployment: Ready
[INFO] MLflow URL: http://10.152.183.157:5000
[INFO] GPU acceleration: Disabled

Explication de la sortie :

• Déploiement MLflow : Prêt indique que le serveur de suivi MLflow est opérationnel.
• URL MLflow fournit l'URL où vous pouvez accéder à l'interface utilisateur MLflow pour suivre vos expériences d'apprentissage automatique.
• Accélération GPU : Désactivée indique qu'aucun GPU n'est disponible ou configuré pour être utilisé dans l'environnement DSS actuel.

Pour vérifier, ouvrez l'URL MLflow http://10.152.183.157:5000 depuis votre navigateur web.

Ceci ouvrira le tableau de bord MLflow dans votre navigateur web.

Onglet Expériences dans le tableau de bord MLflow :

Puisqu'il s'agit de notre nouvelle installation, il n'y a pas encore d'expériences. Pour créer une expérience, utilisez la CLI mlflow experiments.

Onglet Modèles dans le tableau de bord MLflow :

Lister les commandes DSS

Pour afficher la liste des commandes disponibles pour le Data Science Stack (DSS), vous pouvez utiliser la commande dss avec l'option --help.

Exécutez la commande suivante dans votre terminal :

$ dss --help

Cela affichera une liste de commandes avec une brève description de leur but.

Si vous avez besoin d'informations plus détaillées sur une commande DSS spécifique, vous pouvez utiliser la commande suivie de l'option --help.

Par exemple, pour obtenir des détails sur la commande initialize, vous exécuteriez :

$ dss logs --help

Suppression de la pile Data Science de MicroK8s

Si vous n'avez plus besoin de DSS, vous pouvez utiliser la commande dss purge pour supprimer le Data Science Stack de votre cluster MicroK8s.

Pour supprimer DSS, exécutez la commande suivante dans votre terminal :

$ dss purge

Cette commande supprimera complètement tous les composants DSS, y compris les notebooks Jupyter, le serveur MLflow, et toutes les données stockées dans l'environnement DSS.

Il est important de noter que cette action est irréversible, et que toutes les données présentes dans l'environnement DSS seront définitivement perdues. Assurez-vous de sauvegarder toutes les données importantes avant de procéder à la purge.

Supprimer DSS CLI et MicroK8s

Alors que la commande dss purge supprime les composants DSS du cluster MicroK8s, elle ne supprime pas l'interface en ligne de commande DSS ni le cluster MicroK8s lui-même. Si vous souhaitez les supprimer également, vous devrez supprimer leurs snaps respectifs :

Pour supprimer le CLI DSS, utilisez la commande suivante :

$ sudo snap remove data-science-stack

Pour supprimer MicroK8s, utilisez la commande suivante :

$ sudo snap remove microk8s

En suivant ces étapes, vous pouvez supprimer complètement la Stack Data Science (DSS) et ses composants associés de votre système.

Questions Fréquemment Posées (FAQ)

Q : Qu'est-ce que le Data Science Stack (DSS) ?

A : Data Science Stack (DSS) est un environnement complet et prêt à l'emploi pour l'apprentissage automatique et la science des données. Il est conçu pour simplifier la configuration et la gestion des outils et cadres de la science des données, permettant aux utilisateurs de se concentrer sur leurs tâches principales plutôt que sur les complexités de la configuration de l'environnement.

Q : Quels outils sont inclus dans DSS ?

A : DSS comprend une variété d'outils open source tels que Jupyter Notebook, MLflow et des frameworks de machine learning populaires comme TensorFlow et PyTorch. Il fournit également un système d'orchestration de conteneurs, MicroK8s, pour gérer les charges de travail.

Q : Comment installer DSS ?

A : Pour installer DSS, vous devez disposer d'Ubuntu 22.04 LTS ou d'Ubuntu 24.04 LTS, d'une connexion Internet et de Snap installé. Ensuite, vous pouvez installer MicroK8s et le CLI DSS en utilisant les commandes Snap. Pour des instructions détaillées, référez-vous à la documentation officielle ou au guide d'installation.

Q : Comment puis-je démarrer un Jupyter Notebook avec DSS ?

A : Vous pouvez démarrer un Jupyter Notebook avec DSS en utilisant la commande dss create, en spécifiant l'image souhaitée pour votre notebook. Par exemple, pour démarrer un notebook TensorFlow, vous utiliseriez dss create my-tensorflow-notebook --image=kubeflownotebookswg/jupyter-tensorflow-cuda:v1.8.0.

Q : Quel est le but de la commande dss status ?

A : La commande dss status fournit un aperçu rapide de l'état actuel de votre environnement DSS, y compris le statut de MLflow et la disponibilité de l'accélération GPU. Elle vous aide à vérifier que tous les composants fonctionnent correctement.

Q : Comment supprimer DSS de mon environnement ?

A : Pour supprimer DSS, vous pouvez utiliser la commande dss purge, qui supprimera tous les composants DSS, y compris les notebooks Jupyter et le serveur MLflow. Notez que cette action est irréversible et entraînera la perte de toutes les données dans l'environnement DSS.

Q : Où puis-je trouver plus d'informations sur les commandes DSS ?

A : Vous pouvez trouver des informations détaillées sur les commandes DSS en utilisant la commande dss --help pour lister toutes les commandes disponibles et dss <command> --help pour obtenir l'utilisation détaillée d'une commande spécifique.

Q : DSS est-il gratuit à utiliser ?

Oui, DSS est basé sur des outils open-source et est gratuit à utiliser.

Q : DSS convient-il aux débutants en science des données ?

A : Oui, DSS est conçu pour être convivial et peut être un excellent outil pour les débutants car il réduit la complexité de la mise en place d'un environnement de science des données. Il fournit un environnement prêt à l'emploi et optimisé qui permet aux utilisateurs de commencer rapidement à travailler sur des projets de science des données.

Conclusion

En résumé, le Data Science Stack (DSS) simplifie la configuration des tâches de science des données. Il fournit un ensemble d'outils qui fonctionnent bien ensemble, ce qui facilite le démarrage rapide des projets.

Que vous soyez nouveau en science des données ou expérimenté, DSS vous aide à vous concentrer sur votre travail en gérant la configuration technique. C'est un outil fiable qui soutient l'analyse efficace des données et la construction de modèles.

Ressource:

• Documentation de la Stack Data Science (DSS)

Lecture liée :

• Comment installer Anaconda sur Linux
• Comment installer Miniconda sur Linux