Accueil Finances personnelles S'exécutant en Parallel Python for Data Science - les nuls

S'exécutant en Parallel Python for Data Science - les nuls

Table des matières:

Vidéo: Le photographe excentrique Benoit Paillé s'exécutant devant une de ses oeuvres photographiques. 2025

Vidéo: Le photographe excentrique Benoit Paillé s'exécutant devant une de ses oeuvres photographiques. 2025
Anonim

La plupart des ordinateurs sont multicœurs (deux processeurs ou plus dans un seul paquet), certains avec plusieurs processeurs physiques. L'une des limitations les plus importantes de Python est qu'il utilise un seul noyau par défaut. (Il a été créé à une époque où les cœurs simples étaient la norme.)

Les projets de science des données exigent beaucoup de calculs. En particulier, une partie de l'aspect scientifique de la science des données repose sur des tests répétés et des expériences sur différentes matrices de données. N'oubliez pas que le fait de travailler avec d'énormes quantités de données signifie que la plupart des transformations fastidieuses répètent l'observation après l'observation (par exemple, des opérations identiques et non liées sur différentes parties d'une matrice).

L'utilisation de plusieurs cœurs de processeur accélère le calcul d'un facteur proche du nombre de cœurs. Par exemple, avoir quatre cœurs signifierait travailler au mieux quatre fois plus vite. Vous ne recevez pas une augmentation quadruple complète car il y a un surcoût lors du démarrage d'un processus parallèle - les nouvelles instances Python en cours d'exécution doivent être configurées avec les bonnes informations en mémoire et lancées; par conséquent, l'amélioration sera moins que potentiellement réalisable mais toujours significative.

Savoir utiliser plus d'un processeur est donc une compétence avancée mais incroyablement utile pour augmenter le nombre d'analyses effectuées et accélérer vos opérations lors de la configuration et de l'utilisation de vos produits de données.

Le multitraitement fonctionne en répliquant le même code et le même contenu mémoire dans diverses nouvelles instances Python (les travailleurs), en calculant le résultat pour chacun d'entre eux et en renvoyant les résultats regroupés à la console d'origine principale. Si votre instance d'origine occupe déjà une grande partie de la mémoire RAM disponible, il ne sera pas possible de créer de nouvelles instances et votre machine pourrait manquer de mémoire.

Exécution d'un parallélisme multicœur

Pour effectuer un parallélisme multicœur avec Python, vous intégrez le package Scikit-learn au package joblib pour les opérations fastidieuses, telles que la réplication de modèles pour la validation de résultats ou la recherche de les meilleurs hyper-paramètres. En particulier, Scikit-learn permet le multitraitement lorsque

  • Cross-validation: Test des résultats d'une hypothèse d'apprentissage automatique en utilisant différentes données d'entraînement et de test

  • Grid-search: Changement systématique des hyper-paramètres d'une hypothèse d'apprentissage machine et de tester les résultats conséquents

  • Prédiction multi-étiquettes: Exécuter un algorithme plusieurs fois contre des cibles multiples lorsqu'il existe de nombreux résultats cibles différents à prévoir en même temps

  • Modélisation d'un grand nombre de classificateurs, indépendants l'un de l'autre, comme lors de l'utilisation de la modélisation basée sur RandomForest

Vous n'avez rien de spécial à faire pour tirer parti des calculs parallèles - vous pouvez activer le parallélisme le n_jobs -paramètre à un nombre de cœurs supérieur à 1 ou en définissant la valeur à -1, ce qui signifie que vous voulez utiliser toutes les instances de CPU disponibles.

Si vous n'exécutez pas votre code depuis la console ou depuis un IPython Notebook, il est extrêmement important de séparer votre code de toute importation de paquet ou de toute affectation de variable globale dans votre script en utilisant if __name __ == '__ main__': commande au début de tout code qui exécute le parallélisme multicœur. L'instruction if vérifie si le programme est directement exécuté ou est appelé par une console Python déjà en cours, en évitant toute confusion ou erreur du processus multiparallèle (comme l'appel récursif du parallélisme).

Démonstration du multitraitement

C'est une bonne idée d'utiliser IPython lorsque vous faites une démonstration de la façon dont le multitraitement peut vraiment vous faire gagner du temps lors de projets de science des données. L'utilisation d'IPython offre l'avantage d'utiliser la commande% timeit magic pour l'exécution de la temporisation. Vous commencez par charger un ensemble de données multiclasses, un algorithme d'apprentissage automatique complexe (le classificateur de vecteur de support, ou SVC), et une procédure de validation croisée pour estimer les scores résultants fiables de toutes les procédures.

La chose la plus importante à savoir est que les procédures deviennent assez importantes parce que le SVC produit 10 modèles, qu'il répète 10 fois chacun en utilisant la validation croisée, pour un total de 100 modèles.

de sklearn. jeux de données import load_digits chiffres = load_digits () X, y = chiffres. données, chiffres. cible de Sklearn. SVM importer SVC de sklearn. cross_validation import cross_val_score% temps single_core_learning = cross_val_score (SVC (), X, y, cv = 20, n_jobs = 1) Out [1]: 1 boucles, meilleur de 3: 17. 9 s par boucle

Après ce test, vous devez activer le parallélisme multicœur et chronométrer les résultats en utilisant les commandes suivantes:

% timeit multi_core_learning = cross_val_score (SVC (), X, y, cv = 20, n_jobs = -1) Out [2]: 1 boucles, meilleur de 3: 11. 7 s par boucle

L'exemple de machine démontre un avantage positif en utilisant le traitement multicœur, malgré l'utilisation d'un petit ensemble de données où Python passe la plupart du temps à démarrer des consoles et à exécuter une partie du code dans chacune. Cette surcharge, de quelques secondes, est toujours significative étant donné que l'exécution totale s'étend sur quelques secondes. Imaginez ce qui se passerait si vous utilisiez des ensembles de données plus volumineux - votre temps d'exécution pourrait être facilement réduit de deux ou trois fois.

Bien que le code fonctionne bien avec IPython, le mettre dans un script et demander à Python de l'exécuter dans une console ou d'utiliser un IDE peut provoquer des erreurs à cause des opérations internes d'une tâche multicœur. La solution consiste à placer tout le code sous une instruction if, qui vérifie si le programme a démarré directement et n'a pas été appelé par la suite. Voici un exemple de script:

de sklearn. les datasets importent load_digits de sklearn. SVM importer SVC de sklearn. cross_validation import cross_val_score if __name__ == '__main__': chiffres = load_digits () X, y = chiffres. données, chiffres. target multi_core_learning = cross_val_score (SVC (), X, y, cv = 20, n_jobs = -1)
S'exécutant en Parallel Python for Data Science - les nuls

Le choix des éditeurs

Principes de base du protocole de routage IP Multicast - dummies

Principes de base du protocole de routage IP Multicast - dummies

IP Le routage multicast est le routage du trafic multicast. La nature des données IP Multicast est telle qu'elle a ses propres problèmes de routage de réseau Cisco. Il existe quatre protocoles de multidiffusion principaux pris en charge par le Cisco IOS actuel. L'illustration vous montre approximativement où les protocoles sont utilisés; Ce qui suit est ...

Comment le protocole STP (Spanning Tree Protocol) gère les modifications du réseau - dummies

Comment le protocole STP (Spanning Tree Protocol) gère les modifications du réseau - dummies

Nouveau concentrateur ou passer à un réseau mappé STP (Spanning Tree Protocol)? Pour cet exemple, un concentrateur était connecté à un port sur les deux commutateurs 11: 99 et 77: 22. Un concentrateur était utilisé car il ne disposait pas d'une intelligence réseau. L'effet net est en fait le même que ...

Types de réseau local (LAN) - nuls

Types de réseau local (LAN) - nuls

Un WAN est un type de réseau local (LAN) . Un réseau local est un réseau privé généralement constitué d'une connexion réseau fiable, rapide et bien connectée. Les alternatives sur le framework LAN incluent CAN, MAN et WAN. Ces trois options de réseau sont illustrées ci-dessous: CAN Si vous utilisez le réseau LAN ...

Le choix des éditeurs

Bebo est l'application de médias sociaux pour vous? - les nuls

Bebo est l'application de médias sociaux pour vous? - les nuls

Comment savez-vous quel est le bon média social pour vous? La culture moderne devient de plus en plus dépendante des médias sociaux tels que Bebo, Facebook, Twitter et What'sApp, ainsi que de nombreux autres. Le questionnaire suivant vous aidera à déterminer si vous avez ou non ce qu'il faut pour être social sur le nouveau ...

Comment utiliser Bebo - dummies

Comment utiliser Bebo - dummies

Bebo, la nouvelle application des médias sociaux, est aussi facile à utiliser que C'est amusant à regarder. Vous pouvez obtenir cette nouvelle application sur Google Play Store et Apple App Store. Lancez Bebo et suivez les instructions à l'écran pour terminer le processus de création de compte. Après avoir téléchargé avec succès, ...

Le choix des éditeurs

Ce que vous pouvez trouver dans une barre latérale de blog - des mannequins

Ce que vous pouvez trouver dans une barre latérale de blog - des mannequins

La plupart des blogs contiennent du matériel de barre latérale. La plupart des blogs sont disposés en deux ou trois colonnes, et le contenu de la barre latérale apparaît généralement dans les deuxième et / ou troisième colonnes. Certains blogs n'ont pas de barres latérales, et sur d'autres blogs, vous pouvez découvrir des éléments supplémentaires au-delà de ce que vous voyez ici. Archives basées sur la date: Presque tous les blogs sont ...

Lorsqu'un réseau publicitaire est approprié pour votre blog maman - les mannequins

Lorsqu'un réseau publicitaire est approprié pour votre blog maman - les mannequins

Ne sont que quelques-unes modèles conflit en cours d'exécution des publicités avec vos meilleurs intérêts. C'est quand vous bloguez pour vendre vos propres produits ou pour promouvoir vos services professionnels. Même dans ce cas, il est toujours possible de diffuser des annonces sur ces blogs, surtout si les annonces font la promotion de produits et de services complémentaires et non concurrents. Mais si vous êtes ...

Quand maman blogue pour Swag is Okay - les mannequins

Quand maman blogue pour Swag is Okay - les mannequins

Dans certaines circonstances légitimes vous pouvez vous sentir travailler gratuitement vaut votre temps et la publicité que vous offrez à une marque. Cela peut être comparé à un stage non rémunéré. Si vous êtes stagiaire et que vous avez une excellente expérience de travail, alors c'est une entreprise précieuse. Si vous êtes stagiaire et que vous ne versez que du café et que vous livrez ...