Sur Hadoop et la langue R - les nuls

La discipline de l'apprentissage automatique a un catalogue de techniques riche et étendu. Mahout apporte une gamme d'outils et d'algorithmes statistiques à la table, mais il ne capture qu'une fraction de ces techniques et algorithmes, car la tâche de convertir ces modèles en un framework MapReduce est difficile.

Au fil du temps, Mahout devrait continuer à élargir sa boîte à outils statistique, mais jusque là tous les spécialistes des données et les statisticiens doivent être au courant d'autres logiciels de modélisation statistique - où R intervient.

Le langage R est un environnement de développement et de langage statistique Open Source puissant et populaire. Il offre un riche écosystème d'analyse qui peut aider les scientifiques en matière d'exploration de données, de visualisation, d'analyse statistique et de calcul, de modélisation, d'apprentissage automatique et de simulation. Le langage R est couramment utilisé par les statisticiens, les mineurs de données, les analystes de données et les scientifiques de données (de nos jours).

Les programmeurs en langage R ont accès aux bibliothèques du réseau d'archives R qui, à l'heure où nous écrivons, contiennent plus de 3000 progiciels d'analyse statistique. Ces add-ons peuvent être intégrés à n'importe quel projet R, fournissant des outils analytiques riches pour exécuter la classification, la régression, le clustering, la modélisation linéaire et des algorithmes d'apprentissage machine plus spécialisés. Le langage est accessible à ceux qui sont familiarisés avec les types de structure de données simples - vecteurs, scalaires, trames de données (matrices), etc. - couramment utilisés par les statisticiens et les programmeurs.

Hors des sentiers battus, l'un des principaux pièges de l'utilisation du langage R est le manque de support qu'il offre pour exécuter des tâches simultanées. Les outils de langage statistique comme R excellent à l'analyse rigoureuse, mais manquent d'évolutivité et de support natif pour les calculs parallèles.

Ces systèmes ne sont pas distribuables et n'ont pas été développés pour être évolutifs pour le monde pétaoctet moderne du Big Data. Les propositions pour surmonter ces limitations doivent étendre la portée de R au-delà des environnements de chargement en mémoire et d'exécution d'un seul ordinateur, tout en maintenant le flair de R pour les algorithmes statistiques facilement déployables.