Table des matières:
Vidéo: Apprentissage statistique et analyse prédictive en Python avec scikit-learn - Alexandre GRAMFORT 2024
Partie de Data Science For Dummies > Si les statistiques ont été décrites comme la science de l'analyse des données, quelle est la différence entre un statisticien et un spécialiste des données? Bonne question! Alors que de nombreuses tâches en science des données nécessitent un certain savoir-faire statistique, la portée et l'étendue des connaissances et des compétences d'un spécialiste des données sont distinctes de celles d'un statisticien. Les distinctions fondamentales sont décrites ci-dessous.
-
L'une des principales caractéristiques des spécialistes des données est qu'ils offrent un degré d'expertise sophistiqué dans le domaine auquel ils appliquent leurs méthodes analytiques. Les spécialistes des données ont besoin de cela pour être en mesure de comprendre réellement les implications et les applications des informations qu'ils génèrent. Un spécialiste des données devrait avoir suffisamment d'expertise en la matière pour être en mesure d'identifier la signification de leurs résultats et de décider de façon indépendante comment procéder dans l'analyse.
Approches mathématiques et d'apprentissage automatique:
Les statisticiens s'appuient principalement sur des méthodes et des processus statistiques lorsqu'ils tirent des conclusions des données. En revanche, les scientifiques de données sont tenus de tirer d'une grande variété de techniques pour en tirer des informations sur les données. Ceux-ci comprennent des méthodes statistiques, mais comprennent également des approches qui ne sont pas basées sur des statistiques - comme celles trouvées dans les mathématiques, la classification, la classification et les approches d'apprentissage automatique non statistique. -
Voir l'importance du savoir-faire statistique Vous n'avez pas besoin d'obtenir un diplôme en statistiques pour pratiquer la science des données, mais vous devriez au moins vous familiariser avec certaines des méthodes les plus fondamentales utilisées dans l'analyse de données statistiques. Celles-ci comprennent:
Régression linéaire
: La régression linéaire est utile pour modéliser les relations entre une variable dépendante et une ou plusieurs variables indépendantes. Le but de la régression linéaire est de découvrir (et de quantifier la force) des corrélations importantes entre variables dépendantes et indépendantes.
-
Analyse des séries chronologiques: L'analyse des séries temporelles consiste à analyser une collection de données sur les valeurs d'attributs dans le temps, afin de prédire les instances futures de la mesure sur la base des données d'observation antérieures.
-
Simulations de Monte Carlo: La méthode de Monte Carlo est une technique de simulation que vous pouvez utiliser pour tester des hypothèses, générer des estimations de paramètres, prédire des résultats de scénarios et valider des modèles. La méthode est puissante car elle peut être utilisée pour simuler très rapidement de 1 à 10 000 échantillons de simulation (ou plus) pour tous les processus que vous essayez d'évaluer.
-
Statistiques pour les données spatiales: Une propriété fondamentale et importante des données spatiales est qu'elles ne sont pas aléatoires. Il est spatialement dépendant et autocorrélé. Lorsque vous modélisez des données spatiales, évitez les méthodes statistiques supposant que vos données sont aléatoires. Le krigeage et le krige sont deux méthodes statistiques que vous pouvez utiliser pour modéliser des données spatiales. Ces méthodes vous permettent de produire des surfaces prédictives pour des zones d'étude entières en fonction d'ensembles de points connus dans l'espace géographique.
-
Utilisation des méthodes de clustering, de classification et d'apprentissage automatique L'apprentissage automatique est l'application d'algorithmes de calcul pour apprendre (ou en déduire des modèles) des ensembles de données brutes.
Clustering
est un type particulier d'apprentissage automatique - apprentissage automatique non supervisé, ce qui signifie que les algorithmes doivent apprendre à partir de données non étiquetées et, par conséquent, utiliser des méthodes déductives corrélations. La classification, en revanche, est appelée apprentissage automatique supervisé, ce qui signifie que les algorithmes apprennent à partir de données étiquetées. Les descriptions suivantes présentent certaines des approches de classification et de classification les plus élémentaires:
k-means clustering: Vous déployez généralement des algorithmes k-means pour subdiviser des points de données d'un ensemble de données en fonction des valeurs moyennes les plus proches. Pour déterminer la division optimale de vos points de données en grappes, de sorte que la distance entre les points de chaque grappe soit minimisée, vous pouvez utiliser le regroupement k-means.
-
Algorithmes du plus proche voisin: L'objectif de l'analyse du plus proche voisin est de rechercher et de localiser le point le plus proche dans l'espace ou la valeur numérique la plus proche, selon l'attribut utilisé pour la comparaison.
-
Estimation de la densité du noyau: Une autre façon d'identifier les grappes dans vos données est d'utiliser une fonction de lissage de densité. L'estimation de la densité du noyau (KDE) consiste à placer une fonction de pondération
-
kernel utile pour quantifier la densité - sur chaque point de données de l'ensemble de données, puis à sommer les noyaux pour générer une estimation du noyau. Région. Garder les méthodes mathématiques dans le mélange On parle beaucoup de la valeur des statistiques dans la pratique de la science des données, mais les méthodes mathématiques appliquées sont rarement mentionnées. Pour être franc, les mathématiques sont la base de toutes les analyses quantitatives. Son importance ne doit pas être sous-estimée. Les deux méthodes mathématiques suivantes sont particulièrement utiles en science des données.
Prise de décision multicritères (MCDM):
MCDM est une approche de modélisation décisionnelle mathématique que vous pouvez utiliser lorsque vous avez plusieurs critères ou alternatives que vous devez évaluer simultanément pour prendre une décision.
-
Chaînes de Markov : Une chaîne de Markov est une méthode mathématique qui enchaîne une série de variables générées aléatoirement qui représentent l'état actuel afin de modéliser la manière dont les changements dans les variables d'état affectent les états futurs.
-
