Accueil Finances personnelles Apprendre à connaître les limites du biais dans l'apprentissage automatique - Les nuls

Apprendre à connaître les limites du biais dans l'apprentissage automatique - Les nuls

Vidéo: Henri Broch - L'art du doute (Les Lois de l'Attraction Mentale) 2025

Vidéo: Henri Broch - L'art du doute (Les Lois de l'Attraction Mentale) 2025
Anonim

L'apprentissage automatique dépend beaucoup des données de l'échantillon. Cette partie de vos données est importante parce que vous voulez découvrir un point de vue du monde, et comme avec tous les points de vue, il peut être faux, déformé, ou tout simplement partiel. Vous savez également que vous avez besoin d'un exemple hors échantillon pour vérifier si le processus d'apprentissage fonctionne. Cependant, ces aspects ne forment qu'une partie de l'image.

Lorsque vous faites fonctionner un algorithme d'apprentissage automatique sur des données pour deviner une certaine réponse, vous prenez effectivement un risque et ce pari n'est pas uniquement dû à l'échantillon que vous utilisez pour l'apprentissage. Il y a plus. Pour le moment, imaginez que vous ayez librement accès à des données appropriées, impartiales et dans l'échantillon, de sorte que les données ne constituent pas le problème. Au lieu de cela, vous devez vous concentrer sur la méthode d'apprentissage et de prédiction.

D'abord, vous devez considérer que vous pariez que l'algorithme peut raisonnablement deviner la réponse. Vous ne pouvez pas toujours faire cette hypothèse parce que déterminer certaines réponses n'est pas possible, peu importe ce que vous savez à l'avance.

Par exemple, vous ne pouvez pas entièrement déterminer le comportement des êtres humains en connaissant leur histoire et leur comportement antérieurs. Peut-être un effet aléatoire est-il impliqué dans le processus génératif de notre comportement (la partie irrationnelle de nous, par exemple), ou peut-être que le problème revient au libre arbitre (le problème est aussi philosophique / religieux et il y a beaucoup d'opinions discordantes). Par conséquent, vous pouvez deviner seulement certains types de réponses, et pour beaucoup d'autres, comme lorsque vous essayez de prédire le comportement des gens, vous devez accepter un certain degré d'incertitude qui, avec de la chance, est acceptable pour vos objectifs.

Deuxièmement, vous devez considérer que vous pariez que la relation entre l'information que vous avez et la réponse que vous voulez prédire peut être exprimée comme une formule mathématique quelconque, et que votre apprentissage automatique algorithme est en fait capable de deviner cette formule. La capacité de votre algorithme à deviner la formule mathématique derrière une réponse est intrinsèquement intégrée dans les rouages ​​de l'algorithme.

Certains algorithmes peuvent presque tout deviner; d'autres ont en fait un ensemble limité d'options. La gamme de formulations mathématiques possibles qu'un algorithme peut deviner est l'ensemble de ses hypothèses possibles. Par conséquent, une hypothèse est un algorithme unique, spécifié dans tous ses paramètres et donc capable d'une seule formulation spécifique.

Les mathématiques sont fantastiques. Il peut décrire une grande partie du monde réel en utilisant une notation simple, et c'est le cœur de l'apprentissage automatique car tout algorithme d'apprentissage a une certaine capacité à représenter une formulation mathématique.Certains algorithmes, tels que la régression linéaire, utilisent explicitement une formulation mathématique spécifique pour représenter comment une réponse (par exemple, le prix d'une maison) se rapporte à un ensemble d'informations prédictives (informations sur le marché, localisation de la maison, surface de la propriété, etc).

Certaines formulations sont si complexes et complexes que, même si leur représentation sur papier est possible, cela est trop difficile en pratique. Certains autres algorithmes sophistiqués, tels que les arbres de décision, n'ont pas de formulation mathématique explicite, mais sont tellement adaptables qu'ils peuvent être réglés pour se rapprocher facilement d'une large gamme de formulations. À titre d'exemple, considérons une formulation simple et facilement expliquée. La régression linéaire est juste une ligne dans un espace de coordonnées donné par la réponse et tous les prédicteurs. Dans l'exemple le plus simple, vous pouvez avoir une réponse, y, et un seul prédicteur, x, avec une formulation de

y = β 1 x 1 + β 0

Dans une situation simple d'une réponse prédite par une caractéristique unique, un tel modèle est parfait lorsque vos données s'organisent en une ligne. Cependant, que se passe-t-il si ce n'est pas le cas et se forme comme une courbe? Pour représenter la situation, observez simplement les représentations bidimensionnelles suivantes.

Exemple d'un modèle linéaire qui peine à cartographier une fonction de courbe.

Lorsque les points ressemblent à une ligne ou à un nuage, une erreur se produit lorsque vous déterminez que le résultat est une ligne droite; par conséquent, la cartographie fournie par la formulation précédente est en quelque sorte imprécise. Cependant, l'erreur n'apparaît pas systématiquement mais de manière aléatoire car certains points sont au-dessus de la ligne mappée et d'autres en dessous. La situation avec le nuage de points courbé et formé est différente, parce que cette fois, la ligne est parfois exacte mais à d'autres moments elle est systématiquement erronée. Parfois, les points sont toujours au-dessus de la ligne; parfois ils sont en dessous.

Compte tenu de la simplicité de sa cartographie de la réponse, votre algorithme a tendance à surestimer ou à sous-estimer systématiquement les règles réelles qui sous-tendent les données, ce qui représente leur biais. Le biais est caractéristique des algorithmes plus simples qui ne peuvent pas exprimer des formulations mathématiques complexes.

Apprendre à connaître les limites du biais dans l'apprentissage automatique - Les nuls

Le choix des éditeurs

Résoudre les problèmes de Symbolisme sur l'ACT Math Test - les nuls

Résoudre les problèmes de Symbolisme sur l'ACT Math Test - les nuls

Occasionnellement, vous pouvez rencontrer quelques types de base des problèmes de symbolisme sur le test mathématique ACT. Ces problèmes ne sont pas difficiles, mais ils peuvent vous décourager si vous ne les attendez pas. Vraiment, ils ne sont que des problèmes de substitution étranges. Pour les résoudre, utilisez cette approche de base: Remplacez le nombre donné pour la variable dans l'explication. Parler ...

Résoudre les problèmes de proportionnalité inverse sur l'ACT - mannequins

Résoudre les problèmes de proportionnalité inverse sur l'ACT - mannequins

L'ACT inclura probablement des problèmes mathématiques impliquant l'inverse proportionnalité. La proportionnalité inverse fait référence à un lien entre deux variables basées sur la multiplication ou la division, où les variables ont tendance à augmenter et à tomber séparément. C'est-à-dire, à mesure que l'un augmente, l'autre diminue, et vice versa. Deux variables, x et y, sont inversement proportionnelles ...

Pour résoudre des équations ACT avec variables supplémentaires - mannequins

Pour résoudre des équations ACT avec variables supplémentaires - mannequins

Certaines équations du test mathématique ACT peuvent inclure une ou plusieurs variables supplémentaires. En règle générale, lorsqu'une équation a plus d'une variable, vous ne pouvez pas la résoudre. Par conséquent, dans la plupart des cas, vous devez résoudre l'équation en termes d'autres variables - c'est-à-dire isoler une variable d'un côté de ...

Le choix des éditeurs

La création de structures de données volumineuses gérables - les nuls

La création de structures de données volumineuses gérables - les nuls

À Mesure que l'informatique se déplaçait sur le marché commercial fichiers plats qui n'ont imposé aucune structure. Aujourd'hui, le big data nécessite des structures de données gérables. Lorsque les entreprises avaient besoin d'un niveau de compréhension détaillé des clients, elles devaient appliquer des méthodes de force brute, y compris des modèles de programmation très détaillés pour créer de la valeur. Plus tard dans le ...

Text Analytics pour les Big Data non structurées - dummies

Text Analytics pour les Big Data non structurées - dummies

Nombreuses méthodes d'analyse des données non structurées pour votre initiative big data. Historiquement, ces techniques sont issues de domaines techniques tels que le traitement du langage naturel (NLP), la découverte de connaissances, l'exploration de données, la recherche d'informations et les statistiques. L'analyse textuelle est le processus d'analyse de texte non structuré, d'extraction d'informations pertinentes et de transformation en informations structurées pouvant alors ...

Data Warehouse Deluxe - les nuls

Data Warehouse Deluxe - les nuls

Vous concentreront probablement la plupart de vos activités liées à l'entreposage de données sur l'entrepôt de données environnement de luxe, comme le montre cette figure. Les données provenant de nombreuses sources différentes convergent dans ces «vrais» entrepôts de données, qui mettent à disposition une multitude d'options architecturales que vous pouvez personnaliser pour répondre à vos besoins spécifiques. Les domaines et le contenu des données de ...

Le choix des éditeurs

ÉTirements de hanches qui vous préparent à la méditation - mannequins

ÉTirements de hanches qui vous préparent à la méditation - mannequins

Certaines personnes ont de la difficulté à s'asseoir et à méditer pendant 10 15 minutes à la fois, donc si vous n'êtes pas une de ces personnes, vous avez de la chance! Pour ceux qui ont des problèmes de dos ou d'inconfort pendant la méditation, essayez ces poses de yoga pour vous aider à vous préparer. Ces étirements vont ouvrir vos hanches et les rendre ...

Comment la pleine conscience peut aider à soulager la douleur - les nuls

Comment la pleine conscience peut aider à soulager la douleur - les nuls

Peuvent paralyser votre vie. L'une des techniques recommandées pour la gestion de la douleur est l'approche corps-esprit, y compris la pleine conscience. Vous ne pouvez pas faire les activités que vous teniez pour acquises et vous devrez peut-être arrêter de faire des plans à long terme. Votre douleur peut devenir votre objectif principal au-delà de toute autre considération. La ...

Comment la pleine conscience aide les relations - les nuls

Comment la pleine conscience aide les relations - les nuls

La pleine conscience aide à améliorer la qualité (et peut-être la quantité!) De vos relations de trois manières différentes . Dr Marsha Lucas, l'auteur de Rewire Your Brain pour l'amour (Hay House) explique les façons suivantes dans lesquelles la pleine conscience améliore les relations: Mindfulness réduit le stress. Si vous et votre partenaire vous sentez stressé, vous êtes plus susceptible d'être réactif ...