Vidéo: La question de corpus - français - première 2024
Lorsque vous analysez la qualité d'un modèle prédictif, vous devez en mesurer la précision. Plus la prévision du modèle est précise, plus elle est utile à l'entreprise, ce qui indique sa qualité. Tout cela est bon, sauf lorsque l'événement prévu est rare. Dans ce cas, la haute précision du modèle prédictif peut être dénuée de sens.
Par exemple, si la probabilité d'un événement rare est de 5%, un modèle qui répond simplement & ldquo; pas & rdquo; tout le temps lorsqu'on lui demande si l'événement rare s'est produit aurait raison 95 pour cent du temps. Mais à quel point un tel modèle serait-il utile?
Ainsi, si votre entreprise doit traiter régulièrement des événements rares (si cela est possible), ne comptez pas uniquement sur la précision pour mesurer la fiabilité de votre modèle.
Dans un tel cas, vous pouvez évaluer l'efficacité et la qualité d'un modèle prédictif à la lumière de la probabilité que l'événement rare se produise. Une métrique utile à suivre est de spécifier les types d'erreurs que vous pouvez accepter du modèle et que vous ne pouvez pas accepter.
Voici une liste rapide d'autres façons d'évaluer votre modèle:
-
Vérifiez si la sortie du modèle répond à vos critères d'évaluation.
-
Concevoir une stratégie de test pour pouvoir tester votre modèle de manière répétée et cohérente.
-
Mesurez dans quelle mesure le modèle répond aux objectifs métier pour lesquels il a été construit.
-
Evaluer les risques liés au déploiement du modèle en direct.
Aide à éliminer le sur-apprentissage. Lorsque vous construisez un modèle prédictif, gardez à l'esprit que votre jeu de données n'est qu'un échantillon de la population entière. Il y aura toujours des facteurs inconnus que vos données ne peuvent pas prendre en compte, quoi qu'il arrive.
-
Abordez l'analyse de votre modèle prédictif avec précaution, en commençant par cette liste de contrôle rapide:
-
Préparez vos données avec la plus grande diligence avant de l'utiliser pour entraîner votre modèle.
-
Considérez attentivement les valeurs aberrantes avant de les inclure ou de les exclure.
-
Rester vigilant lors des tests et des évaluations répétés.
-
Effectuez un contre-contrôle des données d'échantillon et des données de test pour éviter les surajustements.
-
Consultez vos experts en connaissances du domaine souvent et de manière appropriée.
