La crossentropie catégorielle est une fonction de perte utilisée dans les tâches de classification multi-classes. Ce sont des tâches où un exemple ne peut appartenir qu'à une seule des nombreuses catégories possibles, et le modèle doit décider laquelle. Formellement, il est conçu pour quantifier la différence entre deux distributions de probabilité.
Pourquoi utiliser l'entropie croisée au lieu de MSE ?
Premièrement, l'entropie croisée (ou perte softmax, mais l'entropie croisée fonctionne mieux) est une meilleure mesure que MSE pour la classification, parce que la limite de décision dans une tâche de classification est grande(par rapport à la régression). … Pour les problèmes de régression, vous utiliseriez presque toujours le MSE.
Quelle est la différence entre l'entropie croisée creuse et l'entropie croisée catégorique ?
La seule différence entre l'entropie croisée catégorielle clairsemée et l'entropie croisée catégorielle est le format des véritables étiquettes. Lorsque nous avons un problème de classification à une seule étiquette et à plusieurs classes, les étiquettes sont mutuellement exclusives pour chaque donnée, ce qui signifie que chaque entrée de données ne peut appartenir qu'à une seule classe.
Comment interprétez-vous la perte d'entropie croisée catégorielle ?
L'entropie croisée augmente lorsque la probabilité prédite d'un échantillon s'écarte de la valeur réelle. Par conséquent, prédire une probabilité de 0,05 lorsque l'étiquette réelle a une valeur de 1 augmente la perte d'entropie croisée. dénote la probabilité prédite entre 0 et 1 pour cet échantillon.
Pourquoi l'entropie croisée est-elle bonne ?
Dans l'ensemble, comme nous pouvons le voir, l'entropie croisée est simplement un moyen de mesurer la probabilité d'un modèle. L'entropie croisée est utile car elle peut décrire la probabilité d'un modèle et la fonction d'erreur de chaque point de données. Il peut également être utilisé pour décrire un résultat prédit par rapport au résultat réel.
