Regularizers vous permettent d'appliquer des pénalités sur les paramètres de couche ou l'activité de la couche lors de l'optimisation. Ces pénalités sont additionnées dans la fonction de perte que le réseau optimise. Les pénalités de régularisation sont appliquées couche par couche.
Qu'est-ce que le régularisateur d'activité ?
Le régularisateur d'activité fonctionne en fonction de la sortie du réseau, et est principalement utilisé pour régulariser les unités cachées, tandis que weight_regularizer, comme son nom l'indique, fonctionne sur les poids (par exemple, les faire pourrir).
Quand dois-je utiliser le régularisateur d'activité ?
Si vous voulez que la fonction de sortie passe par (ou ait une interception plus proche de) l'origine, vous pouvez utiliser le régularisateur de biais. Si vous souhaitez que la sortie soit plus petite (ou plus proche de 0), vous pouvez utiliser le régularisateur d'activité.
Comment utiliser le régularisateur Keras ?
Pour ajouter un régularisateur à un calque, il vous suffit de transmettre la technique de régularisation préférée à l'argument mot-clé du calque 'kernel_regularizer'. Les méthodes d'implémentation de régularisation Keras peuvent fournir un paramètre qui représente la valeur de l'hyperparamètre de régularisation.
Qu'est-ce que le noyau et le biais ?
Dense class
Dense implémente l'opération: output=activation(dot(input, kernel) + bias) où activation est la fonction d'activation par élément passée comme argument d'activation, kernel est une matrice de poids créée par la couche, etbias est un vecteur de biais créé par la couche (uniquement applicable si use_bias vaut True).
