Qu'est-ce que le régularisateur d'activité dans keras ?

Table des matières:

Qu'est-ce que le régularisateur d'activité dans keras ?
Qu'est-ce que le régularisateur d'activité dans keras ?
Anonim

Regularizers vous permettent d'appliquer des pénalités sur les paramètres de couche ou l'activité de la couche lors de l'optimisation. Ces pénalités sont additionnées dans la fonction de perte que le réseau optimise. Les pénalités de régularisation sont appliquées couche par couche.

Qu'est-ce que le régularisateur d'activité ?

Le régularisateur d'activité fonctionne en fonction de la sortie du réseau, et est principalement utilisé pour régulariser les unités cachées, tandis que weight_regularizer, comme son nom l'indique, fonctionne sur les poids (par exemple, les faire pourrir).

Quand dois-je utiliser le régularisateur d'activité ?

Si vous voulez que la fonction de sortie passe par (ou ait une interception plus proche de) l'origine, vous pouvez utiliser le régularisateur de biais. Si vous souhaitez que la sortie soit plus petite (ou plus proche de 0), vous pouvez utiliser le régularisateur d'activité.

Comment utiliser le régularisateur Keras ?

Pour ajouter un régularisateur à un calque, il vous suffit de transmettre la technique de régularisation préférée à l'argument mot-clé du calque 'kernel_regularizer'. Les méthodes d'implémentation de régularisation Keras peuvent fournir un paramètre qui représente la valeur de l'hyperparamètre de régularisation.

Qu'est-ce que le noyau et le biais ?

Dense class

Dense implémente l'opération: output=activation(dot(input, kernel) + bias) où activation est la fonction d'activation par élément passée comme argument d'activation, kernel est une matrice de poids créée par la couche, etbias est un vecteur de biais créé par la couche (uniquement applicable si use_bias vaut True).

Conseillé:

Articles intéressants
Quelle partie du discours est chaleureuse ?
Lire la suite

Quelle partie du discours est chaleureuse ?

chaleureusement adverbe (FRIENDLY) Est-ce que Warmly est un adjectif ? Warmly vient de l'adjectif warm et sa signification de "montrer de l'affection ou de la gentillesse". Ce sens est utilisé depuis les années 1500, mais le mot racine du vieil anglais, wearm, ne se rapporte qu'à la chaleur littérale.

Les continents bougent-ils encore ?
Lire la suite

Les continents bougent-ils encore ?

Aujourd'hui, nous savons que les continents reposent sur d'énormes plaques de roche appelées plaques tectoniques. Les plaques sont toujours en mouvement et interagissent dans un processus appelé tectonique des plaques. Les continents bougent encore aujourd'hui.

Qu'est-ce que la guirlande signifie ?
Lire la suite

Qu'est-ce que la guirlande signifie ?

1: fils, bandes ou feuilles de métal, de papier ou de plastique utilisés pour produire un aspect scintillant et étincelant dans les tissus, les fils ou les décorations. 2: quelque chose de superficiellement attrayant ou glamour mais de peu de valeur réelle défiguré par aucune guirlande criarde de rhétorique ou de déclamation - Thomas Jefferson.