Où seront stockées les données intermédiaires du mappeur ?

Table des matières:

Où seront stockées les données intermédiaires du mappeur ?
Où seront stockées les données intermédiaires du mappeur ?
Anonim

La sortie du mappeur (données intermédiaires) est stockée sur le système de fichiers local (pas HDFS) de chaque nœud de données de mappeur individuel. Il s'agit généralement d'un répertoire temporaire qui peut être configuré dans la configuration par l'administrateur Hadoop.

Où se trouvent les données intermédiaires MapReduce ?

  • La sortie du mappeur (données intermédiaires) est stockée sur le système de fichiers local (PAS HDFS) de chaque nœud de mappeur individuel. …
  • je pense que c'est le paramètre qui doit être modifié pour changer l'emplacement des données intermédiaires..
  • mapreduce.cluster.local.dir.
  • J'espère que cela vous aidera.

Où la sortie du mappeur est-elle stockée ?

9) Où la sortie Mapper est-elle stockée ? Les données de valeur de clé intermédiaire de la sortie du mappeur seront stockées sur système de fichiers local des nœuds du mappeur. Cet emplacement de répertoire est défini dans le fichier de configuration par l'administrateur Hadoop.

Qu'est-ce qu'une donnée intermédiaire dans MapReduce ?

Les fichiers de données intermédiaires sont générés par map et réduisent les tâches dans un répertoire (emplacement) sur le disque local. … Fichiers de sortie générés par les tâches de carte qui servent d'entrée pour les tâches de réduction. Fichiers temporaires générés par les tâches de réduction.

Où est la sortie du mappeur écrit dans Hadoop ?

Dans Hadoop, la sortie de Mapper est stockée sur le disque local, car il s'agit d'une sortie intermédiaire. Il n'est pas nécessaire de stocker des données intermédiairessur HDFS car: l'écriture de données est coûteuse et implique une réplication qui augmente encore les coûts et le temps.

Conseillé:

Articles intéressants
Quel type d'erreur est la mendicité ?
Lire la suite

Quel type d'erreur est la mendicité ?

Dans la rhétorique et la logique classiques, demander la question ou supposer la conclusion (latin: petitio principii) est une erreur informelle qui se produit lorsque les prémisses d'un argument supposent la vérité de la conclusion, au lieu de le soutenir.

Quand pouvez-vous combattre le ruiner nergigante ?
Lire la suite

Quand pouvez-vous combattre le ruiner nergigante ?

Ruiner Nergigante est enfermé derrière MR 100. Vous aurez besoin de pour atteindre le niveau MR avant de pouvoir obtenir une quête pour le rencontrer. Terminer cette quête supprimera également le plafond de votre MR. Comment combats-tu à Nergigante ?

La vue matérialisée occupe-t-elle de l'espace ?
Lire la suite

La vue matérialisée occupe-t-elle de l'espace ?

Une vue matérialisée occupe l'espace. Il existe de la même manière qu'une table: il se trouve sur un disque et peut être indexé ou partitionné. Pouvons-nous supprimer des données de la vue matérialisée ? Vous ne pouvez pas supprimer des lignes d'une vue matérialisée en lecture seule.