Ich habe das CDH 5-Paket erfolgreich heruntergeladen und auf einem einzelnen Linux-Knoten im pseudoverteilten Modus auf meinem installiert CentOS 6.5

Hadoop starten und überprüfen, ob es ordnungsgemäß funktioniert, wie in diesem Link

Ich habe die folgenden Schritte erfolgreich abgeschlossen

Schritt 1: Formatieren Sie den NameNode.

Schritt 2: Starten Sie HDFS

Schritt 3: Erstellen Sie das Verzeichnis / tmp

Schritt 4 : Erstellen Sie die MapReduce-Systemverzeichnisse:

Schritt 5: Überprüfen der HDFS-Dateistruktur

Schritt 6: Starten Sie MapReduce

, während Sie den Befehl in Schritt 7 ausführen folgender Fehler.

Schritt 7: Benutzerverzeichnisse erstellen

$ sudo -u hdfs hadoop fs -mkdir -p / Benutzer / Hadoopuser

mkdir: „/ user / hadoopuser“: Keine solche Datei oder kein solches Verzeichnis

(wobei hadoopuser mein Linux l ist ogin Benutzername)

Wenn ich das Verzeichnis manuell als / user / hadoopuser im Dateisystem erstelle, wird es nicht akzeptiert.

So führen Sie den Schritt 7 aus 😕

Geben Sie die Sloution an, um die verbleibende Installation zu verarbeiten.

Kommentare

  • Versuchen Sie sudo hadoop fs -ls -l / und sehen Sie was kommt zurück. Normalerweise kommt ein Berechtigungsfehler explizit zurück, aber lassen Sie uns einen Blick darauf werfen, wie der Stammpfad aussieht. Ich frage mich, ob das Dateisystem nie formatiert wurde.
  • Dies ist möglicherweise besser bei serverfault.com

Antwort

Der einfachste Weg, ein Benutzerverzeichnis einzurichten, besteht darin, sich als Administrator bei Hue anzumelden und ein Benutzerkonto zu erstellen. Dadurch wird ein Verzeichnis in HDFS erstellt, das sich unter / user / yourusername mit den richtigen Berechtigungen zum Arbeiten befindet.

Antwort

Problem ist behoben. Ich habe die Ordner im Terminal erstellt.

6b. hdfs dfs -mkdir / user hdfs dfs -mkdir / user / hduser

  1. Legen Sie diese Datei in HDFS ab: hadoop fs -put file1.txt /user/hduser/file1.txt hadoop fs -put file.txt file.txt

Antwort

Sie sollten zuerst einen / user-Ordner erstellen.

sudo -u hdfs hadoop fs -mkdir -p / user

Kommentare

  • Das Flag -p bedeutet, dass Sie ' nicht erstellen müssen das übergeordnete Verzeichnis zuerst.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.