Pobrałem i zainstalowałem pakiet CDH 5 pomyślnie na pojedynczym węźle linuxowym w trybie pseudo-rozproszonym na moim CentOS 6.5
Uruchamianie Hadoopa i weryfikacja, czy działa poprawnie, jak w tym linku
Pomyślnie wykonałem następujące kroki
Krok 1: Sformatuj NameNode.
Krok 2: Uruchom HDFS
Krok 3: Utwórz katalog / tmp
Krok 4 : Utwórz katalogi systemowe MapReduce:
Krok 5: Sprawdź strukturę plików HDFS
Krok 6: Uruchom MapReduce
wykonując polecenie w kroku 7 Otrzymuję następujący błąd.
Krok 7: Utwórz katalogi użytkowników
$ sudo -u hdfs hadoop fs -mkdir -p / user / hadoopuser
mkdir: „/ user / hadoopuser”: Nie ma takiego pliku lub katalogu
(gdzie hadoopuser to mój linux l ogin nazwa użytkownika)
Jeśli utworzę katalog ręcznie jako / user / hadoopuser w systemie plików, nie jest on akceptowany.
Jak wykonać krok 7 😕
Podaj sloution, aby przeprowadzić pozostałą instalację.
Komentarze
Odpowiedź
Najprostszym sposobem skonfigurowania katalogu użytkownika jest zalogowanie się do Hue jako administrator i utworzenie konta użytkownika. Spowoduje to utworzenie katalogu w HDFS pod adresem / user / twoja nazwa użytkownika z odpowiednimi uprawnieniami do pracy.
Odpowiedź
Problem jest zdecydowany. Utworzyłem foldery w terminalu.
6b. hdfs dfs -mkdir / user hdfs dfs -mkdir / user / hduser
- Umieść ten plik na HDFS: hadoop fs -put file1.txt /user/hduser/file1.txt hadoop fs -put plik.txt plik.txt
Odpowiedź
Najpierw należy utworzyć folder / user.
sudo -u hdfs hadoop fs -mkdir -p / użytkownik
Komentarze
- Flaga
-poznacza, że nie ' nie musisz tworzyć najpierw katalog nadrzędny.
sudo hadoop fs -ls -l /i zobacz co wraca. Zwykle błąd uprawnień powraca jawnie, ale przyjrzyjmy się, jak wygląda ścieżka główna. Zastanawiam się, czy system plików nigdy nie był sformatowany.