Uvod u Hadoop fs naredbe

U ovom ćemo članku proći kroz naredbe za rukovanje datotekama HADOOP-a, koja se koristi za upravljanje datotekama putem konzole.

Trebat će vam Linux sustav i najnovija Hadoop verzija. Da bismo ispisali Hadoop verziju, da bismo znali od koga je izdanje izgrađeno, vrijednost čekne vrijednosti nam je samo potrebna da izvršimo donju naredbu nakon što se prijavimo na Hadoop platformu.

Naredba: Hadoop verzija

Komande Hadoop fs

Sada, naučimo kako koristiti HADOOP fs naredbe.

Počet ćemo s osnovama. Samo upišite ove naredbe u PUTTY ili bilo kojoj konzoli koja vam je ugodna.

1. hadoop fs -ls

Za mapu vraća popis datoteka i mapa, dok za datoteku vraća statistiku datoteke.

hadoop fs -lsr: ovo je za rekurzivno uvrštavanje mapa i datoteka u određene mape.

  • Primjer : hadoop fs -ls / ili hadoop fs -lsr
Napomena : hadoop fs -ls (-d) (-h) (-R)
  • -d: koristi se za popis direktorija kao obične datoteke.
  • -h: ovo se koristi za oblikovanje veličina datoteka na razumljiv način nego samo broj bajtova.
  • -R: Koristi se za rekurzivni popis sadržaja imenika.
2. hadoop fs -mkdir

Ova naredba uzima put kao argument i stvara direktorije u hdfs.

  • Primjer : hadoop fs -mkdir / user / datahub1 / data
Napomena: Ako pokušamo stvoriti poddirektoriju, nadređeni direktorij mora postojati. Ako tada ovaj uvjet nije ispunjen, pojavit će se 'Nema takve datoteke ili mape'.
3. hadoop fs -touchz

Stvara praznu datoteku i ne koristi prostor

  • Primjer: hadoop fs -touchz URI
4. hadoop fs -rm

Izbrišite datoteke navedene kao argument. Moramo odrediti opciju -r za brisanje cijelog direktorija. Ako je navedena opcija -skipTrash, preskočit će smeće i datoteka će biti odmah izbrisana.

  • Primjer : hadoop fs -rm -r /user/test1/abc.text
5. hadoopfs -rmdir

Uklanja datoteke i dopuštenja u direktorijima i poddirektorijima. U osnovi je to proširena verzija Hadoop fs -rm.

6. hadoop fs -cp

Kopira datoteku s jedne lokacije na drugu

  • Primjer : hadoop fs -cp /user/data/abc.csv / user / datahub
7. hadoop fs -copyFromLocal

Kopira datoteku s edgenode u HDFS.

8. hadoop fs -put

Kopira datoteku s edgenode u HDFS, slična je prethodnoj naredbi, ali stavi i čitanje ulaza sa standardnog ulaza stdin i upis u HDFS

  • Primjer : hadoop fs -put abc.csv / user / data
Napomena :
hadoop fs -put -p: Zastava čuva pristup, vrijeme izmjene, vlasništvo i način rada.
hadoop fs -put -f: Ova naredba prepisuje odredište ako datoteka već postoji prije kopije.
9. hadoop fs -moveFromLocal

To je slično kopiji s lokalne mreže, osim što se izvorna datoteka briše s lokalne edgenode nakon što je kopirana u HDFS

  • Primjer : fs -moveFromLocal abc.text / user / data / acb.
10. hadoop fs -copyToLocal

Kopira datoteku s HDFS-a u edgenode.

  • Primjer : fs -copyToLocal abc.text / localpath
11. hadoop fs -chmod

Ova nam naredba pomaže da promijenimo pristup datoteci ili direktoriju

  • Primjer : hadoop fs -chmod (-R) (putanja)
12. hadoop fs -own

Ova nam naredba pomaže da promijenimo vlasništvo nad datotekom ili mapom

  • Primjer : hadoop fs -chown (-R) (OWNER) (:( GROUP)) PATH
13. hadoop fs -cat

Ispisuje sadržaj HDFS datoteke na terminal

  • Primjer : hadoop fs -cat /user/data/abc.csv
14. hadoop fs -tail

Prikazuje posljednji KB HDFS datoteke u izlazu

  • Primjer : hadoop fs -tail / in / xyzfile
15. hadoop fs -test

Ova se naredba koristi za testiranje HDFS datoteka, vraća 0 ako je istinito.

  • - e: provjerava postoji li datoteka.
  • -z: provjerava je li datoteka jednaka nuli
  • -d / -f: provjerava je li put direktorij / datoteka

Ovdje detaljno raspravljamo o primjeru

  • Primjer : hadoop fs -test - (defz) /user/test/test1.text
16. hadoop fs -du

Prikazuje veličine datoteka i mapa koje se nalaze u datoj mapi ili duljini datoteke u slučaju da je datoteka

17. hadoop fs -df

Prikazuje slobodan prostor

18. hadoop fs -checksum

Vraća podatke o provjeri datoteke

19. hadoop fs -getfacl

Prikazuje popis kontrole pristupa (ACL-ove) određene datoteke ili mape

20. hadoop fs -count

Broji broj direktorija, datoteka i bajtova ispod putanje koja odgovara specificiranom uzorku datoteke.

21. hadoop fs -setrep

Mijenja faktor replikacije datoteke. A ako je put direktorij, naredba mijenja faktor replikacije svih datoteka u direktoriju.

  • Primjer : hadoop fs -setrep -R / user / datahub: koristi se za prihvaćanje unatrag sposobnosti i nema učinka.

hadoop fs - setrep -w / user / datahub : čeka da se replikacija dovrši

22. hadoop fs -getmerge

To povezuje HDFS datoteke u izvoru u odredišnu lokalnu datoteku

  • Primjer : hadoop fs -getmerge / user / datahub
23. hadoop fs -appendToFile

Dodaje jedan izvor ili više izvora iz lokalnog datotečnog sustava na odredište.

  • Primjer : hadoop fs -appendToFile xyz.log data.csv / in / appendfile
24. hadoop fs -stat

Ispisuje statistiku o datoteci ili direktoriju.

  • Primjer : hadoop fs -stat (format)

Zaključak - Hadoop fs naredbe

Dakle, prošli smo kroz gotovo sve naredbe koje su neophodne za rukovanje datotekama i pregled podataka unutar datoteka. Sada možete mijenjati svoje datoteke i gutati podatke na Hadoop platformi.

Preporučeni članci

Ovo je vodič za Hadoop fs naredbe. Ovdje ćemo razgovarati o uvodu Hadoop fs naredbi, zajedno s njezinim primjerom u detalje. Možete pogledati i sljedeće članke da biste saznali više -

  1. Instalirajte Hadoop
  2. Hadoop Alati
  3. Hadoop arhitektura
  4. Hadoop komponente
  5. Hadoop fs naredbe

Kategorija:

Veliki podaci