Uvod u HDFS naredbe
Veliki podaci su riječi za tako velike ili složene skupove podataka da konvencionalni aplikacijski softver za obradu podataka nije dovoljan za pakt s njima. Hadoop je programski okvir utemeljen na Javi, koji zasniva obradu i pohranu ogromno glomaznih skupova podataka u distribuiranom računalnom okruženju. Osnova softvera Apache ključ je instalacije Hadoopa
Značajke HDFS-a:
- HDFS radi na Master / slave arhitekturi
- Datoteke HDFS koriste za pohranu podataka povezanih s korisnikom
- sadrži ogroman skup direktorija i datoteka koji su pohranjeni u hijerarhijskom formatu.
- Iznutra je datoteka zdrobljena u manje blokove i ti su blokovi pohranjeni u skupu Datanode.
- Namenode i Datanode dio su softvera namijenjenog pokretanju na proizvodima koji klasično rade na GNU / Linux OS-u.
Namenode:
- Ovdje se datotečni sustav održava pomoću čvora name
- Namenode je također odgovoran za evidentiranje svih promjena u datotečnom sustavu, štoviše održava sliku cjelokupnog prostora naziva datoteka i blok mape datoteka u memoriji
- Checkpoint se vrši povremeno. stoga se lako može doći do faze prije nego što se ovdje može postići točka sudara.
Datanode:
- Datanode pruža podatke u datotekama u svom lokalnom datotečnom sustavu
- Kako bi intimio o svom postojanju, čvor podataka šalje otkucaje srca u namenode
- Izvješće o bloku generirat će se za svaki deseti primljeni otkucaj srca
- Replikacija se podrazumijeva na podatke pohranjene u tim čvorovima podataka
Replikacija podataka:
- Ovdje slijed blokova tvore datoteku sa zadanom veličinom bloka od 128 MB
- Svi blokovi u datoteci osim konačnog slične su veličine.
- Od svakog čvora podataka u klasteru, element namenode prima otkucaj srca
- BlockReport sadrži sve blokove na Datanode.
- sadrži ogroman skup direktorija i datoteka koji su pohranjeni u hijerarhijskom formatu.
- Iznutra je datoteka zdrobljena u manje blokove i ti su blokovi pohranjeni u skupu Datanode.
- Namenode i Datanode dio su softvera namijenjenog pokretanju na proizvodima koji klasično rade na GNU / Linux OS-u.
Tragač posla: rasprava JobTracker za NameNode kako bi zaključio položaj podataka. Također pronađite najkvalitetnije čvorove TaskTracker za izvršavanje zadataka na temelju lokaliteta podataka
Tragač zadataka: Alat za praćenje zadataka je čvor u klasteru koji prihvaća zadatke - operacije Kartiranje, Smanjivanje i Sumiranje - od JobTracker-a.
Čvor sekundarnog naziva (ili) kontrolne točke: Dobiva EditLog iz naziva čvora u pravilnim intervalima i primjenjuje se na njegovu FS sliku. I kopirati natrag dovršenu FS sliku u čvor imena tijekom njezinog ponovnog pokretanja. Opća je svrha čvora sekundarnog naziva imati kontrolnu točku u HDFS-u.
PRIJEV:
- YARN ima središnju komponentu upravitelja resursa koja upravlja resursima i dodjeljuje resurse svakoj aplikaciji.
- Ovdje je Resource Manager master koji regulira resurse povezane s klasterom, upravitelj resursa sastavljen je od dvije komponente, upravitelja aplikacija i planera te dvije komponente zajedno upravljaju poslovima na sistemima klastera. druga komponenta poziva Node Manager (NM) koji je odgovoran za upravljanje korisničkim poslovima i tijekom rada na određenom čvoru.
- Točna replikacija podataka u aktivnom Namenodu drži Standby NameNode. Djeluje kao rob, održava dovoljno stanja da osigura brzu pogrešku, ako je neophodno.
Osnovne HDFS naredbe:
|
Osnovne naredbe HDFS |
||
| Sr.No | HDFS svojstvo naredbe | HDFS naredba |
| 1 | Ispiši hadoop verziju | $ hadoop verzija |
| 2 | Lista sadržaja korijenskog direktorija u HDFS-u | $ hadoop fs -ls |
| 3 | Izvjestite o količini korištenog i dostupnog prostora u trenutno montiranom datotečnom sustavu | $ hadoop fs -df hdfs: / |
| 4 | HDFS balanser ponovno uravnotežuje podatke kroz DataNodes, premještajući blokove iz prekomjerno korištenih u nedovoljno korištene čvorove. | $ hadoop balans |
| 5 | Naredba za pomoć | $ hadoop fs -pomoć |
Intermedijski HDFS naredbe:
|
Posredničke naredbe HDFS |
||
| Sr.No | HDFS svojstvo naredbe | HDFS naredba |
| 6 | stvara direktorij na navedenom mjestu HDFS | $ hadoop fs -mkdir / korisnik / cloudera / |
| 7 | Kopira podatke s jedne lokacije na drugu | $ hadoop fs - ulazni podaci / sample.txt / korisnik / trening / hadoop |
| 8 | Pogledajte prostor koji zauzima određeni direktorij u HDFS-u | $ hadoop fs -du -s -h / korisnik / cloudera / |
| 9 | Uklonite direktorij u Hadoopu | $ hadoop fs -rm -r / korisnik / cloudera / pigjobs / |
| 10 | Uklanja sve datoteke u datoj mapi | $ hadoop fs -rm -skipTrash hadoop / maloprodaja / * |
| 11 | Da biste ispraznili smeće | $ hadoop fs -popravljanje |
| 12 | kopira podatke s lokalnog na HDFS | $ hadoop fs -copyFromLocal / dom / cloudera / uzorak / / korisnik / cloudera / flume /
$ hadoop fs -copyToLocal / korisnik / cloudera / pigjobs / * / home / cloudera / oozie / |
Napredne naredbe HDFS:
|
Posredničke naredbe HDFS |
||
| Sr.No | HDFS svojstvo naredbe | HDFS naredba |
| 13 | promjena dopuštenja datoteka | $ sudo -u hdfs hadoop fs -chmod 777 / korisnik / cloudera / flume / |
| 14 | postavite faktor replikacije podataka za datoteku | $ hadoop fs -setrep -w 5 / korisnik / cloudera / pigjobs / |
| 15 | Prebroj broj direktorija, datoteka i bajtova pod hdfs | $ hadoop fs -count hdfs: / |
| 16 | učiniti da namenode postoje siguran način rada | $ sudo -u hdfs hdfs dfsadmin -safemode otići |
| 17 | Hadoop formatira namenode | $ hadoop namenode -format |
HDFS Savjeti i savjeti:
1) Brži oporavak možemo postići kada je broj čvorova klastera veći.
2) Povećanje skladištenja po jedinici vremena povećava vrijeme oporavka.
3) Namenode hardver mora biti vrlo pouzdan.
4) Sofisticirani nadzor može se postići ambasadom.
5) Gladovanje u sustavu može se smanjiti povećanjem broja reduktora.
Preporučeni članci
Ovo je vodič za naredbe HDFS. Ovdje smo raspravljali o HDFS naredbama, značajkama, njezinim osnovnim, srednjim i naprednim naredbama s slikovnim prikazom, savjetima i trikovima o naredbama. Možete i proći naše druge predložene članke da biste saznali više -
- Naredbe čvora
- Matlab naredbe
- Prednosti DBMS
- Ekosistem Hadoop
- Hadoop fs naredbe