Padėkite kurti svetainę ir pasidalykite straipsniu su draugais!
Įvadas į HDFS failų sistemą
Hadoop krūvoje turime HDFS paslaugą, skirtą visai Hadoop saugyklos daliai valdyti. Tai paskirstyta failų sistema. Jis gali apdoroti didžiulį duomenų kiekį. Vienas iš pagrindinių HDFS failų sistemos pranašumų yra tai, kad ji veiks naudojant prekinę aparatinę įrangą. Tai reiškia, kad nereikalaujama jokios konkrečios aparatinės įrangos. Vienoje Hadoop klasterio aplinkoje galime pridėti tūkstančius duomenų mazgų, kad saugotume duomenis HDFS failų sistemoje. „Hadoop“ dauguma paslaugų priklauso nuo HDFS failų sistemos, skirtos duomenims saugoti.
Sintaksė :
Todėl HDFS failų sistemai nėra konkrečios sintaksės. Paprastai jame naudojame daugybę paslaugų. Atsižvelgdami į reikalavimą ar poreikį, galime naudoti būtinus komponentus ir naudoti atitinkamą sintaksę.
Kaip veikia HDFS failų sistema?
Hadoop failų sistema yra paskirstyta failų sistema. Failų sistema yra keičiamo dydžio ir nešiojama. Jis parašytas Java kalba, skirtas Hadoop sistemai. „Hadoop“ yra du pagrindiniai dalykai: pirmasis yra HDFS, o antrasis - „MapReduce“. Duomenims saugoti naudojama HDFS arba HDFS failų sistema. Dalis MapReduce naudojama duomenų apdorojimui.
Toliau pateikiamos HDFS paslaugos, kurios daro jį labiau keičiamo dydžio, nešiojamą, patikimesnį ir pan.
- Pavadinimas Mazgas
- Duomenų mazgas
- Antrinio pavadinimo mazgas
- Job Tracker
- Task Tracker
1. Pavadinimas Mazgas
HDFS failų sistemoje vardinis mazgas yra pagrindiniai demonai, paslaugos arba mazgai. Visos meistrų tarnybos bendraus tarpusavyje. HDFS failų sistemoje jį sudarys vienas aktyvus pavadinimo mazgo egzempliorius. Jis žinomas kaip vardinis mazgas. Namenode galės sekti failus, blokus, valdyti failų sistemą. Jis taip pat valdys HDFS failų sistemos metaduomenis.
Metaduomenys turi išsamią failo informaciją arba bloko lygio informaciją HDFS lygiu. Konkrečiai, vardo mazgas turi išsamią informaciją apie blokų skaičių, failų vietas arba duomenis duomenų mazge. Ji taip pat pasirūpins HDFS failo replikacijos dalimi. HDFS vardo mazgas turi tiesioginį ryšį su HDFS klientu.
2. Duomenų mazgas
Duomenų mazgas yra pagrindiniai demonai, paslaugos arba mazgai. Datamazgas yra atsakingas už faktinio failo saugojimą HDFS lygiu. Jis saugos duomenis blokais.Kai klientas paprašys duomenų, faktinius duomenis dalinsis tik duomenų mazgas. (Čia namenode dalinsis tik duomenų ar failų bloko informacija). Datanode yra vergas demonas. Pagal numatytuosius nustatymus kiekvienas duomenų mazgas kas 3 sekundes siųs širdies plakimo informaciją į namenode. Tai padės vardo mazgui nustatyti, ar duomenų mazgas veikia.
Tas pats procesas vyks. Jei tuo atveju duomenų mazgas negalės išsiųsti širdies plakimo į vardinį mazgą (iki 2 min.), tada namenode manys, kad duomenų mazgas yra miręs. Jei duomenų mazgas neveikia, mes negalime gauti duomenų apie mirusį duomenų mazgą. Norėdami išvengti šios sąlygos, turime replikacijos koeficientą. HDFS turi 3 replikacijos koeficientą. Tai reiškia, kad HDFS failų sistemoje turime 3 failo arba duomenų kopijas skirtingame duomenų mazge. Jei vienas ar du duomenų mazgai suges, problemų nėra, užklausą teiksime iš paskutinės duomenų kopijos.Viską valdys vardo mazgas.
3. Antrinio pavadinimo mazgas
Hadoop failų sistemoje antrinis vardinis mazgas yra pagrindiniai demonai, paslaugos arba mazgai. Antrinis vardo mazgas taip pat žinomas kaip kontrolinio taško mazgas. Ji yra atsakinga už HDFS failų sistemos metaduomenų patikros taškus. Jis paims metaduomenų informaciją iš aktyvaus vardo mazgo ir atliks patikros tašką. Jei gali kilti kokių nors problemų dėl vardinio mazgo ir vardinis mazgas gali sugesti, antrinis vardinis mazgas bus įtrauktas į paveikslėlį ir atliks pavadinimo mazgo vaidmenį Hadoop ekosistemoje.
Redagavimo žurnalas yra pagrindinis taškas, kurį reikia sinchronizuoti su tiesioginiu ir antriniu vardų mazgu. Redagavimo žurnalas yra atsakingas už tai, kad antrinis vardų mazgas taptų aktyviu vardų mazgu. Redagavimo žurnalas pateiks išsamią informaciją antriniam vardų mazgui, kas buvo paskutinis vardų mazgo atnaujinimas iš tos pačios informacijos, antrinis vardų mazgas pradės savo darbą ir taps aktyvus (kaip namenode).
4. Job Tracker
Darbų sekimo priemonė yra Slave Service. Iš kliento MapReduce vykdymo užklausa gaus darbo sekimo priemonę. Užduočių stebėjimo priemonė susisieks su aktyviu vardo mazgu. Vardo mazgas dalinsis informacija apie duomenų vietą. Ta pati duomenų vietos informacija bus naudojama darbui apdoroti. Aktyvus vardinis mazgas atsakys į bloko metaduomenų informaciją, reikalingą užklausėjo HDFS duomenų procesui.
5. Užduočių stebėjimo priemonė
Užduočių sekimo priemonė yra viena iš vergų paslaugų. Darbų stebėjimo priemonė pasidalins su darbu susijusia informacija su užduočių sekimo priemone. Dažniausiai užduočių stebėjimo priemonė paims su užduotimi susijusią informaciją iš užduočių stebėjimo priemonės. Ji taip pat bus atsakinga už visos HDFS lygiu vykdomos užduoties apžvalgą.
HDFS failų sistemos apžvalga
Hadoop aplinkoje turime sistemą duomenims saugoti paskirstytu režimu. Jis taip pat yra keičiamo dydžio ir nešiojamas.
Sintaksė:
Vasaroje HDFS galime gauti HDFS failų sistemos informaciją.
Paaiškinimas:
- Pagal toliau pateiktą komandą gausime išsamią HDFS failų sistemos apžvalgą.
Išvestis:
Išvada
Mes matėme nepjaustytą „HDFS failų sistemos“ koncepciją su tinkamu pavyzdžiu, paaiškinimu ir išvestimi. Ši sistema naudojama dideliam duomenų kiekiui saugoti. Jis keičiamas iki tūkstančių mazgų. Pagal numatytuosius nustatymus turime 3 replikacijos koeficientą.