Hadoopin MapReduce Application Flow - dummiesin vähennysvaihe

avaimet ja niiden yksittäiset arvoluettelot siten, että asiakassovellukseen normaalisti palautetaan avain / arvo -parin joukko. Tässä on puhuttu toistaiseksi: Suuri tietojoukko on jaettu pienempiin paloihin, joita kutsutaan syöttölohkoiksi, ja yksittäiset kartoitustehtävät ovat käsiteltäneet kukin niistä.

Joissakin tapauksissa tämä yhden käsittelyvaihe on kaikki, mitä tarvitaan tuottamaan haluttu sovelluslähtö. Jos esimerkiksi suoritat perusmuunnosoperaation tietoja - muuntamalla kaikki tekstin suuriksi, esimerkiksi poistamalla avainkehykset videotiedostoista - yksinpaino on kaikki, mitä tarvitset. (Tämä on nimeltään vain vain kartta).

Mutta monissa muissa tapauksissa työ on vain puoliksi tehty, kun kartoitustehtävät ovat kirjoittaneet tuotoksensa. Jäljellä oleva tehtävä on kiehuva kaikki väliaikaiset tulokset yhdeksi, yhtenäiseksi vastaukseksi.

Samoin kuin kartoitustoiminto, joka käsittelee jokaisen tietueen yksi kerrallaan, vähennyslaite käsittelee jokaisen avaimen erikseen. Tavallisesti pelkistin palauttaa yhden avain / arvo -parin jokaiselle avaimelle, jota se käsittelee. Nämä avain / arvo -parit voivat kuitenkin olla yhtä laajat tai pienet kuin tarvitset niitä.

Kun vähennystoiminto on valmis, kukin niistä palauttaa tulostiedoston ja tallentaa sen HDFS (Hadoop Distributed File System) -järjestelmään. Kuten tässä on esitetty, HDFS-järjestelmä automaattisesti jäljittelee nämä tulokset.

Jos resurssienhallinta (tai JobTracker, jos käytät Hadoop 1: tä) yrittää parhaiten määrittää resursseja kartoituksen tehtäviin sen varmistamiseksi, että syöttöliittymät käsitellään paikallisesti, ei ole tällaista strategiaa vähennystoiminnalle. Oletetaan, että kartoituksen tehtävän tulossarjat on siirrettävä verkon yli, jotta ne voivat käsitellä vähennystoimintoja.

Tämä on kohtuullinen toteutus, sillä satoja tai jopa tuhansia kartoitustehtäviä ei olisi käytännöllistä tapaa, jolla vähennystoiminnalla olisi sama paikannusjärjestys.