ഹഡൂപ്പ്
അപ്പാച്ചെ ഹഡൂപ്പ് എന്നത് ഡിസ്ട്രിബ്യൂട്ടഡ് പ്രോഗ്രാമുകൾ എഴുതുന്നതിനുള്ള ഒരു ചട്ടക്കൂടാണ് (framework). വൻതോതിലുള്ള ഡാറ്റയും കംപ്യൂട്ടേഷനും ഉൾപ്പെടുന്ന പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന് നിരവധി കമ്പ്യൂട്ടറുകളുടെ ഒരു ശൃംഖല ഉപയോഗിക്കുന്നതിനെ സുഗമമാക്കുന്ന ഓപ്പൺ സോഴ്‌സ് സോഫ്റ്റ്വെയർ യൂട്ടിലിറ്റികളുടെ ഒരു ശേഖരമാണിത്. മാപ്പ്റെഡ്യൂസ്(MapReduce) പ്രോഗ്രാമിംഗ് മോഡൽ ഉപയോഗിച്ച് വലിയ ഡാറ്റയുടെ വിതരണം ചെയ്ത സംഭരണത്തിനും പ്രോസസ്സിംഗിനുമായി ഇത് ഒരു സോഫ്റ്റ്വെയർ ചട്ടക്കൂട് നൽകുന്നു. കമ്മോഡിറ്റി ഹാർഡ്‌വെയറിൽ നിന്ന് നിർമ്മിച്ച കമ്പ്യൂട്ടർ ക്ലസ്റ്ററുകൾക്ക് വേണ്ടിയാണ് ഹഡൂപ്പ് യഥാർത്ഥത്തിൽ രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്, ഇത് ഇപ്പോഴും സാധാരണ ഉപയോഗത്തിനുവേണ്ടിയുള്ളതാണ്.[3] ഉയർന്ന നിലവാരമുള്ള ഹാർഡ്‌വെയറിന്റെ ക്ലസ്റ്ററുകളിലും ഇത് ഉപയോഗിക്കാൻ കഴിയും.[4][5]ഹഡൂപ്പിലെ എല്ലാ മൊഡ്യൂളുകളും രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത് ഹാർഡ്‌വെയർ പരാജയപ്പെടുന്നത് സാധാരണ സംഭവങ്ങളാണെന്നും അവ ചട്ടക്കൂട് സ്വയമേവ കൈകാര്യം ചെയ്യണമെന്നുമുള്ള അടിസ്ഥാന അനുമാനത്തോടെയാണ്.[6]
അപ്പാച്ചെ ഹഡൂപ്പിന്റെ കാതൽ, ഹഡൂപ്പ് ഡിസ്ട്രിബ്യൂട്ടഡ് ഫയൽ സിസ്റ്റം (HDFS) എന്നറിയപ്പെടുന്ന ഒരു സ്റ്റോറേജ് ഭാഗവും മാപ്പ്റെഡ്യൂസ് പ്രോഗ്രാമിംഗ് മോഡലായ ഒരു പ്രോസസ്സിംഗ് ഭാഗവും ഉൾക്കൊള്ളുന്നു. ഹഡൂപ്പ് ഫയലുകളെ വലിയ ബ്ലോക്കുകളായി വിഭജിക്കുകയും ഒരു ക്ലസ്റ്ററിലെ നോഡുകളിലുടനീളം വിതരണം ചെയ്യുകയും ചെയ്യുന്നു. തുടർന്ന്, ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിന് പാക്കേജുചെയ്ത കോഡ് നോഡുകളിലേക്ക് മാറ്റുന്നു. ഈ സമീപനം ഡാറ്റാ ലോക്കാലിറ്റി പ്രയോജനപ്പെടുത്തുന്നു,[7] അവിടെ നോഡുകൾ അവയ്ക്ക് ആക്‌സസ് ഉള്ള ഡാറ്റ കൈകാര്യം ചെയ്യുന്നു. ഉയർന്ന വേഗതയുള്ള നെറ്റ്‌വർക്കിംഗ് വഴി കമ്പ്യൂട്ടേഷനും ഡാറ്റയും ഫയൽ സിസ്റ്റത്തെ മാത്രം ആശ്രയിക്കുന്ന ഒരു പരമ്പരാഗത സൂപ്പർ കമ്പ്യൂട്ടർ ആർക്കിടെക്ചറിൽ ഉള്ളതിനേക്കാൾ വേഗത്തിലും കാര്യക്ഷമമായും ഡാറ്റാസെറ്റ് പ്രോസസ്സ് ചെയ്യാൻ ഇത് അനുവദിക്കുന്നു.[8][9]
ഇതും കാണുക
തിരുത്തുക
- Apache Accumulo – Secure Bigtable[10]
- Apache Cassandra – A column-oriented database that supports access from Hadoop
- Apache CouchDB is a database that uses JSON for documents, JavaScript for MapReduce queries, and regular HTTP for an API
- Big data
- Cloud computing
- Data Intensive Computing
- HPCC – LexisNexis Risk Solutions High Performance Computing Cluster
- Hypertable – HBase alternative
- Sector/Sphere – Open source distributed storage and processing
- Simple Linux Utility for Resource Management
അവലംബം
തിരുത്തുക- ↑ "Hadoop Releases". apache.org. Apache Software Foundation. Retrieved 2019-04-28.
- ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 "Apache Hadoop". Retrieved 7 September 2019.
- ↑ Judge, Peter (2012-10-22). "Doug Cutting: Big Data Is No Bubble". silicon.co.uk. Retrieved 2018-03-11.
- ↑ Woodie, Alex (2014-05-12). "Why Hadoop on IBM Power". datanami.com. Datanami. Retrieved 2018-03-11.
- ↑ Hemsoth, Nicole (2014-10-15). "Cray Launches Hadoop into HPC Airspace". hpcwire.com. Retrieved 2018-03-11.
- ↑ "Welcome to Apache Hadoop!". hadoop.apache.org. Retrieved 2016-08-25.
- ↑ "What is the Hadoop Distributed File System (HDFS)?". ibm.com. IBM. Retrieved 2021-04-12.
{{cite web}}: CS1 maint: url-status (link) - ↑ Malak, Michael (2014-09-19). "Data Locality: HPC vs. Hadoop vs. Spark". datascienceassn.org. Data Science Association. Retrieved 2014-10-30.
- ↑ Wang, Yandong; Goldstone, Robin; Yu, Weikuan; Wang, Teng (October 2014). "Characterization and Optimization of Memory-Resident MapReduce on HPC Systems". 2014 IEEE 28th International Parallel and Distributed Processing Symposium. IEEE. pp. 799–808. doi:10.1109/IPDPS.2014.87. ISBN 978-1-4799-3800-1. S2CID 11157612.
- ↑ "Apache Accumulo User Manual: Security". apache.org. Apache Software Foundation. Retrieved 2014-12-03.
ബിബ്ലിയോഗ്രഫി
തിരുത്തുക- Lam, Chuck (July 28, 2010). Hadoop in Action (1st ed.). Manning Publications. p. 325. ISBN 1-935-18219-6.
- Venner, Jason (June 22, 2009). Pro Hadoop (1st ed.). Apress. p. 440. ISBN 1-430-21942-4. Archived from the original on 2010-12-05. Retrieved 2018-05-28.
- White, Tom (June 16, 2009). Hadoop: The Definitive Guide (1st ed.). O'Reilly Media. p. 524. ISBN 0-596-52197-9.
ബാഹ്യ ലിങ്കുകൾ
തിരുത്തുക- ഔദ്യോഗിക വെബ്സൈറ്റ്
- Apache Hadoop popular APIs in GitHub
- Introducing Apache Hadoop: The Modern Data Operating System – a lecture given at Stanford University by Co-Founder and CTO of Cloudera, Amr Awadallah (video archive[പ്രവർത്തിക്കാത്ത കണ്ണി]) (YouTube)
- Hadoop with Philip Zeyliger, Software Engineering Radio, IEEE Computer Society, March 8 2010
- The Key Role Hadoop Plays in Business Intelligence and Data Warehousing
