Индивидуальное творческое задание (ИТЗ) по теме: "Базовое представление о Map Reduce и Hadoop"

• Номер работы:
  1625777
• Раздел:
  Все работы   →   Научно-исследовательская работа   →   Информационные технологии
• Год добавления:
  04.11.2025 г.
• Объем работы:
  31 стр.
• Содержание:
  СОДЕРЖАНИЕ
  
  ВВЕДЕНИЕ 3
  1. АРХИТЕКТУРНЫЕ ОСНОВЫ ПАРАДИГМЫ MAPREDUCE 7
  2. ПРИНЦИП РАБОТЫ MAPREDUCE: ЭТАПЫ, АЛГОРИТМЫ, ПРИМЕРЫ 12
  3. АРХИТЕКТУРА И КОМПОНЕНТЫ HADOOP: ФАЙЛОВАЯ СИСТЕМА HDFS, YARN, MAPREDUCE 17
  4. ОСОБЕННОСТИ ХРАНЕНИЯ И ОБРАБОТКИ БОЛЬШИХ ДАННЫХ В HADOOP 21
  5. ПРИМЕНЕНИЕ, СРАВНЕНИЕ С АЛЬТЕРНАТИВАМИ, ОГРАНИЧЕНИЯ 25
  ЗАКЛЮЧЕНИЕ 29
  СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 31
  
  
• Выдержка из работы:
  Некоторые тезисы из работы по теме Индивидуальное творческое задание (ИТЗ) по теме: "Базовое представление о Map Reduce и Hadoop"
  В последние десятилетия человечество столкнулось с беспрецедентным ростом объёмов информации, которая генерируется во всех сферах деятельности: от коммерческих и государственных организаций до социальных сетей, науки и промышленности. Появление так называемых “больших данных” (Big Data) стало одной из ключевых тенденций современного этапа цифровизации экономики и общества. Масштабы данных, исчисляющиеся терабайтами, петабайтами и даже эксабайтами, обусловили качественно новые вызовы в области их хранения, обработки, поиска и анализа. Традиционные методы работы с информацией, построенные на централизованных архитектурах и классических реляционных базах данных, оказались неспособны справиться с новыми требованиями по скорости, масштабируемости и отказоустойчивости обработки данных, что обусловило необходимость коренной трансформации подходов к построению информационных систем.
  …………………………………
  
  
  
  
  
  
  
  
  
  
  
  
  
  1. АРХИТЕКТУРНЫЕ ОСНОВЫ ПАРАДИГМЫ MAPREDUCE
  
  Масштабирование вычислительных систем и обработка массивов данных объёмом в тера- и петабайты стали центральным вызовом для индустрии на стыке 1990–2000-х годов. Рост интернет-ресурсов, логов пользовательских действий, данных сенсоров и корпоративных архивов вывел на первый план проблемы распределённого хранения, параллельной обработки и обеспечения высокой доступности сервисов. Традиционные вычислительные архитектуры, основанные на централизованных серверах или монолитных кластерах, столкнулись с фундаментальными ограничениями по масштабируемости, надёжности и стоимости. В этих условиях на первый план вышли распределённые системы, ориентированные на горизонтальное масштабирование – то есть на расширение инфраструктуры за счёт добавления стандартных, недорогих вычислительных узлов.
  Одной из наиболее значимых инноваций в области распределённых вычислений стала парадигма MapReduce, предложенная специалистами Google и впервые формализованная в фундаментальной работе Джеффри Дина и Санджая Гемавата в 2004 году. Основная идея MapReduce заключается в декомпозиции сложной задачи обработки данных на множество независимых подзадач, которые могут выполняться параллельно на разных вычислительных узлах кластера. Эта концепция наследует базовые принципы функционального программирования – преобразование данных посредством двух базовых операций: map (отображение) и reduce (свертка). Данный подход позволяет реализовать массово-параллельную обработку данных с минимальными затратами на координацию между узлами, а также автоматически обеспечивать отказоустойчивость и балансировку нагрузки
  _________________________________
  1. А. П. Афанасьев, С. С. Колмогорова ИСПОЛЬЗОВАНИЕ СИСТЕМНОГО АНАЛИЗА ДЛЯ ОПТИМИЗАЦИИ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ // ОмГТУ. 2023. №1. URL: https://cyberleninka.ru/article/n/ispolzovanie-sistemnogo-analiza-dlya-optimizatsii-obrabotki-bolshih-dannyh (дата обращения: 03.11.2025).
  2. Анатолий Григорьевич Коробейников ПРИМЕНЕНИЕ МЕТОДОВ BIG DATA ДЛЯ СРАВНЕНИЯ ДАННЫХ ГЕОМАГНИТНЫХ ОБСЕРВАТОРИЙ СЕТИ INTERMAGNET // Приборостроение. 2023. №12. URL: https://cyberleninka.ru/article/n/primenenie-metodov-big-data-dlya-sravneniya-dannyh-geomagnitnyh-observatoriy-seti-intermagnet (дата обращения: 03.11.2025).
  3. Дзидзава Э. Т., Ахмедов К. М. БОЛЬШИЕ ДАННЫЕ И HADOOP: ОБЗОРНЫЙ ДОКЛАД // Вестник магистратуры. 2021. №1-1 (112). URL: https://cyberleninka.ru/article/n/bolshie-dannye-i-hadoop-obzornyy-doklad (дата обращения: 03.11.2025).
  4. Ермагамбетов Р. Т., Киселев Е. С. СОВРЕМЕННЫЕ СИСТЕМЫ ХРАНЕНИЯ И ОБРАБОТКИ БОЛЬШИХ ДАННЫХ: HADOOP И APACHE SPARK // Форум молодых ученых. 2018. №8 (24). URL: https://cyberleninka.ru/article/n/sovremennye-sistemy-hraneniya-i-obrabotki-bolshih-dannyh-hadoop-i-apache-spark (дата обращения: 03.11.2025).