Основы Scala. Особенности Scala. Сборка и запуск проекта. Подключение зависимостей в sbt.

• Номер работы:
  746804
• Раздел:
  Все работы   →   Рефераты и реферативные задания   →   Информационные технологии
• Год добавления:
  12.01.2022 г.
• Объем работы:
  30 стр.
• Содержание:
  Введение 3
  Основы Scala. Особенности Scala. Сборка и запуск проекта. Подключение зависимостей в sbt 4
  Заключение 27
  Список литературы 28
  
• Выдержка из работы:
  Некоторые тезисы из работы по теме Основы Scala. Особенности Scala. Сборка и запуск проекта. Подключение зависимостей в sbt.
  
  
  В этом мире информации термин BIG DATA появился с новыми возможностями и проблемами, необходимыми для работы с огромным объемом данных. BIG DATA занял очень важное место и становится выбором для новых исследований. Чтобы найти полезную информацию от огромного количества данных до организаций, нам необходимо проанализировать данные. Чтобы получить информацию из неструктурированных данных в Интернете в виде текстов, изображений, видео или сообщений в социальных сетях, требуется множество анализов.
  HDFS (Hadoop Distributed File System) — распределенная файловая система Hadoop для хранения файлов больших размеров с возможностью потокового доступа к информации, поблочно распределённой по узлам вычислительного кластера [1], который может состоять из произвольного аппаратного обеспечения [2]. Hadoop Distributed File System, как и любая файловая система – это иерархия каталогов с вложенными в них подкаталогами и файлами [3]. Отдельно хотелось бы отметить проект Apache Spark, который представляет собой движок для распределённой обработки данных. Apache Spark обычно использует компоненты Hadoop, такие как HDFS и YARN для своей работы, при этом сам в последнее время стал популярнее, чем Hadoop.
  ........................
  HDFS. «Демоны» HDFS. Консольные команды. Java API.
  
  HDFS – неотъемлемая часть Hadoop, проекта верхнего уровня Apache Software Foundation, и основа инфраструктуры больших данных (Big Data). Однако, Hadoop поддерживает работу и с другими распределёнными файловыми системами, в частности, Amazon S3 и CloudStore. Также некоторые дистрибутивы Hadoop, например, MapR, реализуют свою аналогичную распределенную файловую систему – MapR File System [1].
  HDFS может использоваться не только для запуска MapReduce-заданий, но и как распределённая файловая система общего назначения, обеспечивая работу распределённых СУБД (HBase) и масштабируемых систем машинного обучения (Apache Mahout) [1].
  Кластер HDFS включает следующие компоненты [3]:
  .....................
  Список литературы
  
  1.Hadoop. URL: https://rn.habr.com (дата обращения: 12.01.2022).
  2.Neo4j Graph Database Platform. URL: https://neo4j.com (дата обращения: 12.01.2022).
  3.Берсенева Е.А., Михайлов Д.Ю. ВАРИАТИВНОСТЬ ФОРМУЛИРОВАНИЯ КЛИНИЧЕСКИХ ДИАГНОЗОВ И ИХ КОДИРОВАНИЯ ПО МКБ-Х В ПОДРАЗДЕЛЕНИЯХ РАЗЛИЧНОГО ПРОФИЛЯ // Бюллетень Национального научно-исследовательского института общественного здоровья имени Н. А. Семашко. 2021. №3. URL: https://cyberleninka.ru/article/n/variativnost-formulirovaniya-klinicheskih-diagnozov-i-ih-kodirovaniya-po-mkb-h-v-podrazdeleniyah-razlichnogo-profilya (дата обращения: 12.01.2022).
  4.Бождай Александр Сергеевич, Прошкин Сергей Викторович МАШИННОЕ ПРЕДСТАВЛЕНИЕ БОЛЬШИХ ГРАФОВЫХ МОДЕЛЕЙ // Вестник ПензГУ. 2021. №3 (35). URL: https://cyberleninka.ru/article/n/mashinnoe-predstavlenie-bolshih-grafovyh-modeley (дата обращения: 12.01.2022).
  5.Введение в Apache Spark. URL: https://habr.com (дата обращения: 12.01.2022).
  ...........