Алгоритмы поиска в тексте

• Номер работы:
  330765
• Раздел:
  Все работы   →   Курсовые проекты - сложные   →   Информационное обеспечение, программирование
• Год добавления:
  25.12.2014 г.
• Объем работы:
  40 стр.
• Содержание:
  ОГЛАВЛЕНИЕ
  
  
  ВВЕДЕНИЕ 3
  1. СОВРЕМЕННЫЕ ИНСТРУМЕНТЫ ПОИСКА В ТЕКСТЕ 5
  1.1. Метод «Шинглов» 5
  1.2. Метод супершинглов (мегашинглов) 5
  1.4. Surrounding Context N-Grams 6
  1.5. Метод расчета коэффициента совпадения документов 8
  1.6. Метод «Опорных слов» 8
  2. НАЛИЗ МЕТОДОВ ПОИСКА ТЕКСТОВЫХ КЛОНОВ 11
  2.1. Современные технологии поиска повторяющихся тестовых блоков 11
  2.2. Каталог элементов 12
  2.3. Принципы систематизации и отбора тестовых документов 21
  3. ИНФОРМАЦИОННЫЕ МЕТОДЫ ПОИСКА ТЕКСТОВЫХ ЗАИМСТВОВАНИЕЙ 29
  3.1. Алгоритм для поиска заимствований 29
  3.2 Получение набора текстов для поиска 32
  3.3. Методика проверки однородности текста и выявления плагиата на основе метода опорных векторов и фильтра быстрой корреляции 34
  ЗАКЛЮЧЕНИЕ 37
  СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 38
  
• Выдержка из работы:
  Некоторые тезисы из работы по теме Алгоритмы поиска в тексте
  ВВЕДЕНИЕ
  
  Актуальность исследования. Текстовые заимствования являются одной из самых старых форм заимствований, при этом проблема обнаружения текстовых заимствований до сих пор остаѐтся сложной для решения. С этой проблемой сталкиваются, например, в следующих задачах: установление нарушения авторских прав при незаконном копировании, поиск избыточной информации в библиотеках документов, обнаружение спама, поиск плагиата. Поиск в текстовых документах на современном этапе также является технической необходимостью, позволяющей эффективно работать с документами.
  Документация является важной составляющей современного программного обеспечения (ПО). При разработке ПО создается много видов документации: руководства пользователя, описания архитектуры, сопроводительные заметки о выпусках и пр. Эти документы обладают сложной структурой и значительным объемом, и, как и само ПО, они постоянно изменяются в течение жизненного цикла.
  ..........
  
  1. СОВРЕМЕННЫЕ ИНСТРУМЕНТЫ ПОИСКА В ТЕКСТЕ
  
  1.1. Метод «Шинглов»
  В 1997 году A. Broder[9] предложил метод, основанный на представлении документа в виде последовательностей фиксированной длины N, состоящих из соседних слов. При этом на последовательности могут накладываться ограничения, например, слова должны находиться в одном предложении. Такие последовательности в одних источниках называют «шинглами» [1], в других «N-граммами» [4]. Два документа считаются похожими, если множества их N-грамм существенно пересекаются. Аналогично можно считать похожесть двух предложений, или же предложения и текста. Число N-грамм для каждого документа является достаточно большим, используются различные способы усечения их множества, например автором был предложен следующий метод для уменьшения числа шинглов: оставлять только те шинглы, для которых статистические функции принимают фиксированные значения.
  ..........