Шингл
Уникальный контент (текст сайта) является необходимым требованием, что бы сайт «видели» поисковые системы. Поисковики всегда анализируют тесты индексируемых сайтов. Если на сайте большая часть контента скопирована из другого интернет источника, его позиция в рейтинге поиска существенно снижается.
Одним из методов анализа уникальности текста является Метод Шингла.
Шингл (от англ. shingle-чешуйка) — обозначает отрывок из последовательно расположенных слов в обработанном (канонизированном) тексте (пятисловный шингл, трёхсловный шингл).
Детали алгоритма проверки текста упомянутым выше методом поисковые системы не афишируют, но основные этапы анализа известны.
Первый этап — это канонизация текста – исключение символов (знаки препинания, цифры, смайлы, скобки, кавычки и т.д.) и слов (стоп-слова, предлоги, союзы, междометия), которые не несут смысловую нагрузку.
Второй этап – разделение текста на шинглы. Количество слов в «цепочке» из слов называют «длинной шингла». Чем короче шингл, тем более точным будет анализ уникальности.
На последнем этапе шинглы проверяемого текста сравниваются с шинглами текстов, размещённых в интернете. Наличие одинаковых «цепочек» из слов в текстах
определяет степень их схожести. Чем больше шинглов-дубликатов, тем менее уникальным является текст.
