Х
  • Мой профиль в Google+
  • Мой профиль Вконтакте
  • Facebook
  • Мой профиль Twitter

Лемматизация

Автор: Май - 2017 | 0 Комментариев | Требует вдумчивого чтения

Лемматизация — это преобразование слов в лемму, то есть в их первоначальную словарную форму. Например:

  • Бежала -> бежать
  • Кошку -> кошка
  • зеленого -> зеленый

При лемматизации части речи преобразуют по такому принципу:

1. Существительное — единственное число, именительный падеж.
2. Прилагательное — единственное число, мужской род, именительный падеж.
3. Глагол — неопределенная форма (инфинитив).

Для чего нужна лемматизация?

Прежде всего, лемматизацию используют поисковые системы. Она помогает им ускорить индексирование и обработку запросов, а также повысить релевантность своей выдачи. Поисковики пропускают каждую страницу через алгоритм-лемматизатор, чтобы сохранить ее в базе в компактной и удобной для поиска форме.

Запросы тоже проходят через лемматизацию. Неважно, что ввел пользователь: «куплю машину» или «купить машину» — поисковик преобразует слова в леммы («купить машина») и покажет один и тот же результат.

Другое применение лемматизации — проверка уникальности. Делается это примерно так:

  • Исходный текст подвергается лемматизации.
  • Программа поочередно берет из текста по несколько лемм подряд (такая серия называется «шингл» и чаще всего она состоит из 3 слов).
  • Затем программа ищет этот шингл в других текстах (которые тоже предварительно были лемматизированны).
  • Если совпадение найдено, то этот фрагмент считается «неуникальным».

Лемматизацией пользуются и SEO-оптимизаторы, когда составляют семантическое ядро (СЯ). Эта технология помогает:

1. Удалить дубли запросов. Например, «куплю машину в Москве» и «купить машина Москва» — это на самом деле один и тот же запрос.
2. Кластеризация. Благодаря приведению ключей в исходную форму их проще сортировать по темам.
3. Быстро оценить популярность тех или иных запросов.

И еще одно применение лемматизации — программирование и веб-разработка. Программисты используют эту технологию для создания собственной системы поиска по базам данных или сайту.

Нашли ошибку? Пожалуйста, выделите её мышкой и нажмите левый Ctrl+Enter.

Оценить статью

1 звезда2 звезды3 звезды4 звезды5 звезд (Моя оценка текста)
Загрузка...

Поделитесь в социальных сетях

Тексты формата "Панда-копирайтинг"
Продающие и PR-тексты
B2B и B2C
Тексты для сайтов
СМИ и Реклама
Подпишитесь сейчас!
Получайте полезную информацию первым
Виталий Белоусов
Опубликовано статей: 48
Виталий Белоусов: коммерческий писатель и копирайтер, поклонник хороших текстов и сильной литературы. Старший модератор Форума копирайтеров Рунета.