Лемматизация относится к индексированию контента, и означает анализ морфологии слова. Поисковые системы используют лемматизацию во время индексирования текстов на интернет-ресурсе.
Лемматизатор создает леммы из всех форм слова, а алгоритм, применяемый поисковиком, нерелевантные документы не рассматривает.
- существительные остаются в именительном падеже и в единственном числе;
- прилагательные используются в именительном падеже и единственном числе;
- глаголы имеют форму инфинитива.
К чему это приводит?
Такое употребление создает возможность объединить несколько форм слова под леммой, что упрощает процедуру нахождения информации. Однако, данный метод несовершенен из-за наличия слов-омонимов, которые одинаковы по написанию, но отличаются по лексическому значению. И в процессе лемматизации утрачивается изначальный смысл понятия.
Эффективность метода подразумевает оперативность индексирования, которая прямо зависима от количества слов, анализируемых данным образом. Максимум слов требует большего количества времени. Поэтому поисковые системы, с целью снижения проверяемых и оцениваемых слов, используют программы для лемматизации. Они эффективны и при проверке текстов на уникальность.