При решении задач обработки текстов важное место занимает этап группировки текстовых фрагментов в близкие по смыслу кластеры. Для этого часто используется векторная модель документов. [1] Документом может быть целый текст, а может и отдельный абзац. В каждом документе выявляются термины — встреченные в тексте слова, за исключением стоп-слов. Определяются веса терминов, в пространстве терминов строится вектор документа, вычисляется мера сходства построенных векторов, и наиболее близкие документы объединяются в кластеры. Для определения весов терминов обычно используют модель «TF-IDF», в которой вес термина определяется как произведение количества вхождений термина в данный документ (TF) на обратную документную частоту (IDF). Параметр IDF имеет низкие значения, если термин встречается во многих документах. Считается, что такие термины снижают различие между документами. Однако и термины с высокой встречаемостью обладают высокой «смысловой» классифицирующей силой.
Рассмотрим пример, приведенный в [1]. Коллекция содержит шесть документов со следующими терминами:
1. китайский, Пекин, китайский;
2. китайский, китайский, Шанхай;
3. китайский, Макао;
4. Токио, Япония, китайский;
5. китайский, китайский, китайский, Токио, Япония;
6. Токио, Пекин.
Правдоподобной является гипотеза, что документы образуют два кластера: относятся к Китаю — к Китаю и Японии. Термин китайский имеет очень низкий коэффициент IDF, поэтому при агломеративной кластеризации по TF-IDF уже на первых шагах помимо очевидного кластера образуется кластер. Кластеризация без учета IDF формирует «правильный» кластер. Предположение о том, что учет IDF не улучшает качества кластеризации, было проверено на текстах разной тематики. Анализ производился парсером SemSin. [2]
Поваренная книга Молоховец, раздел «Приготовление напитков». Шесть групп рецептов. Две группы выделены правильно при обоих способах анализа, в трех случаях без IDF точнее.
Статьи общественно-политической направленности. Первая статья содержит 30 абзацев. Без IDF в кластер объединено 29 абзацев плюс 18 абзацев из других статей, с IDF — 22 + 24.
Экономический словарь, 1092 статьи, разбитых на 11 смысловых групп. В четырех случаях лучше соответствие кластеров, полученных без IDF, в одном — с IDF.
Таким образом, можно сделать вывод, что лексический состав текста не тождественен смысловому наполнению, и учет IDF, по меньшей мере, не улучшает качества кластеризации.

Список литературы:
[1] Большакова Е. И. и др. Автоматическая обработка текстов на естественном языке и компьютерная лингвистика. М.: МИЭМ, 2011.
[2] Боярский К. К., Каневский Е. А. Семантико-синтаксический парсер SemSin // Научно-технический вестник информационных технологий, механики и оптики. 2015. №5.