Введение в информационно-поисковые системы. Иванов В.К - 17 стр.

UptoLike

ВУЗ: 

ТвГТУ | Тверь

Составители: 

Рубрика: 

0
i
TF
)(
i
r
0
i
TF
)log(
i
r
log
Рис. 5. Закон Ципфа
Эксперименты показывают, что частота
i
TF
)(
и количество слов
i
n
, входя-
щих в текст с этой частотой (другими словами, количество слов, имеющих одина-
ковый ранг частоты), также связаны между собой. Обозначим это количество как
. Форма кривой зависимости
))((
ir
TFm
i
сохраняет свои параметры для всех
текстов в пределах одного языка. Вид такой зависимости представлен на рис. .
0
i
TF
)(
i
r
m
Рис. 6. Зависимость числа слов каждого ранга от частоты их встречаемости
Вероятность
i
p
встретить произвольно выбранное слово
i
t
, очевидно, будет
равна частоте встречаемости этого слова в тексте:
ii
TFp
)(
=
.
17

Страницы