Введение в информационно-поисковые системы - 23 стр.

UptoLike

Составители: 

0,0
0,2
0,4
0,6
0,8
1,0
0,0 0,2 0,4 0,6 0,8 1,0
Полнота
Точность
Узкая формули-
ровка запроса
Широкая форму-
лировка запроса
0
Рис. 2. Кривая "полнота-точность"
Кривые “полнота-точность” могут использоваться для оценки качества работы
либо нескольких ИПС, либо одной, работающей в разных условиях. При этом кри-
вые, полученные для двух систем, могут быть наложены на один график, что позво-
ляет определить, какая из систем лучше и в какой степени []. Очевидно, что кривая,
расположенная ближе к правому верхнему углу графика (рис. Рис. 2), где полнота и
точность максимальны, указывает на лучшее качество работы.
В идеальной ИПС коэффициенты полноты и точности равны единице. В реаль-
ных поисковых системах коэффициент полноты поиска может достигать значений
0,7 – 0,9, а коэффициент точности находится в интервале 0,1 – 1,0 [].
В дополнение к стандартным мерам полноты (3.7) и точности (3.8), значения ко-
торых зависят от размера множества выданных документов, можно использовать по-
казатели, не зависящие от выданного множества. В частности, для систем, в кото-
рых полученные документы ранжируются в порядке уменьшения сходства между до-
кументом и запросом, существуют меры оценки, основанные на рангах релевантных
документов. Такие функции, называемые нормализованной полнотой и нормализо-
ванной точностью, имеют вид:
n(N-n)
ir
R
n
i
n
i
i
норм
=
==
11
1
,
!!
!
log
loglog
1
11
(N-n)n
N
ir
P
n
i
n
i
i
норм
=
==
.
21