明天要去面试搜索产品的职位,其中要求对搜索质量评测有一些了解,这会儿有点困倦,看不进东西,所以想着把自己对搜索质量评测的理解写下来。
狭义的搜索质量评测特指搜索结果质量评测,广义的搜索质量评测还包括其它一些内容,比如搜索速度、输入关键词后相关关键词的提示、关键词有错别字的情况下自动纠错的能力、搜索结果右侧相关推荐的内容质量等。这里暂时只讨论狭义的搜索质量评测,以下分别从用户行为和非用户行为两个维度来进行分析。
用户行为:
1.停留时间
有明确搜索需求的情形下,理论上用户在有点击纪录的情况下,停留时间越短说明需求的满足度就越高。搜索引擎的本质是让用户用尽可能小的成本找到自己需要的信息。
比如典型的“寻址类搜索词”(4399小游戏),用户基本都是点击第1条搜索结果,然后离开,需求满足度极高。
而一些长尾词(xx女优种子下载),用户可能会点击非常多的结果仍然没有满足需求,因为无效资源太多。这种情况下需求满足度极低。
没有明确搜索需求的情形下,停留时间越长说明用户需求满足度越高,反之则满足度越低。因为停留时间长意味着有更多自己感兴趣的结果。
当然停留时间并不单指在搜索结果页的停留时间,落地页的停留时间更加重要,某条搜索结果对应的落地页停留时间越长,则该搜索结果质量越高。
2.点击数量
点击数量的原理和停留时间一致,不再赘述。
3.点击率
如果发现用户对顺序靠前的搜索结果点击率偏低,顺序靠后搜索结果的点击率偏高,则搜索质量偏低。
非用户行为:
1.DCG方法
DCG是英文Discounted cumulative gain的简称,中文可翻译为“折扣增益值”。DCG方法的基本思想是:每条结果的相关性分等级来衡量考虑结果所在的位置,位置越靠前的则重要程度越高,等级高(即好结果)的结果位置越靠前则值应该越高,否则给予惩罚。
相关公式如下:其中reli代表第i位结果的得分。