🎯 为什么要评价推荐？

没有指标，个性化只是"感觉良好"。

推荐系统的目标是"为每个用户推荐最合适的内容"。但"合适"如何量化？如何科学比较不同推荐算法？这就需要一套专门的评价指标体系。

🧩 推荐系统的三大评价维度

维度	代表指标	关注点
准确性	Precision, Recall, MAP, NDCG, Hit Rate	推荐是否命中用户兴趣
多样性	Intra-list Diversity, Coverage	推荐内容是否丰富多元
新颖性/惊喜度	Novelty, Serendipity	是否推荐了用户未见过但喜欢的内容

本节聚焦准确性，并简要介绍多样性与新颖性。

🔍 推荐系统的核心准确性指标

1. 命中率（Hit Rate, HR@K）

• 定义：前K个推荐中，是否至少有一个命中用户真实兴趣？
• 公式：

  $$HR@K = \frac{1}{N} \sum_{i=1}^N \mathbb{I}(\text{hit}_i)$$

  其中$\mathbb{I}(\text{hit}_i)$为第$i$个用户是否命中
• 意义：衡量"有没有"命中，而非"命中多少"

2. 精确率（Precision@K）

• 定义：前K个推荐中，相关（被用户实际点击/喜欢）的比例
• 公式：

  $$Precision@K = \frac{\text{前K个推荐中相关的数量}}{K}$$

• 举例：推荐10个，用户喜欢3个，Precision@10=0.3

3. 召回率（Recall@K）

• 定义：用户所有喜欢的物品中，有多少被推荐出来？
• 公式：

  $$Recall@K = \frac{\text{前K个推荐中相关的数量}}{\text{用户实际喜欢的总数}}$$

• 举例：用户实际喜欢5个，推荐命中3个，Recall@10=0.6

4. 平均精度均值（MAP@K）

• 定义：多个用户下，平均每个用户的平均精度
• 公式：

  $$MAP@K = \frac{1}{N} \sum_{i=1}^N AP@K(i)$$

  其中$AP@K(i)$为第$i$个用户的平均精度
• 意义：兼顾推荐的准确性和排序

5. NDCG@K（归一化折扣累计增益）

• 定义：考虑推荐排序和相关性等级的指标
• 公式：

  $$DCG@K = \sum_{i=1}^K \frac{2^{rel_i}-1}{\log_2(i+1)}$$

  $$NDCG@K = \frac{DCG@K}{IDCG@K}$$

  其中$rel_i$为第$i$个推荐的相关性等级，$IDCG$为理想排序下的$DCG$
• 意义：高相关的物品排得越靠前，分数越高

6. MRR@K（Mean Reciprocal Rank）

• 定义：第一个命中物品的排名倒数，取平均
• 公式：

  $$MRR@K = \frac{1}{N} \sum_{i=1}^N \frac{1}{rank_i}$$

  其中$rank_i$为第$i$个用户第一个命中物品的排名
• 适用场景：用户只需一个好推荐时（如新闻头条）

🌈 多样性与新颖性指标

1. 多样性（Intra-list Diversity）

• 定义：推荐列表中物品两两之间的不相似度
• 公式：

  $$Diversity = 1 - \frac{2}{K(K-1)} \sum_{i<j} sim(i, j)$$

  其中$sim(i, j)$为物品$i$和$j$的相似度
• 意义：多样性高，用户更容易发现新兴趣

2. 覆盖率（Coverage）

• 定义：被推荐到的物品占全库的比例
• 公式：

  $$Coverage = \frac{\text{被推荐到的物品数}}{\text{物品总数}}$$

• 意义：覆盖率高，系统不"偏食"

3. 新颖性（Novelty）

• 定义：推荐物品对用户来说有多新鲜
• 常用方法：
  • 推荐用户未交互过的物品
  • 推荐冷门物品（低流行度）

4. 惊喜度（Serendipity）

• 定义：推荐物品既新颖又让用户喜欢
• 意义：带来"意外之喜"，提升用户粘性

🧪 推荐系统评测流程

1. 离线评测：用历史数据分训练集/测试集，计算上述指标
2. 在线实验：A/B测试，观察点击率、转化率、停留时长等
3. 用户调研：主观满意度、问卷调查

📈 指标的权衡与选择

• 精确率高≠多样性高，二者常常冲突
• 新颖性高≠用户满意度高，需平衡探索与利用
• 业务目标决定指标侧重：
  • 电商/内容平台：更关注点击率、转化率
  • 社交/资讯平台：更关注多样性、新颖性

思考题

1. 为什么推荐系统要同时关注准确性和多样性？
2. 新颖性和惊喜度指标在实际业务中如何落地？
3. 离线指标和在线用户行为指标可能出现哪些不一致？如何解释？

🎉 章节小结

推荐系统评价指标让"个性化"不再是玄学。只有科学地量化准确性、多样性和新颖性，才能持续优化推荐效果，真正做到"千人千面"。

推荐指标就像美食评分——不仅要好吃（准确），还要有新花样（多样性），偶尔带点惊喜（新颖性），才能让用户流连忘返。