离线AUC和线上CTR

在做Rank系统时，我们常用ROC曲线的AUC来做离线评估。
AUC评估的是序,LOSS类指标（RMSE,log-loss等）评估的是值。
AUC更适合做Rank离线评估的原因有以下几点：

  1. 将预测值都乘以二，线上排序不会改变。离线评估时，LOSS类指标会有变化，AUC不会变。
  2. 使用Pairwise训练产生的模型，预测时输出的是rank-score，并不一定是CTR的点回归，LOSS类指标会比较差，不具参考意义。
  3. 在广告系统中，点击非常稀疏，经常会用到负样本抽样(或正样本过采样)，如果不进行打分校正，线上排序不会改变，但LOSS类指标会比较差，不具参考意义。

但是离线AUC和线上CTR也不能完全对上，也存在很多坑。本文主要说说自己踩到的坑。。。

more >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

Work smarter