AUCµ: A Performance Metric for Multi-Class Machine Learning Models

发布于 2020-12-08 20:47:14

{%08365c1f-0aef-43f1-8307-4af54f2c2b3b|The particle swarm - explosion, stability, and convergence in a multidimensional complex space|Maurice Clerc,James Kennedy|IEEE Trans. Evol. Comput.|2002|10.1109/4235.985692%}{%1|Particle swarm optimization|James Kennedy,Russell Eberhart|Proceedings of ICNN'95 - International Conference on Neural Networks|1995|10.1109/ICNN.1995.488968%}

Motivation:
二分类问题往往会使用AUC进行eval,而多分类上往往会使用softmax。本文提出了AUCµ是为了能够在多分类任务上也能使用AUC方法。

Contribution:
在多分类上也可以使用类似AUC的指标去衡量;

  1. AUCµ主要计算公式如下:

image.png
image.png

  1. 代码解读[1]。

①代码中的S是论文中去掉系数(1/ni/nj)的部分;
②class_i_j_indices存储的是class为i和j的全部元素;
③dist存储加weight后的分数;
④sort dist;
⑤O(n)计算auc;
所以复杂度是 按class排序O(nlogn) + 计算S(i, j)部分O(K(n+nlog(2n/K)))) + 累加O(K^2) = O(Knlogn)

0 条评论

发布
问题