Pandas中的unique()和nunique()函数区别详解

在数据分析过程中，我们经常需要处理数据集中的唯一值。Pandas作为Python中强大的数据处理库，提供了多种方法来处理唯一值。其中，unique()和nunique()函数是两个常用的工具，它们分别用于获取唯一值和计算唯一值的数量。本文将详细解释这两个函数的区别及其应用场景，帮助你更好地理解和应用它们。

Pandas中Series和DataFrame的两种数据类型中都有nunique()和unique()方法。这两个方法作用很简单，都是求Series或Pandas中的不同值。而unique()方法返回的是去重之后的不同值，而nunique()方法则直接放回不同值的个数。

具体如下：

如果Series或DataFrame中没有None值，则unique()方法返回的序列数据的长度等于nunique()方法的返回值（如上述代码中所展示的）。则当Series或DataFrame中有None值时，这两个就不一定相等了。具体如下：

从上述结果可知, nunique(）可以通过参数dropna来自定义设置在统计不同值过程中是否需要包含None值，而unique()方法中没有可设置的参数，该方法在统计时无法排除None值。 

1、unique()

统计list中的不同值时，返回的是array.它有三个参数，可分别统计不同的量，返回的都是array.

当list中的元素也是list时，尽量不要用这种方法.

import numpy as np
a = [1,5,4,2,3,3,5]
# 返回一个array
print(np.unique(a))
# [1 2 3 4 5]
 
# 返回该元素在list中第一次出现的索引
print(np.unique(a,return_index=True))
# (array([1, 2, 3, 4, 5]), array([0, 3, 4, 2, 1]))
 
# 返回原list中每个元素在新的list中对应的索引
print(np.unique(a,return_inverse=True))
# (array([1, 2, 3, 4, 5]), array([0, 4, 3, 1, 2, 2, 4]))
 
# 返回该元素在list中出现的次数
print(np.unique(a,return_counts=True))
# (array([1, 2, 3, 4, 5]), array([1, 1, 2, 1, 2]))
 
# 当加参数时，unique()返回的是一个tuple,这里利用了tuple的性质，即有多少个元素即可赋值给对应的多少个变量
p,q,m,n = np.unique(a,return_index=True,return_inverse=True,return_counts=True)
print(p,q,m,n)
# [1 2 3 4 5] [0 3 4 2 1] [0 4 3 1 2 2 4] [1 1 2 1 2]
 
# 注意当list中的元素不是数字而是list的时候,输出的数据类型与list中元素的长度有关
# 利用这种方法对list中元素去重或求里面元素的个数都不是好方法，很容易出错　

统计series中的不同值时，返回的是array，它没有其它参数

import pandas as pd
se = pd.Series([1,3,4,5,2,2,3])
print(se.unique())
# [1 3 4 5 2]

2、nunique()

可直接统计dataframe中每列的不同值的个数,也可用于series,但不能用于list.返回的是不同值的个数.

df=pd.DataFrame({'A':[0,1,1],'B':[0,5,6]})
print(df)
print(df.nunique())
#    A  B
# 0  0  0
# 1  1  5
# 2  1  6
# A    2
# B    3
# dtype: int64

也可与groupby结合使用,统计每个块的不同值的个数.

all_user_repay = all_user_repay.groupby(['user_id'])['listing_id'].agg(['nunique']).reset_index()
#    user_id  nunique
# 0       40        1
# 1       56        1
# 2       98        1
# 3      103        1
# 4      122        1

总结

通过对unique()和nunique()函数的详细解析，我们可以清楚地看到它们在功能上的差异。unique()函数主要用于获取数组或列中的唯一值，并返回这些唯一值的数组。而nunique()函数则用于计算唯一值的数量，返回一个整数值。理解并熟练掌握这两个函数，可以在数据分析过程中大大提高效率，特别是在处理大型数据集时。希望本文的讲解能帮助你更好地应用Pandas中的这两个函数，提升你的数据处理能力。