炫意html5
最早CSS3和HTML5移动技术网站之一

Python数据分析 – 分类数据

分类数据

本节会介绍pandas的Categorical类型。将展示在使用pandas进行某些操作时如何获得更好的性能和内存使用。还会介绍一些在统计和机器学习应用中使用分类数据的工具。

1、背景和目标

一个列经常会包含重复值,这些重复值是一个小型的不同值的集合。像unique和value_counts这样的函数,允许我们从一个数组中提取不同值并分别计算这些不同值的频率:

许多数据系统(用于数据入库、统计计算或其他用途)已经开发出专门的方法,用重复的值来表示数据,以便更有效地存储和计算。在数据入库的操作中,使用所谓的维度表是一种最佳实践,维度表包含了不同值,并将主要观测值存储为引用维度表的整数键:

可以使用take方法来恢复原来的字符串Series:

这种按照整数展现的方式被称为分类或字典编码展现。不同值的数组可以被称为数据的类别、字典或层级。

在做数据分析时,分类展示会产生显著的性能提升。也可以在类别上进行转换同时不改变代码。以下是一些相对低开销的转换示例:

  1. 重命名类别
  2. 在不改变已有的类别顺序的情况下添加一个新的类别

2、pandas中的Categorical类型

pandas拥有特殊的Categorical类型,用于承载基于整数的类别展示或编码的数据。

这里,df[‘fruit’]是一个Python字符串对象组成的数组。可以通过调用函数将它转换为Categorical对象:

fruit_cat的值并不是NumPy数组,而是pandas.Categorical的实例:

Categorical对象拥有categories和codes属性:

可以通过分配已转换的结果将DataFrame的一列转换为Categorical对象:

需要注意,分类数据可以不是字符串,尽管我举的例子都是字符串例子。一个分类数组可以包含任一不可变的值类型。

3、使用Categorical对象进行计算

在pandas中使用Categorical与非编码版本相比(例如字符串数组)整体上是一致的。pandas中的某些部分,比如groupby函数,在与Categorical对象协同工作时性能更好。还有一些函数可以利用ordered标识。

考虑一些随机数字数据,并使用pandas.qcut分箱函数。结果会返回pandas.Categorical:

我们计算上面数据的四分位分箱,并提取一些统计值:

虽然样本的四分位数有用,但是在生成一份报告时,四分位数就没有四分位数名称有用了。

被标记的bins分类数据并不包含数据中箱体边界的相关信息,因此可以使用groupby来提取一些汇总统计值:

3.1 使用分类获得更高性能

如果在特定的数据集上做了大量的分析,将数据转换为分类数据可以产生大幅的性能提升。DateFrame中一列的分类版本通常也会明显使用更少内存。

现在将labels转换为Categorical对象:

现在我们注意到labels比categories使用了明显更多的内存:

4、分类方法

Series包含的分类数据拥有一些特殊方法,这些方法类似于Series.str的特殊字符串方法。这些方法提供了快捷访问类别和代码的方式。考虑下面的Series:

特殊属性cat提供了对分类方法的访问:

在大型数据集中,分类数据经常被用于节省内存和更高性能的便捷工具。在过滤了一个大型DataFrame或Series之后,很多类别将不会出现在数据中。为了帮助解决这个问题,可以使用remove_unused_categories方法来去除未观察到的类别:

下表是可用的分类方法列表。

4.1 创建用于建模的虚拟变量

当使用统计数据或机器学习工具时,通常会将分类数据转换为虚拟变量,也称为one-hot编码。这会产生一个DataFrame,每个不同的类别都是它的一列。这些列包含一个特定类别的出现次数,否则为0。

pandas.get_dummies函数将一维的分类数据转换为一个包含虚拟变量的DataFrame:

炫意HTML5 » Python数据分析 – 分类数据

Java基础教程Android基础教程