简介

时间序列数据蕴含着巨大的价值，通过重采样技术可以提升原始数据的表现形式。无论你是数据科学家、分析师，还是对数据挖掘感兴趣，都可以从本文学习方法和工具，提升数据可视化技巧。

为什么需要进行数据重采样？

在进行时间数据可视化时，数据重采样是至关重要且非常有用的。它支持控制数据的粒度，以挖掘数据价值，并创建具有吸引力的图片。用户可以根据需求，对时间序列数据的频率进行上采样或下采样。

数据重采样的方法

数据重采样主要有以下两个目的：

• 减少数据量：通过将高频数据下采样为低频数据，可以减少用于可视化的数据量，从而提高可视化效率。例如，对于某家公司的每日股价数据，该数据来自股票交易所，对其进行可视化，挖掘长期趋势，并剔除噪音数据点。为此，可以通过取每月的平均收盘价，将每日数据重采样为每月频率，从而降低用于可视化的数据量，提升数据可视化的效果。
• 聚合数据：通过将低频数据上采样为高频数据，可以聚合数据以揭示更精细的趋势和规律。例如，对于包含一年内零售店每日销售数据的数据集，对其进行年度收入趋势分析。为此，你可以使用聚合方法计算每月和每年的总销售额。

在Python中，可以使用Pandas库进行数据重采样。Pandas提供了各种方法，如 resample() ，可以根据指定的频率或偏移量对时间序列数据进行重采样。例如：

import pandas as pd

 每日股票价格数据样本
df = pd.read_csv('daily_stock_prices.csv')

 将每日数据重采样为每月频率，并取平均值
df_monthly = df.resample('M').mean()

 可视化每月平均股价
df_monthly.plot()
plt.show()

对于处理缺失数据，Pandas还提供了插值和填充等方法。例如：

 带有缺失值的温度数据样本
df = pd.read_csv('temperature_data_with_missing_values.csv')

 使用前向填充方法填充缺失值
df_filled = df.fillna(method='ffill')

 可视化填充后的温度数据
df_filled.plot()
plt.show()

可视化趋势和规律

在Pandas中进行数据重采样，有助于可视化连续或离散时间数据中的趋势和规律，进一步挖掘数据价值，突出显示不同的组成部分，包括趋势、季节性和不规则问题（可能是数据中的噪音）。例如：

 网站每日流量数据样本
df = pd.read_csv('website_daily_traffic.csv')

 可视化每日网站流量趋势
df.plot()
plt.show()

 使用季节性分解技术分解流量数据
from statsmodels.tsa.seasonal import seasonal_decompose

decomposition = seasonal_decompose(df['traffic'], model='additive')

 可视化趋势、季节性和残差成分
decomposition.plot()
plt.show()

总结

通过使用Pandas库进行数据重采样，可以有效地可视化时间序列数据的趋势和规律，挖掘数据中的价值。无论是减少数据量、聚合数据，还是处理缺失值，数据重采样都提供了强大的工具来提升数据可视化的效果。

下载代码：

Pandas - 数据透视表

在正式介绍数据透视表 Pivot Table 之前，我们不妨通过一个列子，来感受一下 Pivot Table 的魅力。

首先从 读取一份数据集：数据集统计了2020年1月-6月公司各部门制定的业绩目标以及实际完成业绩。

使用 Pandas 读取上述数据集：

下面，我们新增一列，计算完成度：

接下来，假设我们需要统计各时间段下每个部门的业绩完成度。这里，就需要用到我们的数据透视表 pivot table 了~

_table的计算结果，就是以时间作为索引，以部门作为列，填充的值则是完成度的平均值。

至此，数据透视表的概念也就清晰了~

通常，在 Excel 中对于数据透视表的汇总结果，我们也会绘制相应的数据透视图来直观地反映数据。在Pandas中也是可以轻松绘图的：

此外，还可以对数据透视表做进一步的统计。比如计算各部门上半年的平均完成度：

上半年每个月份公司整体的完成度：

读取数据集：

不同性别的乘客在不同船舱等级支付的船票费用平均值：

汇总统计结果：

aggfunc指除了对汇总之后的结果进行统计的方法，默认即mean求平均。可以指定其他统计方法，比如获取不同性别的乘客在不同船舱等级支付船票花费的最大值：

汇总统计结果：

指定aggfunc=count可以实现对不同性别乘客在不同船舱等级的分布：

汇总统计结果：

进行计数时，也可以使用专用的方法：

对于不同船舱等级来说，男性和女性的获救概率：

汇总统计结果：

分别统计未成年/成年人中男性和女性获救的概率：

汇总统计结果：

零基础学习数据分析要做哪些准备?

统计学是数据分析的基础，因为数据分析需要对大量数据进行统计分析，大家可以通过对统计学的学习，培养数据分析最基本的一些逻辑思维。

不要小看EXCEL，它可是最初级的数据分析工具，在处理的数据量不是很大时，EXCEL完全可以胜任。而且大家都有一定基础，平时工作中也经常用，学习起来应该很容易，重点应该加强对于各类函数以及EXCEL数据可视化的学习。

3.代码语言的了解

数据分析需要使用的工具很多，例如python、SQL等，这些都需要强大的代码知识做支撑，所以有想学习数据分析的小伙伴可以在学习之前初步对代码有一个了解，这样不至于真正学习起来手足无措。

关于零基础学习数据分析要做哪些准备，青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣，希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。