Python数据分析基础与实战

Python 是数据分析领域的首选工具之一，因其丰富的库和易用性广受欢迎。以下是 Python 数据分析的核心内容和学习路径：

1. 基础工具库

• NumPy
  核心功能：多维数组（ndarray）操作、数学运算、线性代数、随机数生成。
  示例：

python

import numpy as np

arr = np.array([[1, 2], [3, 4]])

print(arr.mean(axis=1)) # 输出每行均值

• Pandas

O 核心数据结构：Series（一维）、DataFrame（二维表）。

O 常用操作：数据清洗、合并、分组聚合、时间序列处理。
示例：

python

import pandas as pd

df = pd.read_csv('data.csv')

df.dropna(inplace=True) # 删除缺失值

df.groupby('category')['sales'].sum().plot(kind='bar')

• Matplotlib & Seaborn
  可视化工具，用于绘制折线图、柱状图、热力图、分布图等。
  示例：

python

import matplotlib.pyplot as plt

plt.scatter(df['x'], df['y'])

plt.title('Scatter Plot')

plt.show()

2. 数据分析流程

1. 数据获取

O 从 CSV/Excel（pd.read_csv）、数据库（SQLAlchemy）、API（requests）或网页（BeautifulSoup）获取数据。

2. 数据清洗

O 处理缺失值：fillna()、dropna()

O 去重：drop_duplicates()

O 类型转换：astype()

O 异常值处理：df[(df['value'] < upper) & (df['value'] > lower)]

3. 数据探索（EDA）

O 统计摘要：df.describe()

O 相关性分析：df.corr()

O 分布分析：sns.histplot(df['column'])

4. 建模与分析

O 基础统计：假设检验（scipy.stats）

O 机器学习：回归、分类（scikit-learn）

O 时间序列分析：statsmodels

5. 结果可视化

O 使用交互式库（Plotly、Bokeh）或静态图展示结果。

3. 高级工具

• Scikit-learn
  机器学习库，提供分类、回归、聚类等算法。

python

from sklearn.linear_model import LinearRegression

model = LinearRegression()

model.fit(X_train, y_train)

• Dask
  并行计算库，处理超大数据集（替代 Pandas 的单机限制）。
• Jupyter Notebook
  交互式环境，适合分步调试和结果展示。

4. 实战案例

案例：电商销售分析

1. 加载数据：df = pd.read_excel('sales.xlsx')
2. 清洗数据：处理缺失值、转换日期格式。
3. 分析维度：

O 每月销售额趋势：df.resample('M', on='date')['amount'].sum()

O 热门商品分类：df['category'].value_counts().head(5)

4. 可视化：绘制销售额折线图和分类占比饼图。

常见问题

• 如何加速 Pandas？
  使用 df = df.astype({'column': 'category'}) 转换类型，或尝试 modin 库。
• 内存不足怎么办？
  使用 chunksize 分块读取数据，或转用 Dask 处理。

掌握这些工具后，你可以高效完成从数据清洗到复杂分析的全流程任务。