一、Pandas核心优化技巧

Pandas 1.5+版本带来的性能革新：

import pandas as pd
import numpy as np

# 高效数据读取
df = pd.read_csv('large_data.csv', 
                usecols=['col1', 'col2', 'col3'],  # 只读取必要列
                dtype={'col1': 'int32', 'col2': 'category'},  # 指定数据类型
                parse_dates=['date_col'],  # 自动解析日期
                chunksize=100000)  # 分块读取大数据

# 替代iterrows的高效迭代
for row in df.itertuples():
    process(row.col1, row.col2)  # 比iterrows快5-10倍

优化要点：内存控制、类型指定、批处理、向量化操作

二、高级数据清洗方法

# 创建缺失值分析报告
def missing_value_report(df):
    return (df.isna().sum() / len(df)).sort_values(ascending=False)

# 高级填充策略
df['income'] = df.groupby('education')['income'].transform(
    lambda x: x.fillna(x.median()))

# 时间序列插值
df['sales'] = df['sales'].interpolate(method='time')

# 基于分位数的异常检测
def remove_outliers(df, col):
    q1 = df[col].quantile(0.25)
    q3 = df[col].quantile(0.75)
    iqr = q3 - q1
    return df[(df[col] > q1 - 1.5*iqr) & (df[col] < q3 + 1.5*iqr)]

# 使用clip限制极值
df['price'] = df['price'].clip(
    lower=df['price'].quantile(0.05),
    upper=df['price'].quantile(0.95))

三、高性能数据处理

# 低效循环方式
for i in range(len(df)):
    df.loc[i, 'discount'] = 0.9 if df.loc[i, 'vip'] else 1.0

# 高效向量化方式
df['discount'] = np.where(df['vip'], 0.9, 1.0)

# 更复杂的条件判断
conditions = [
    df['sales'] > 1000,
    df['sales'] > 500,
    df['sales'] > 100
]
choices = ['high', 'medium', 'low']
df['level'] = np.select(conditions, choices, default='very_low')

# 常规计算方式
df['total'] = df['price'] * df['quantity'] - df['discount']

# 使用eval优化 (适用于大数据集)
df.eval('total = price * quantity - discount', inplace=True)

# 多表达式计算
df = df.eval("""
    revenue = price * quantity
    profit = revenue - cost
    margin = profit / revenue
""")

四、性能对比数据

测试环境：Python 3.10 / Pandas 1.5 / 8GB内存

五、电商数据分析实战

# 1. 计算RFM指标
now = pd.Timestamp.now()
rfm = df.groupby('user_id').agg({
    'order_date': lambda x: (now - x.max()).days,  # Recency
    'order_id': 'count',  # Frequency
    'amount': 'sum'  # Monetary
}).rename(columns={
    'order_date': 'recency',
    'order_id': 'frequency',
    'amount': 'monetary'
})

# 2. 使用分位数打分
rfm['R_score'] = pd.qcut(rfm['recency'], 5, labels=[5,4,3,2,1])
rfm['F_score'] = pd.qcut(rfm['frequency'], 5, labels=[1,2,3,4,5])
rfm['M_score'] = pd.qcut(rfm['monetary'], 5, labels=[1,2,3,4,5])

# 3. 综合评分
rfm['RFM_score'] = rfm[['R_score','F_score','M_score']].sum(axis=1)

六、最佳实践总结

• 数据类型优化：category类型减少内存占用
• 链式方法：使用pipe保持代码整洁
• 并行处理：swifter库加速apply操作
• 可视化分析：pandas-profiling快速生成报告
• 测试验证：assert_frame_equal验证结果

# 链式方法示例
(df.pipe(remove_outliers, 'price')
   .assign(discount=lambda x: np.where(x['vip'], 0.9, 1.0))
   .groupby('category')
   .agg({'price': ['mean', 'std']}))