为什么需要列表分块？

处理大型数据集时，将列表分成均匀的块可以：

• 减少单次内存占用
• 实现批量处理/并行计算
• 分页显示数据
• API分批次请求

方法1：循环切片法（基础实现）

def chunk_list(lst, chunk_size):
    chunks = []
    for i in range(0, len(lst), chunk_size):
        chunks.append(lst[i:i + chunk_size])
    return chunks

# 使用示例
data = [1, 2, 3, 4, 5, 6, 7, 8, 9]
print(chunk_list(data, 3))
# 输出：[[1, 2, 3], [4, 5, 6], [7, 8, 9]]

特点：易理解，适合所有Python版本

方法2：列表推导式（简洁写法）

def chunk_list(lst, chunk_size):
    return [lst[i:i + chunk_size] 
            for i in range(0, len(lst), chunk_size)]

# 使用示例
data = ['a', 'b', 'c', 'd', 'e']
print(chunk_list(data, 2))
# 输出：[['a', 'b'], ['c', 'd'], ['e']]

特点：代码简洁，单行实现

方法3：使用itertools（高效迭代器）

from itertools import islice

def chunk_iter(iterable, size):
    it = iter(iterable)
    while True:
        chunk = list(islice(it, size))
        if not chunk:
            break
        yield chunk

# 使用示例
data = range(1, 11)
for chunk in chunk_iter(data, 4):
    print(chunk)
# 输出：[1, 2, 3, 4]
#       [5, 6, 7, 8]
#       [9, 10]

特点：内存效率高，适合超大型数据集

方法4：使用NumPy（数值计算优化）

import numpy as np

def numpy_chunk(arr, n_chunks):
    return np.array_split(arr, n_chunks)

# 使用示例
data = np.arange(20)
chunks = numpy_chunk(data, 6)

for chunk in chunks:
    print(chunk)
# 输出4个近似均匀的块

特点：数学计算优化，块大小自动平衡

处理不均匀分块的技巧

当列表长度不能被整除时，最后一块会较小。可通过填充值保持均匀：

from itertools import zip_longest

def grouper(iterable, n, fillvalue=None):
    args = [iter(iterable)] * n
    return zip_longest(*args, fillvalue=fillvalue)

# 使用示例
data = [1, 2, 3, 4, 5, 6, 7]
for chunk in grouper(data, 3, fillvalue='NA'):
    print(chunk)
# 输出：(1, 2, 3)
#       (4, 5, 6)
#       (7, 'NA', 'NA')

性能对比与选择建议

实际应用场景

• 批量数据库操作：将10万条数据分成100条/批写入
• 并行计算：多进程处理时分配数据块
• API分页：处理REST API的分页限制
• 机器学习：批量训练数据分批次输入