一、协程 vs 线程 | 维度 | 线程 | 协程 | | --- | --- | --- | | 切换成本 | 内核态，微秒级 | 用户态，纳秒级 | | 并发数 | 数百 | 数万 | | 数据共享 | 需加锁 | 单线程无需锁 | | 适用场景 | 混合任务 | 纯 IO 密集 | 二、最简示...

1. 用向量化替代 apply 2. 用 query 简化布尔索引 3. 用 category 类型省内存 4. 分块读取大文件 5. 指定 dtype 减少内存 6. 用 map 做字典映射 7. groupby + agg 一次聚合多列 8. 用 merge 时注意索引 9. 避免链式赋值 10...

一、框架整体设计 一个最小可用的爬虫框架需要五个模块： Scheduler：URL 调度与去重Downloader：发送 HTTP 请求Parser：解析响应内容Pipeline：数据持久化Engine：驱动整个流程 二、核心代码 三、引擎与并发 四、使用示例 五、可优化方向 用 asyncio +...

## 1. 用向量化替代 apply ## 2. 用 query 简化布尔索引 ## 3. 用 category 类型省内存 ## 4. 分块读取大文件 ## 5. 指定 dtype 减少内存 ## 6. 用 map 做字典映射 ## 7. groupby + agg 一次聚合多列 ## 8. 用 ...