阅读主题
核心命题:处理同样的数据,布局、粒度和驻留范围会改变计算与传输成本。
从遍历、对象分配和分块处理比较内存驻留、流式与外部存储;解释局部性、复制、批大小、缓冲和数据移动。用图像、文件和集合处理案例讨论吞吐、峰值内存与响应性的关系。
待写:一个大文件处理器在样例上正常,遇到实际文件却因整批载入而耗尽内存。
逐渐增大输入、不同批大小和分配率下测量峰值及延迟,检查分块边界是否改变结果。
不绑定大数据平台;单任务的数据处理成本在此展开,多任务接收与队列稳定性归容量章。