关于我们
识别人国籍的方法及装置
成果领域:
推广方式:
成果归属企业: 深圳大学
成果鉴定时间:
成果介绍
本发明实施例提供一种缓存数据迁移方法及装置,涉及计算机领域,该方法包括:当计算区的空闲空间不足以运行由Spark执行引擎调度的子任务时,计算抢占空间的大小,抢占空间的大小为子任务的运行空间的大小减去计算区的空闲空间的大小,统计存储区的空闲空间和有效空间的大小,并判断抢占空间的大小是否大于存储区的空闲空间的大小和存储区的有效空间的大小,当抢占空间的大小大于存储区的空闲空间的大小且不大于存储区的有效空间的大小时,将存储区的缓存数据迁移至二级缓存,迁移至二级缓存的缓存数据的大小为抢占空间的大小减去存储区的空闲空间的大小。该方法及装置避免了部分计算任务的重复操作,保护了Spark执行引擎的性能。
成果应用案例介绍
方法过程>传输方法>数据传输方法
联系方式
电话/微信: 13822630888
0.217707s