成果介绍
一种Spark负载访存行为追踪方法，包括：在执行区，在UnsafeShuffleWriter对象的hashcode、第一被访问数据的RDD信息以及ShuffleExternalSorter对象的hashcode之间建立对应关系；获取第一被访问数据的虚拟地址和物理地址的相关信息，并根据UnsafeShuffleWriter对象的hashcode、第一被访问数据的RDD信息以及ShuffleExternalSorter对象的hashcode之间的对应关系，得到第一被访问数据的RDD信息、虚拟地址的相关信息和物理地址的相关信息的对应关系并保存在文件中；在存储区，当对MemoryStore维护的哈希表执行存储或读取操作时，获取存储或读取操作对应的第二被访问数据的RDD信息、虚拟地址的相关信息及物理地址的相关信息，然后将上述三者之间的对应关系保存在文件中。本发明还提供一种Spark负载访存行为追踪装置，可打通Spark、JVM、OS三层，使Spark语义一直延伸到硬件层。
