CorrStorm-X大规模跨组相关性极速分析引擎
描述:一、对实现项目文档具体要求:1.不同计算方法不具有关联性,故不同计算公式可以并行计算以达到加速的目的2.不同的方法中有不同的滞后、领先超参数,同时不同的超参数不具有计算的相关性,所以需要对不同计算方法的超参数进行并行计算以达到加速的目的3.因为在计算不同文件的关联性时,需要对A与B两组文件之间,同时计算两两文件的相关性,A组包含的文件,与B组包含的文件之间均不具有关联性,所以对不同文件计算相关性时可采用多线程计算,以达到加速的目的。假设A数据组共5000个数据文件,B数据组共8000个数据文件,每个数据文件共有4500行左右,要求最后计算相关性时间控制在6小时左右,需要对计算速度有较严格需求。程序需要完全按照描述文档公式进行编写。二、文件说明:1.Excel表格为最终输出格式文件2.word为具体制作描述文档3.名称为“示例数据”压缩包为需要读取的部分源文件三、实现语言:对计算速度有很大要求,故需要并行加速,拟采用py或cpp进行编写调试算力不提供,测试算力提供单卡或双卡4090,需在测试算力环境下达至计算时间要求
类型:远程