数据清洗使用Parallel 多线程

一.概述 在开发数据清洗时，ES数据集有600w条，每一条的子对象又有几十条，需要拿到子对象去重后的集合，使用分批提取ES数据，共535批。开始使用List来操作，关键代码如下： var specListAll = new List<SpecInfo>(); for (int i = 0; i <

posted on 2024-03-21 18:09  花阴偷移  阅读(12)  评论(0)  编辑  收藏  举报