大数据治理中数据清洗方法的思考

陈世鹏

《文渊(中学版)》 2020年07期

北京锐安科技有限公司 北京 100000

在各类大数据项目中,数据清洗是数据挖掘和应用的重要保障.脏数据会导致不可靠输出,如何高效去掉脏数据、提升数据质量、对异常数据进行修复是数据治理运营的重要环节.本文通过对数据质量问题及数据清洗方法的分析与总结,提出基于NLP算法对某类大数据行业的数据进行清洗和质量提升的方法.

数据清洗%NLP%数据质量%数据挖掘