数据清洗（data cleaning）是从记录集、数据库表或数据库中检测和纠正（或删除）损坏或不准确的记录的过程，是指识别数据的不完整、不正确、不准确或不相关部分，然后替换、修改、或删除脏数据或粗数据

数据清洗

数据清洗（data cleaning）是从记录集、数据库表或数据库中检测和纠正（或删除）损坏或不准确的记录的过程，是指识别数据的不完整、不正确、不准确或不相关部分，然后替换、修改、或删除脏数据或粗数据。数据清洗可以与数据加工工具交互执行，也可以通过脚本进行批处理。

清洗后，一个数据集应该与系统中其他类似的数据集保持一致。 检测到或删除的不一致可能最初是由用户输入错误、传输或存储中的损坏或不同存储中类似实体的不同数据字典定义引起的。 数据清理与数据确认(data validation)的不同之处在于，数据确认几乎总是意味着数据在输入时被系统拒绝，并在输入时执行，而不是执行于批量数据。

数据清洗不仅仅更正错误，同样加强来自各个单独信息系统不同数据间的一致性。专门的数据清洗软件能够自动检测数据文件，更正错误数据，并用全企业一致的格式整合数据。

参阅

• 数据确认
• 驗證及確認

参考资料

1. ^  Wu, S., (PDF), Reliability Engineering and System, 2013, 114: 1–11 [2021-12-31], doi:10.1016/j.ress.2012.12.021, （原始内容存档 (PDF)于2021-11-04）
2. ^  . Sisense. [2021-10-17]. （原始内容存档于2022-01-24） （美国英语）.
3. ^  Kenneth C. Laudon and Jane P. Laudon, 《Management Information Systems》, Pearson, 7 March 2011, Chapter 6 Information systems Organizations and Strategy p.157

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.