贫困户数据清洗措施

⑴ 数据过滤与数据清洗

数据过滤是100000条数据中 通过关键字 或者一定的规则 找到你要的有用的数据保存

你这个在EXCEL 里面叫 提取字符 Midb（A1，5，3） 从第A1开始提取， 五行，提取3位

⑵ 在数据清洗过程中主要进行怎样哪两类处理

输入数据后需要对数据进行预处理，只有处理得当的数据才能进到数据挖掘的步骤。而处理数据包括对数据数量和质量的处理。我按照少—多—乱来整理。

1 对缺失的数据有添补或删除相关行列方法，具体步骤自己判断(如果数据量本来就很少还坚持删除不就作死了是吧)
★添补:常用拉格朗日插值或牛顿插值法，也蛮好理解，属于数理基础知识。(pandas库里自带拉格朗日插值函数，而且这个好处是还可以在插值前对数据进行异常值检测，如果异常那么该数据就也被视为需要进行插值的对象)
★删除:这个也好理解，就是对结果分析没有直接影响的数据删删删爱少少不去管。

2 异常值
这个是否剔除需要视情况而定
★像问题1中视为缺失值重新插值
★删除含有异常值的记录(可能会造成样本量不足，改变原有分布)
★平均值修正(用前后两个观测值平均值)
综上，还是方案一靠谱。
人生苦短，学好python

3 数据量太多，有三种方法:集成，规约，变换
(1)数据是分散的时，这个就是指要从多个分散的数据仓库中抽取数据，此时可能会造成冗余的情况。此时要做的是【数据集成】。
数据集成有两方面内容:
①冗余属性识别②矛盾实体识别
属性:
对于冗余属性个人理解是具有相关性的属性分别从不同的仓库中被调出整合到新表中，而新表中由于属性太多造成冗余，这时可以靠相关性分析来分析属性a和属性b的相关系数，来度量一个属性在多大程度上蕴含另一个属性。(这个用python的pandas库里corr()函数也可以实现)，检测出了再将其删除。
实体:(这个是要靠自己甄别源表，所以源仓库里的实体含义要清楚)
a，同名异义——改名字
b，异名同义——删一个
c，单位不统一—换

(2)数据规约
又包括两方面
属性规约和数量规约
①属性规约:就是减少属性个数或合并旧属性成一个新属性，可以特征子集选择(删除不需要作挖掘的属性)，主成分分析(通过对方差的决定性大小分析并降维)，决策树归纳，向前/向后删除。
具体的如果不了解可以找个实例试一下。

②数量规约:通过选择替代的，较小的数据来减少数据量，包括有参数和无参数。
有参数:建模，并且只需存放模型的参数，例如一些回归模型，用参数来评估数据。
无参数:需要存放实际数据，用图表存放并显示数据，例如用直方图时可把步长设置一定的区间，来衡量区间内的频数，也起到了规约的目的。还有一些聚类(用簇来替换实际数据)。还有抽样(聚类抽样，分层抽样)

⑶ 数据挖掘中的数据清洗

删除重复
空值填充
统一单位
是否标准化处理
删除无必要的变量
逻辑值是否有错误检查
是否需要引入新的计算变量
是否需要排序
是否进行主成分或者因子分析
等等，还有很多

⑷ 贫困户数据清洗会议记录

贫困户户那个数据清洗回顾回忆，我们在这儿会有苹果手机的话，就在政府都有相关的报备，如果你是贫困户的话，你就会有将相当的就在那个我听过补贴。

⑸ 什么是数据清洗

数据清洗，就是把一些杂乱无章的，和不可用的数据清理掉，留下正常的可用数据。

⑹ 什么是数据清洗

对建档立卡系统内贫困户信息数据进行核实与修正，错误项 修改，缺失项补充、存在逻辑关系错误的纠正，达到贫困户信息数据真实和准确。

⑺ 数据清洗的主要类型

对于这一类数据——特别是维表中会出现这种情况——将重复数据记录的所版有字段导出来，让客权户确认并整理。
数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题，解决问题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写入Excel文件或者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位发送过滤数据的邮件，促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉，对于每个过滤规则认真进行验证，并要用户确认。