数据预处理的主要方法有哪些

发布网友发布时间：2022-03-23 14:39

我来回答

共3个回答

懂视网时间：2022-03-23 19:01

有四种数据预处理技术：

　　1、数据清理。空缺值处理、格式标准化、异常数据清除、错误纠正、重复数据的清除。

　　2、数据集成。将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。

　　3、数据变换。平滑、聚集、规范化、最小最大规范化等。

　　4、数据归约。维归（删除不相关的属性（维））、数据压缩（PCA，LDA，SVD、小波变换）、数值归约（回归和对数线形模型、线形回归、对数线形模型、直方图）。

　　现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量产生了数据预处理技术。数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。主要是达到如下目标：格式标准化，异常数据清除，错误纠正，重复数据的清除。数据挖掘时往往数据量非常大，在少量数据上进行挖掘分析需要很长的时间，数据归约技术可以用来得到数据集的归约表示，它小得多，但仍然接近于保持原数据的完整性，并结果与归约前结果相同或几乎相同。

热心网友时间：2022-03-23 16:09

1.墓于粗糙集( Rough Set)理论的约简方法
粗糙集理论是一种研究不精确、不确定性知识的数学工具。目前受到了KDD的广泛重视，利用粗糙集理论对数据进行处理是一种十分有效的精简数据维数的方法。我们所处理的数据一般存在信息的含糊性(Vagueness)问题。含糊性有三种:术语的模糊性，如高矮;数据的不确定性，如噪声引起的;知识自身的不确定性，如规则的前后件间的依赖关系并不是完全可靠的。在KDD中，对不确定数据和噪声干扰的处理是粗糙集方法的
2.基于概念树的数据浓缩方法
在数据库中，许多属性都是可以进行数据归类，各属性值和概念依据抽象程度不同可以构成一个层次结构，概念的这种层次结构通常称为概念树。概念树一般由领域专家提供，它将各个层次的概念按一般到特殊的顺序排列。
3.信息论思想和普化知识发现
特征知识和分类知识是普化知识的两种主要形式，其算法基本上可以分为两类:数据立方方法和面向属性归纳方法。
普通的基于面向属性归纳方法在归纳属性的选择上有一定的盲目性，在归纳过程中，当供选择的可归纳属性有多个时，通常是随机选取一个进行归纳。事实上，不同的属性归纳次序获得的结果知识可能是不同的，根据信息论最大墒的概念，应该选用一个信息丢失最小的归纳次序。
4.基于统计分析的属性选取方法
我们可以采用统计分析中的一些算法来进行特征属性的选取，比如主成分分析、逐步回归分析、公共因素模型分析等。这些方法的共同特征是，用少量的特征元组去描述高维的原始知识基。
5.遗传算法〔GA, Genetic Algo}thrn})
遗传算法是一种基于生物进化论和分子遗传学的全局随机搜索算法。遗传算法的基本思想是:将问题的可能解按某种形式进行编码，形成染色体。随机选取N个染色体构成初始种群。再根据预定的评价函数对每个染色体计算适应值。选择适应值高的染色体进行复制，通过遗传运算(选择、交叉、变异)来产生一群新的更适应环境的染色体，形成新的种群。这样一代一代不断繁殖进化，最后收敛到一个最适合环境的个体上，从而求得问题的最优解。遗传算法应用的关键是适应度函数的建立和染色体的描述。在实际应用中，通常将它和神经网络方法综合使用。通过遗传算法来搜寻出更重要的变量组合。

热心网友时间：2022-03-23 17:27