模式分析的核方法的前言
发布网友
发布时间：2022-04-28 18:57
共1个回答
热心网友
时间：2022-06-22 22:09
对数据模式的研究与科学研究一样有非常漫长的历史。例如，考虑一下在天文学上取得重大突破的约翰尼斯·开普勒（Johannes Kepler），他阐明了著名的三大行星运动定律，我们可以把这三个定律看做是开普勒从第谷·布拉赫（Tycho Brahe）编纂的大量的观测数据中发现的关系。
同样地，对于自动搜索模式的期望的历史至少与计算一样漫长。人们运用许多科学方法和工程方法，比如统计学、机器学习和数据挖掘等等，已在着手处理这个问题了。
模式分析（pattern analysis）处理的是（自动）检测和辨别数据中的关系这一问题。在模式分析领域，大多数统计方法和机器学习方法都假定，数据以向量形式存在，关系可以被表达成分类规则、回归函数或者聚类结构；人们通常把这些方法统称为“统计模式识别”。“句法模式识别”或者“结构模式识别”则代表了另外一种方法，其目的是从诸如串之类的数据中检测规则，这些规则往往按照语法或等价的抽象形式存在。
模式分析自动化算法的发展，经历了3次*。20世纪60年代，引入了在向量集内检测线性关系的高效算法，并分析了这些算法的计算行为和统计行为。1957年引入的感知机 (Perceptron)算法就是一个例子。如何检测非线性关系这一问题，是那个时候的主要研究目标。尽管如此，开发具有相同效率水平的算法，并且保证该算法得到统计理论的支持，已被证明是一个很困难的目标。
20世纪80年代，模式分析领域经历了一场“非线性*”，几乎同时引入了后向传播多层神经网络算法和高效的决策树学习算法。尽管这些方法用到了启发式算法和不完全统计分析，它们第一次使得检测非线性模式成为可能。非线性*的影响怎么强调都不过分：它激活了诸如数据挖掘和生物信息学的整个领域。然而，这些非线性算法，是建立在梯度下降法或贪心启发式法的基础上，因而受到局部极小化的*。由于没有很好地理解它们在统计上的行为，人们利用这些算法时还经常遇到过度拟合的问题。
模式分析算法发展的第三个阶段发生在20世纪90 年代中期，当时出现了新的被称为基于核的(kernel?based)学习方法的模式分析方法，该方法最终使得研究人员能够高效地分析非线性关系，而这种高效率原先只有线性算法才能够达到。该方法在统计分析方面进一步发展之后，在高维特征空间内也能够达到很高的效率，并且避免了过度拟合的危险。从各种角度，计算的、统计的和概念的角度来看，在这第三个阶段发展起来的非线性模式分析算法，和线性算法一样，高效而富有理论根据。神经网络和决策树中典型的局部极小化问题和过度拟合问题，也已得到解决。同时，这些方法在处理非向量型数据方面非常有效，这样就建立起了和模式分析的其他分支的联系。
基于核的学习方法，首先以支持向量机（Support Vector Machine，SVM）的形式出现，支持向量机是一种用来摆脱上面提到的计算和统计上的困难的分类算法。然而，很快就产生了基于核的算法，它能够解决分类以外的问题。人们越来越清楚地认识到，这种方法引起了模式分析领域的一场*。这里，全部的新工具和新技术，都由严格的理论分析所推动，在计算效率的保证下制造出来或发展起来。
此外，这种方法能够消除不同的模式识别子学科之间存在的差距。它提供了一个统一的框架，来思考和操作各种类型的数据，不管它们是向量、串或更复杂的对象，同时也能够进行多种类型的模式分析，包括相关、排列、聚类等等。
本书概括地介绍了这种新方法。我们试图把一个年轻的、茁壮成长中的研究团队的10年深入研究，浓缩到本书的章节中。该团队的研究者们已经一起创造了一个模式分析方法类，该类已成为从业人员工具箱的一个重要部分。
本书介绍的算法能识别多种关系，从传统的分类和回归问题，到诸如排列和聚类等各种更专门化的问题，到包括主成分分析和典型相关分析的高级技术。而且，每一个模式分析问题，都可以和本书最后一部分论述的核函数库中的一类函数结合起来应用。这就意味着这种分析可以用于多种数据，从标准向量类型，到更复杂的诸如图像和文本文档等对象，到与生物序列、图和语法相关联的高级数据类型。
基于核的分析，对于数学家、科学家和工程师来说，是一个强大的新工具。它提供了非常丰富的方法，可以应用在模式分析、信号处理、句法模式识别和其他模式识别（从样条到神经网络）领域。简而言之，它提供了一个崭新的视角，我们仍然远没有了解它的全部潜力。
本书作者参与了基于核的学习算法的发展，对于这一方法的理论、实现、应用和普及，做出了许多贡献。他们的著作《An Introction to Support Vector Machines》已经被许多大学当做教科书和研究参考书使用。作者也在一个由欧洲委员会（European Commission）资助的工作组的机构中，协助“神经和计算学习（NeuroCOLT）”研究，这个工作组在定义新研究日程和“图像和文本的核方法（KerMIT）”项目中起到了重要作用，而该项目已经应用于文档分析领域。
作者要感谢很多人，他们通过参加讨论、提出建议，或在许多情况下给予了非常详细和富于启发意义的反馈信息，对本书做出了贡献。特别感谢Gert Lanckriet、 Michinari Momma、Kristin Bennett、Tijl DeBie、Roman Rosipal、 Christina Leslie、Craig Saunders、Bernhard Scho··lkopf、 Nicolò Cesa?Bianchi、Peter Bartlett、Colin Campbell、William Noble、 Prabir Burman、Jean?Philippe Vert、Michael Jordan、Manju Pai、Andrea Frome、 Chris Watkins、Juho Rousu、Thore Graepel、Ralf Herbrich和David Hardoon。作者还要感谢欧洲委员会和英国基金理事会EPSRC对他们基于核的学习方法的研究的支持。
Nello Cristianini是加州大学戴维斯分校（UC Davis）统计系的助理教授。Nello要感谢加州大学伯克利分校（UC Berkeley）的计算机科学系和Mike Jordan，感谢他们在2001年～2002年Nello任访问讲师期间对他的款待。他也要感谢麻省理工学院的基于计算机的学习中心（MIT CBLC）和 Tommy Poggio 2002年夏天对他的款待，以及为他提供了理想的环境来写这本书的加州大学戴维斯分校（UC Davis）的统计系。本书的许多结构以Nello在加州大学伯克利分校、戴维斯分校讲授的课程和讲义为基础。
John Shawe?Taylor是南安普顿大学（University of Southampton）的计算科学教授。John要感谢伦敦大学皇家霍洛威学院（Royal Holloway）计算机科学系的同事们。在写作本书的大部分时间，他都在那里工作。
