首页 > 编程笔记 > Python笔记

机器学习主要流派有哪些?

在人工智能的发展过程中,随着人们对智能的理解和现实问题的解决方法演变,机器学习大致出现了符号主义、贝叶斯、联结主义、进化主义、行为类推主义五大流派。

符号主义

符号主义起源于逻辑学、哲学,实现方法是用符号表示知识,并用规则进行逻辑推理,其中专家系统和知识工程是这一学说的代表性成果。

符号主义流派认为知识是信息符号的表示,是人工智能的基础,将这些符号输入到计算机中进行模拟推理,从而实现人工智能。

贝叶斯派

贝叶斯定理是概率论中的一个定理,其中 P(A|B) 是在事件 B 发生的情况下事件 A 发生的可能性(条件概率)。贝叶斯学习已经被应用于许多领域。例如,自然语言中的情感分类、自动驾驶和垃圾邮件过滤等。

联结主义

联结主义起源于神经科学,主要算法是神经网络,由大量神经元以一定的结构组成。

神经元是一种看起来像树状的细胞,它由细胞体和细胞突起构成,在长的轴突上套有一层鞘,组成神经纤维,它的末端的细小分支叫作神经末梢。每个神经元可以有一或多个树突,可以接受刺激并将兴奋传入细胞体。每个神经元只有一个轴突,可以把兴奋从胞体传送到另一个神经元或其他组织,神经元之间是互相连接的,这样形成了一个大的神经网络,人类所学会的知识几乎都存在其中,如图1所示。

神经元结构
图1:神经元结构

在神经网络中,将 n 个相连接的神经元的输出作为当前神经元的输入,进行加权计算,并加一个偏置值(Bias)之后通过激活函数来实现变换,激活函数的作用是将输出控制在一定的范围以内。以 Sigmoid 函数为例,输入从负无穷到正无穷,经过激活之后映射到(0,1)区间。

人工神经网络是以层(Layer)形式组织起来的,每一层中包含多个神经元,层与层之间通过一定的结构连接起来,对神经网络的训练目的就是要找到网络中各个突触连接的权重和偏置值。

作为一种监督学习算法,神经网络的训练过程是通过不断反馈当前网络计算结果与训练数据之间的误差来修正网络权重,使误差足够小,这就是反向传播算法。

进化主义

1850 年,达尔文发现进化论。在微观上,DNA 是线性串联编码,进化过程是基因交叉、突变的过程。宏观上,进化过程是生物个体适应环境的优胜劣汰过程。

智能要适应不断变化的环境,通过对进化的过程进行建模,产生智能行为。进化算法(Evolutionary Algorithm,EA)是在计算机上模拟进化过程,基于“物竞天择,适者生存”的原则,不断迭代优化,直到找到最佳的结果。

进化算法包括基因编码、种群初始化、交叉变异算子等基本操作,是一种比较成熟的具有广泛适用性的全局优化方法,具有自组织、自适应、自学习的特性,能够有效地处理传统优化算法难以解决的复杂问题(例如NP难优化问题)。

遗传算法的优化要视具体情况进行算法选择,也可以与其他算法相结合,对其进行补充。对于动态数据,用遗传算法求最优解可能会比较困难,种群可能会过早收敛。

行为类推主义

根据约束条件来优化函数,行为类推主义者倾向于通过类比推理获得知识和理论,将未知情况与已知情况建立对应关系,在实际应用中,就是计算它们之间的相似度,然后定义关联关系。

所有教程

优秀文章