最新消息:

机器学习入门-机器学习的不同类型

论文 admin 1070浏览 0评论
机器学习指的是机器通过学习数据,得到技巧的过程。比如,现在需要让机器学习病人判断是否获病。我们可以从目标整体(population)所有人 中抽出用以训练的样本(sample),把这些样本的病人、正常人身体资料作为输入(input),是否患病等讯息作为输出(output)喂给机器,机 器以某种学习算法(training algorithm)对其进行处理,最后获得某种有用的知识(final hypothesis),比如某种根据N个变量的关系判断是否患病的计算公式。我们希望用有效的算法使得这个最终的hypothesis尽量贴近整体的真 实情况。根据这个过程中的几个关键字,可以将机器学习分类成不同类型。

按照输入空间不同:特征学习(feature learning)
按照输出空间不同:二元分类(binary classification),多元分类(multiclass classification),回归问题(regression),结构化预测(structured prediction)
按照输出标记类型不同:监督式学习(supervised learning),非监督式学习(unsupervised learning),半监督式学习(semi-supervised learning),增强式学习(reinforcement learning)。这也是机器学习中最常见的分类
按照学习方法不同:批次学习(Batch Learning),线上学习(Online Learning),主动学习(Active Learning)。

一、特征学习(feature learning)

机器学习中的信息来源——数据变量,可能是以不同的方式提供的。
如果提供的变量,是非常具体的,可以直接使用,比如对判断病人是否得病例子中,提供病人的身高体重性别等身体常规指标,及一些化验结果指标。这样的变量都叫做concrete features,一般由建模者选择出来使用。
相应的,有concrete feature,就有raw/abstract feature。这些征是非常抽象的,需要经过一定地加工,提取特征才能使用,提取特征的过程就叫做特征学习(feature learning), 或者特征工程(feature engineering)。比如在辨识手写数字图片时,我们很少会将这些n*m格的像素各格灰度直接用作变量,输入模型中。我们可能会先对图片通过人脑经 验做些处理,比如提取出左右/上下对称,总笔画浓度等等一些特征;或者借由机器学习的算法提取特征,eg。最近很火的深度学习(deep learning)最简单的说,也是用非监督方式抽取具体特征的一种算法。

二、二元分类、多元分类、回归分析、结构化预测

二元分类(binary classification),目标变量取值只有两种可能性,简单地说就是做判断题,在现实生活中应用非常广泛。银行根据客户资料,判断信用好坏以决定是否发放信用卡/贷款(german credit data);根据邮件内容,判断是否垃圾邮件(spam email);根据病人资料,判断病人是否患癌症(breast cancer)等等。二元分类是机器学习中最基本最核心的问题,许多其他演算法的基础都来自他。

多元分类(Multiclass Classification),简单地说就是做选择题,目标变量是level>1的factor。比如判断某种植物所属科目(iris),评估汽车价值高低(car evaluation)等等。

回归分析(regression analysis)的目标变量是Numeric类型的,取值无限多个点。典型的回归分析问题包括用历史数据做出历年GDP的回归线,用相关变量估计房屋价格(Housing Data Set)等等。

结构化预测(Structured Learning)的目标变量和以上三者都不一样,是一种结构。典型的结构化学习是对一个语言中的分析树(parse tree)。

三、监督式学习、非监督式学习、半监督式学习、强化学习

监督式学习(Supervised Learning)中所有输入,都有输出标签。

非监督式学习(Unsupervised Learning)中没有对应于每个观测的标签。典型的问题是聚类问题(Clustering Analysis)比如对客户分群,我们不知道总共有几个客户类型,更不知道每个客户是属于哪个类型。但是可以根据客户资料将一些属性相似的客户分成一群。

其他非监督式学习还包括密度分析问题(density estimation)比如将犯罪案发比较多的地区标注出来。异常检测(anomaly detection)比如在visa交易过程中将异常情况发现出来。

对监督式学习来说,最后的假说能使预测值越贴近输出标签越好。但是对于非监督式学习就没有那么明确的判断标准了。

半监督式学习(semi-supervised):是监督式学习和非监督式学习的综合,不是所有案例都有标注类型。如果是对input取得很简单,但是对如果取得所有output tag很难或很贵,那么可以采取半监督式学习的方式。

强化学习(Reinforcement Learning) 的输出标签不是直接的对/不对,而是一种奖惩机制。举例来说,训练宠物的时候无法直接告诉它,做出某个手势时想要它干嘛,或者它的反应是对是错。但是可以 通过做对了奖励吃的,做错了就凶它的奖惩方法训练。虽然它还是无法和人直接沟通,不明白手势含义,但是渐渐使宠物能对手势做出正确反应。

四、批次学习、线上学习、主动学习

批次学习(Batch Learning) 把所有资料都直接用于机器学习,比如用所有的点按照OLS拟合出回归线。这是最常见的机器学习方式。
线上学习(Online Learning)中的的online并不是指需要上网,而是指对资料的运用增加一步“更新”的工作。比如用一些图像管理的软件可以帮你识别人脸。软件会一个个问你该面孔对应名字。机器学习到的东西是在一轮轮问题中更新的,每次学习一个观测。之前提到的“增强式学习”异曲同工。
主动学习(Active Learning)比起线上学习更具主动性。主动学习能交互地询问使用者问题,并将获得的结果当做新的数据点。拿之前图像管理的例子来说,主动学习可能会通过算法做出某种图像询问你,该人对应的名字。

机器学习包括的大概类型主要是以上几种了,更多可以参考wiki。如有疏漏请留言。:)

转自:http://iccm.cc/types-of-machine-learning/

转载请注明:jinglingshu的博客 » 机器学习入门-机器学习的不同类型

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址