AI知识图谱:机器学习、深度学习、数据分析、数据挖掘「附脑图」

在本文中,我们将研究深度学习、机器学习、数据分析、数据挖掘之间的差异。我们将逐一了解它们,然后讨论他们在各个方面的不同之处。先看AI知识图谱:

AI知识图谱:机器学习、深度学习、数据分析、数据挖掘「附脑图」

AI知识图谱

深度学习与机器学习发展史

AI知识图谱:机器学习、深度学习、数据分析、数据挖掘「附脑图」

发展史

一、什么是机器学习?

机器学习:抵达AI目标的一条路径

大体来讲,机器学习就是用算法真正解析数据,不断学习,然后对世界中发生的事做出判断和预测。此时,研究人员不会亲手编写软件、确定特殊指令集、然后让程序完成特殊任务,相反,研究人员会用大量数据和算法“训练”机器,让机器学会如何执行任务。

机器学习这个概念是早期的AI研究者提出的,在过去几年里,机器学习出现了许多算法方法,包括决策树算法(Decision trees)、归纳逻辑程序设计、聚类分析(Clustering)、强化学习、贝叶斯网络、Find-S算法、随机森林算法(Random forests)、人工神经网络等。正如大家所知的,没有人真正达到“强人工智能”的终极目标,采用早期机器学习方法,我们连“弱人工智能”的目标也远没有达到。

AI知识图谱:机器学习、深度学习、数据分析、数据挖掘「附脑图」

机器学习

通常,有3种类型的学习算法:

1,监督机器学习算法用于进行预测。此外,该算法搜索分配给数据点的值标签内的模式。

2,无监督机器学习算法:没有标签与数据点相关联。这些ML算法将数据组织成一组簇。此外,它需要描述其结构,使复杂的数据看起来简单,有条理,便于分析。

3,增强机器学习算法:我们使用这些算法来选择动作。此外,我们可以看到它基于每个数据点。一段时间后,算法改变其策略以更好地学习。

二、什么是深度学习?

深度学习:实现机器学习的技术

AI知识图谱:机器学习、深度学习、数据分析、数据挖掘「附脑图」

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本

任何深度神经网络都将包含三种类型的图层:输入层、隐藏层、输出层。我们可以说深度学习是机器学习领域的最新领域。这是实现机器学习的一种方式。

三、数据挖掘

数据挖掘利用各种技术与统计方法,将大量的历史数据,进行整理分析,归纳与整合,是从海量数据中“挖掘”隐藏信息,如趋势、特征及相关的一种过程。工作BI(商业智能)、数据分析、市场运营都可以做这个工作。

AI知识图谱:机器学习、深度学习、数据分析、数据挖掘「附脑图」

数据挖掘

之所以经常和机器学习合在一起讲是因为现在好多数据挖掘的工作是通过机器学习提供的算法工具实现的。例如广告的ctr预估,PB级别的点击日志在通过典型的机器学习流程可以得到一个预估模型,从而提高互联网广告的点击率和回报率;个性化推荐,还是通过机器学习的一些算法分析平台上的各种购买,浏览和收藏日志,得到一个推荐模型,来预测你喜欢的商品。

我们可以把数据挖掘理解为一种类型的工作,或工作中的某种成分,机器学习是帮助完成这个工作的方法。

统计学、数据库和人工智能共同构造了数据挖掘技术的三大支柱,许多成熟的统计方法构成了数据挖掘的核心内容。

四、数据分析

数据分析只是在已定的假设,先验约束上处理原有计算方法,统计方法,将数据转化为信息,而这些信息需要进一步的获得认知,转化为有效的预测和决策,这时就需要数据挖掘,也就是我们数据分析师系统成长之路的“更上一楼”。

AI知识图谱:机器学习、深度学习、数据分析、数据挖掘「附脑图」

数据分析

数据分析是把数据变成信息的工具,数据挖掘是把信息变成认知的工具,如果我们想要从数据中提取一定的规律(即认知)往往需要数据分析和数据挖掘结合使用。

举个例子:你有50块钱,去买菜,经过一一问价,你知道了50块钱能买多少蔬菜,能买多少肉,能吃多少天,心里得出一组信息,这就是数据分析。根据自己的偏好,营养价值,用餐时间计划,最有性价比的组合确定了一个购买方案,这就是数据挖掘。

五、机器学习与深度学习的比较

深度学习与机器学习我们使用机器算法来解析数据,从数据中学习,并根据所学知识做出明智的决策。基本上,深度学习用于创建人工“神经网络” ,可以自己学习和做出明智的决策。我们可以说深度学习是机器学习的一个子领域。

数据依赖性

性能是两种算法之间的主要关键区别。虽然,当数据很小时,深度学习算法表现不佳。这就是是深度学习算法需要大量数据才能完美理解的原因。

AI知识图谱:机器学习、深度学习、数据分析、数据挖掘「附脑图」

但是,在这种情况下,我们可以看到算法的使用以及他们手工制作的规则。上图总结了这一事实。

硬件依赖

通常,深度学习依赖于高端机器,而传统学习依赖于低端机器。因此,深度学习要求包括GPU。这是它工作中不可或缺的一部分。它们还进行大量的矩阵乘法运算。

特色工程

这是一个普遍的过程。在此,领域知识被用于创建特征提取器,以降低数据的复杂性,并使模式更加可见以学习算法的工作。虽然,处理起来非常困难。因此,这是需要非常多的专业知识和时间。

AI知识图谱:机器学习、深度学习、数据分析、数据挖掘「附脑图」

解决问题的方法

通常,我们使用传统算法来解决问题。但是,它需要将问题分解为不同的部分以单独解决它们。要获得结果,请将它们全部组合起来。

例如:让我们假设你有一个多对象检测的任务。在此任务中,我们必须确定对象是什么以及它在图像中的位置。在机器学习方法中,我们必须将问题分为两个步骤:1.物体检测、2.物体识别。

首先,我们使用抓取算法浏览图像并找到所有可能的对象。然后,在所有已识别的对象中,你将使用像SVM和HOG这样的对象识别算法来识别相关对象。

AI知识图谱:机器学习、深度学习、数据分析、数据挖掘「附脑图」

执行时间处理时间

通常,与机器学习相比,深度学习需要更多时间进行训练。主要原因是深度学习算法中有太多参数。机器学习只花需要更少的时间进行训练。

解释性

我们将可解释性作为比较两种学习技巧的因素。尽管如此,深度学习在用于工业之前仍然被认为是10次。

六、数据分析与数据挖掘的比较

数据分析只是在已定的假设,先验约束上处理原有计算方法,统计方法,将数据分析转化为信息,而这些信息需要进一步的获得认知,转化为有效的预测和决策,这时就需要数据挖掘,也就是我们数据分析师系统成长之路的“更上一楼”。

数据挖掘与数据分析两者紧密相连,具有循环递归的关系,数据分析结果需要进一步进行数据挖掘才能指导决策,而数据挖掘进行价值评估的过程也需要调整先验约束而再次进行数据分析。

AI知识图谱:机器学习、深度学习、数据分析、数据挖掘「附脑图」

数据量上:数据分析的数据量可能并不大,而数据挖掘的数据量极大。

约束上:数据分析是从一个假设出发,需要自行建立方程或模型来与假设吻合,而数据挖掘不需要假设,可以自动建立方程。

对象上:数据分析往往是针对数字化的数据,而数据挖掘能够采用不同类型的数据,比如声音,文本等。

结果上:数据分析对结果进行解释,呈现出有效信息,数据挖掘的结果不容易解释,对信息进行价值评估,着眼于预测未来,并提出决策性建议。

七、机器学习和深度学习在哪里应用?

AI知识图谱:机器学习、深度学习、数据分析、数据挖掘「附脑图」

计算机视觉: 我们将其用于车牌识别和面部识别等不同应用。

信息检索: 我们将ML和DL用于搜索引擎,文本搜索和图像搜索等应用程序。

营销:我们在自动电子邮件营销和目标识别中使用这种学习技术。

医疗诊断:它在医学领域也有广泛的应用。癌症鉴定和异常检测等应用。

自然语言处理:适用于情感分析,照片标签,在线广告等应用。

八、数据分析与数据挖掘运用案例:

电信客户分类,船只损坏率分析

电信客户流失预测,房价预测

信用卡逾期客户预测

手机用户市场细分,购物篮分析

Leave a Comment