当前位置:大数据业界动态 → 正文

刘宇:DNN与融合通信

责任编辑:徐振 |来源:企业网D1Net  2014-09-16 17:06:50 原创文章 企业网D1Net

2014EAS政企应用高峰论坛系列之UC与音视频融合通信高峰论坛中,原傲威总裁刘宇分享了数据价值、神经元网络算法以及融合通信发展趋势等前沿观点。

刘宇:我曾在通信行业干了十几年,然后退出通信界这三年。实际上这三年我的感受最深。首先开始今天的演讲。

数据的价值是数据研究的核心

 “大数据”这个概念。应该说全中国或者全世界都在炒大数据这个概念,实际上我自己觉得,其实大数据在今天,对于企业应用来说,我个人觉得大数据更多误区现在已经使得大数据整个的发展,在很多产业的思考中,发生了偏离。所以我想先做一个纠正,这是我的看法,大家可以有不同的看法:

第一个不是所有的企业都需要大数据,我们今天看到的大数据,大多数都采用的是非结构化的数据。

而我们是不是真的需要那么多的非结构化的数据呢?其实不一定,真正的数据的大小,不体现在它的价值,而真正本身的数据的价值才是它的价值的核心。

我想今天讲的不是数据的本身,而是这两年发展最多的是分析数据的方法,我们讲“算法”,这里插一句嘴,我在做企业的时候,说实话我一直挺惧怕算法,都没敢搞算法这样的东西,比如说我们以前做的云压缩的算法,那都是以色列的,咱们得花钱买,从来没有想到自己搞一个很牛的高大上的算法,不敢。但我想,今天如果说,我们在大数据这个领域,如果我们再不去玩算法的话,我觉得我们将失去太多的机会。今天听到很多的演讲,他们比较细,比较落地,而我则希望给大家开个眼,开另外一个思路,我希望做到即深入又有高度。

算法是数据分析的基础

算法本身,就是我下面要说的。

所以我对企业有一个建议,我觉得更多是应该关注小数据。关注你自己已有的结构化数据,那是你的金山。是高质量的数据,然后关注算法本身。

今天我在讲的是深入学习的算法,也就是我们涉及的领域也就是AI,也就是人工智能,人工智能上世纪20年代开始一直发生到现在,应该说它的技术浩如烟海,有各种各样的算法,各种各样的技术,我没干企业这几年我干吗呢?我就学,学了很多东西,但真正让我找到主线的是这套东西。我想告诉大家,为什么大数据现在这么热,为什么现在有很多的突破,为什么在今天,在算法上到底有什么突破?接下来可能会对大家有点压力,因为我讲的是算法本身,而且是今天最主流的真正有突破的,对未来影响深远的算法本身。

我想说的第一观点,算法并不神秘,以前我觉得挺神秘,反正我不敢干,出来看看这些东西,我觉得咱们不是科学家,咱们是用算法的,我们是可以去用算法的,我们就去用吧。于是我们得知道,现在到底是什么算法最牛,最有机会呢?最有希望呢?神经网络。

神经网络的历史。大概有三个阶段。

第一个神经网络的起源,第二个神经网络的进展,第三个是神经网络的突破。

大家可以看到这个时间,1940年提出来,1968年有进展,1968年,应该是我出身那一年,而到2006年才有突破,才真正的能实用化,离今天几年?八年时间。而八年的时间,是理论的突破,到它的产业界是很漫长的过程,因为大家都不知道那个时候能干什么。

我给大家讲一下,第一个起源:MP。

MP这个算法很简单,我提醒大家注意的就是一点,这是一个心理学家W.McCulloch和数学家W.Pitts,他们名字的缩写。

它非常简单。神经元是什么?是受到一个刺激,然后对这个刺激做出反应。基于这样的逻辑,他们就写了一个非常简单的工具,就是下面的这个公式,输入乘上一个参数再加上输入乘上一个参数,就是这样一个简单的公式到今天我们仍然在用,而且它是未来突破的基础。所以在这以后,几年时间里面,一直在这个基础上,业界有所发展。

但是到了1969年,有一个叫Marrin  Minsky的科学家写了一本书,《感知器》,他对未来感到迷茫,因为那些参数怎么去找到?数学界一直没有发现办法,不知道怎么去设定那个参数,那个参数怎么算都不知道。所以说带来了一个问题,未来无法去使用。神经网络就进入了低潮。这一低潮低了多少年?将近二十年。

神经网络算法的突破

到了1986年出现了两个人,他们提出了一种算法,这种算法,目的就是算那个参数。他们有办法了,这两个人他们今天是在业界非常牛的两个人。

这是一个里程碑。他们的名字是,David和Geoffrey。这个算法叫反向传播,我给大家解释一下反向传播,这是神经网络连接方式的一个图,最左边是输入,中间是地是参数的那些节点,后面是输出,我给大家演示一下,它是怎么反向传播的。这是在80年代末期的一个科学家,我查了很久不知道这个科学家是叫什么名字,他做了一个视频,大家可以听一下。

“学习说话”(播放视频)

它会不断尝试发音,随着时间延续会越来越好,基于神经网络读取字母。

神经网络尝试说出短语,进行一种随机化的发音尝试。“奶奶的房子”,猜测发音和标准发音之间的差异,会被反馈回去,通过神经网络。奶奶的房子。通过在每次尝试之后,调整连接强度,网络会逐渐改进,最终通过一整晚的训练,第二天早晨,它的发音变成了这样,“奶奶的房子”,我愿意去奶奶的房子看她。因为她会给我们糖,并且我们……

说实话我为了做个PPT花了很多时间,这个地方,我再放一遍,大家看看,一个算法能够说话,很奇怪。203个深神经元。就这么简单的东西能够做出这么奇怪的结果。

刚刚注意到两个波形在叠加的时候有一个差异,那个差异叫误差。网络回传回去。它通过那个调整把误差反回去,这叫回传,把误差回传以后,这就做了一件事,能做到对参数的调整和计算,不断的调整使得误差越来越小,越来越小,最后变成了一个神经网络。接下来,所有的语言的说话的方式,也非常容易。而且它的计算量很小,在实际上产生的情况下。

我想说,这给我们一种什么样的启迪呢?——我们发现一个非常简单的一种数学结构,一种数学的方式,它能够干出使人们吃惊的事情,那对于世界的影响太大。

接下来另外一个事件。

 这个是实验室做的一个手写数字输入识别,我给大家看的是什么?看神经网络的特性。

这个数字一旦显示了,在上面的地方就识别出来的东西。下面是出现的摄象头摄像下来的图形。我想告诉大家,作为一个计算机要识别一个图形来说实际上很困难,而这个困难用神经网络的识别,它的精度非常大。而且你们可以从后面看到,算法对于噪声干扰的健壮性非常强。在这样的干扰情况下也能够正常识别,这跟人脑的情况是一样的。当我第一次看到这样一个视频的时候,坦率地说我很吃惊,我很惊讶。这是在什么时候呢?这是从1986年,到1999年的时间的状况。人工智能学习,神经网络的学习的成长状况。

但我刚刚说了,这段时间,这个软件,被刚才那两个哥们儿干了多少年呢?接近二十年,才干到了这样一个东西。这个东西效果非常好,但它只能应用于小型的,小图形的简单的识别,大的做不了,为什么做不了?

BP的核心价值,我之前已经说过了。我接下来讲讲为什么它做不了,因为它一旦大了以后,它的回传就很容易出现“误差扩散”。也就是你有多层的话,你要实验大型的识别的话,那么它需要的神经网络非常大,而且有很多层,你越多层的话,会出现的误差传回去越传越小,叫误差扩散。第二个问题,是什么呢?它其实容易拟合,作为一个神经网络我要识别你们,谁是男的谁是女的,对我来说是很容易的事情,但如果我给他的特征是什么?是说穿白衣服的和穿黑衣服的?比如,告诉我穿白衣服的,这个人是男的,那个黑衣服的人是女的,没有告诉他特别的特征。

总之,就告诉他不是很清楚的特征,给了他一大堆的特征,这么一大堆的特征,我拿这样的数据来训练我的网络出来的结果是什么?很容易找到另外一种非正常常规的规律,这就叫过拟合。

于是乎这二十年他们又在学习,又在研究,数学界,数学界不只在神经网络上这条路走,他们还走了很多路,SVMN、BOST......反正大量的算法在做。但都是有一点点提高,一点点提高。

到了2006年,一个前面那个老头,叫做BP的老头,做回传算法的老头,我叫他黑洞。他叫Hinton,他坚持了二十年,他干吗?就是做这个神经网络,他没有做其他的算法,他一直专注于神经网络的研究。他突破了,其中包括下面的LeCun,还有Bengio,新的神经网络做了什么?其实做了一件非常简单的事情,在理论上非常简单的事情。就是说我们知道,我们的学习是有一个目标结果的,有结果了,就是说这个是男的还是女的,然后通过这样的一种方式去跟结果做一个函数匹配,在数学上是泛函数,这是自动编码机,我拿到在座每个人可能有100项的特征参数,包括你是多高、多瘦,然后你穿什么衣服,然后我会通过反向编码的方式,使得我尽量编出来的编码像原来的东西。

给一个解释,大家知道,经典723吗?是一个编码算法,它有一个码本,其实经典723不是以色列人发明的,是一个俄罗斯人发明的,他经过很多的研究发现:人类说话,他总是能够描述为某几种特征值,然后找到一堆这样的特征值,然后这样的特征清楚了,然后我给他编上号,123456789,然后编了一个码本,压缩的时候就把特征值取出来,传输的时候就拿特征值传过来,解码的时候直接播放。这就是编解码,自动的编码——这个DNN诞生使得整个技术的发展,使得整个理论的发展,突破了以前所有的进步,记得这是2006年,也就是8年前。发表这篇文章时没有人关心它,每个Paper在全世界的科学杂志上发表多了去了,为什么它就牛呢?

这是我总结的,一方面,它有多层神经网络,这种多层神经网络,具有优异的特征学习能力。我会发现什么是真正的特征。比如说我要识别一个人是男的是女的,我知道用什么样的特征。那就很清楚了,我不能用衣服穿什么颜色作为特征。另一方面,它使得多层神经网络训练成为可能,我们前面说多层会有误差扩散。而它有自动编码以后,使得它每层独立的去初始化,去培训,去学习,使得多层成为可能。一旦多层成为可能,就有突破了。

于是有了“突破”。

大家最近听到微软一些消息出来,这个是2012年,谷歌做了一个实验,它叫“谷歌大脑”它用一个神经网络,去一千多万张Youtube的照片里面去学习猫,事先没有给它任何知识,没有去给它说任何特征,只是让它自己总结。它是不是长眼睛,是不是有耳朵,都是自己去学习。这个神经网络,在下面是它的整个学习的过程,通过一千万照片,他学出来了,他认识了,而且同时,它认出了很多物种。而这些物种的准确率,提高了7成。这个实验仅仅是一个实验,坦率地说没有特别大的优化,没有经过工业上更厉害的东西加成。它就做到了。

刚才说的是2012年,那么2014年出了什么结果?所以说接下来就说说第一个“深度脸”,FaceBook干的。FaceBook做了一个“深度脸”,干吗呢?所有的人脸的区别的目的就是告诉你说,这两个人是不是一个人,就很简单这么一个东西。关键的问题是通过它的学习,通过人脸识别的技术达到的准确率是99%,超过了人类。我要解释一下,人类是97.5%。但这是没有经过训练的数值,没有经过真正的培训,告诉你这个人你要注意看什么地方,怎么识别这个脸,如果是专业的侦探会更厉害,我们机器的学习的过程是不是就像人的学习过程?前面说到了我们在学一个语言,我在说一句话,说的不对,我重新再说一遍,我大脑里面调整,不断的学。于是乎,就有了今天99%的识别,整个计算机界,整个IT有一双眼睛,能够看得懂东西,它能区别。

 

前两天我打了一场球发现我腰椎间盘突出,医院给我的CT的照片,我当时一想,这个CT照片,我能不能找一个网站丢进去看看我有没有病呢?

今天早上我来之前发现,百度在三天前,发布了一个深度学习的成果:你可以对你的皮肤病进行手机拍照,它帮你去做识别,成功率是多少?93%。准确率远超过所有的人工的判断。当然,解释一下,它只对8种皮肤病做判断。

我想说,这是现状而已。

语音识别。大家可以看到这是语音识别的一张图。NIST是美国工业标准的一个机构,我非常欣赏他们有这样一个机构,为什么?他们把所有做实验的数据,全部在上面标准的,你们谁做的更好,你直接可以从其数据中判断出来。

这是微软的图,微软在语音识别上最牛。微软从什么时候开始的,2009年,他们干的很棒,错误率一下子就下来了,越低。我刚刚讲的Hindun今天人在谷歌,LeCun也在谷歌,而Beingo则坚持学术。我们今天是不是才关注这个学科是不是很晚了?其实一点都不晚,它就这两年刚刚突破,全世界都在琢磨,搞了几十年都没有成功,就这两年突破了。而且应该说从2010年才开始大规模投入干这事。所以一点都不晚。在我的感觉里面,这次浪潮就像我感觉到的2000年的时候互联网。它的影响会非常大的巨大。

企业更应该做好小数据

回到小数据问题,我更多的说一下我们现在该做一些什么事,我们要该做什么呢?

其实我想刚刚说了我们需要挖掘金矿,但我们真的不一定需要大数据,我们不一定非要需要那么多的大数据,像百度那样像Google那样,我们完全可以对自身的数据进行挖掘,你们要知道那个方法,大家来之前很多人都知道BI,但你们知道吗?BI在这么多年,都用的是传统的技术。像SVN这样的技术,传统的技术用在上面,而真正的技术却没有用到数据挖掘上面,因为太晚了,太新了。商业上面我更为一定要关注自己企业现有的数据,那些结构化的数据,是我们已经经过思考,并且认证它是对的,那是高质量的数据。所以我们一定要关注自己,而且对我的企业的针对性更强。我去拿了一大堆的数据,就算是再高质量也没用,我们应该去对自己的自身数据进行理解。其实。在此之前,我们真的没有读懂数据里面的内容。尿布与啤酒的故事,我不知道大家是否知道这样的故事,这是BI里面拿来说事拿来讲故事的,就是有人在超市发现,爸爸去超市买尿片的时候,总会买啤酒。最后发现,把他们俩放在一块儿,然后就卖的更好,这是BI的一种东西。

当然同时也有其他的这种BI,比如说信用卡的用户分析,类似的传统统计方法太多了,但是今天有了新的东西,我们可以挖掘出更多新的方法。

所以我更认为,我们应该去做小数据。

前天组办方让我来讲这个融合通信的时候,我都忘了它是个什么东西了。然后我就去查了一下,说融合通信得跟计算机结合起来,我当时第一感觉这不是废话吗?肯定得跟计算机结合在一起。

就融合通信,我想讲一下未来吧。我认为应该叫融合信息,首先是发生在信息这方面。再接下来我认为叫做交流。我觉得这个交流跟融合没有关系,本来就得融合,你不融合不行。我觉得是交流。再接下来是智能交流。对这个东西我有点担忧,智能交流,我有点害怕。

比如做Call  Center的,做会议的,你们都应该可以做智能call  Center。因为可以识别客户的通话,你将可以智能的识别出他在说什么,能够自动产生语言,就应该自动能够回答。

智能聊天:“小冰”。大家都知道小冰,当然小冰的东西做的确实不怎么好,以前她在微信上聊天,现在微信号关了,现在在微博上聊天,智能聊天。我在微信上我准备做一个小虎,跟小冰谈恋爱,我想他们有可能会把整个互联网谈瘫了。

智能宣传“智能文稿”。现在已经能够做到智能文稿,就是说新闻这样的文稿,现在已经不用人来写了,直接就神经网络去写。这种是现实的吗?这是真事,我只是没有放实际上是哪家做出了。有了智能宣传以后,后面我就不敢写了。我觉得可以智能洗脑。这有点可怕,所以我不敢写了,大家自己去看。

对前景怎么看?

第一个词,“深度学习”,它现在是世界十大通用技术之首。“通用技术”,不是专用技术,通用技术,哪个领域都能用,生物界能用,医疗界能用,什么都可以用,这是麻省理工学院提出来的。第二个词“第三次产业革命”。是习大大说的,不是我说的。当然,大家会问你的看法呢?其实我没有什么看法,我就知道两件事,第一“她会学习”她现在确实会学习了,而且不怕累。你注意,我用的是“她”,以后大家看到这个句要当心点。第二个“她不会死”。每个人的知识,都是有限的。谢谢大家。

关键字:融合通信

原创文章 企业网D1Net

x 刘宇:DNN与融合通信 扫一扫
分享本文到朋友圈
当前位置:大数据业界动态 → 正文

刘宇:DNN与融合通信

责任编辑:徐振 |来源:企业网D1Net  2014-09-16 17:06:50 原创文章 企业网D1Net

2014EAS政企应用高峰论坛系列之UC与音视频融合通信高峰论坛中,原傲威总裁刘宇分享了数据价值、神经元网络算法以及融合通信发展趋势等前沿观点。

刘宇:我曾在通信行业干了十几年,然后退出通信界这三年。实际上这三年我的感受最深。首先开始今天的演讲。

数据的价值是数据研究的核心

 “大数据”这个概念。应该说全中国或者全世界都在炒大数据这个概念,实际上我自己觉得,其实大数据在今天,对于企业应用来说,我个人觉得大数据更多误区现在已经使得大数据整个的发展,在很多产业的思考中,发生了偏离。所以我想先做一个纠正,这是我的看法,大家可以有不同的看法:

第一个不是所有的企业都需要大数据,我们今天看到的大数据,大多数都采用的是非结构化的数据。

而我们是不是真的需要那么多的非结构化的数据呢?其实不一定,真正的数据的大小,不体现在它的价值,而真正本身的数据的价值才是它的价值的核心。

我想今天讲的不是数据的本身,而是这两年发展最多的是分析数据的方法,我们讲“算法”,这里插一句嘴,我在做企业的时候,说实话我一直挺惧怕算法,都没敢搞算法这样的东西,比如说我们以前做的云压缩的算法,那都是以色列的,咱们得花钱买,从来没有想到自己搞一个很牛的高大上的算法,不敢。但我想,今天如果说,我们在大数据这个领域,如果我们再不去玩算法的话,我觉得我们将失去太多的机会。今天听到很多的演讲,他们比较细,比较落地,而我则希望给大家开个眼,开另外一个思路,我希望做到即深入又有高度。

算法是数据分析的基础

算法本身,就是我下面要说的。

所以我对企业有一个建议,我觉得更多是应该关注小数据。关注你自己已有的结构化数据,那是你的金山。是高质量的数据,然后关注算法本身。

今天我在讲的是深入学习的算法,也就是我们涉及的领域也就是AI,也就是人工智能,人工智能上世纪20年代开始一直发生到现在,应该说它的技术浩如烟海,有各种各样的算法,各种各样的技术,我没干企业这几年我干吗呢?我就学,学了很多东西,但真正让我找到主线的是这套东西。我想告诉大家,为什么大数据现在这么热,为什么现在有很多的突破,为什么在今天,在算法上到底有什么突破?接下来可能会对大家有点压力,因为我讲的是算法本身,而且是今天最主流的真正有突破的,对未来影响深远的算法本身。

我想说的第一观点,算法并不神秘,以前我觉得挺神秘,反正我不敢干,出来看看这些东西,我觉得咱们不是科学家,咱们是用算法的,我们是可以去用算法的,我们就去用吧。于是我们得知道,现在到底是什么算法最牛,最有机会呢?最有希望呢?神经网络。

神经网络的历史。大概有三个阶段。

第一个神经网络的起源,第二个神经网络的进展,第三个是神经网络的突破。

大家可以看到这个时间,1940年提出来,1968年有进展,1968年,应该是我出身那一年,而到2006年才有突破,才真正的能实用化,离今天几年?八年时间。而八年的时间,是理论的突破,到它的产业界是很漫长的过程,因为大家都不知道那个时候能干什么。

我给大家讲一下,第一个起源:MP。

MP这个算法很简单,我提醒大家注意的就是一点,这是一个心理学家W.McCulloch和数学家W.Pitts,他们名字的缩写。

它非常简单。神经元是什么?是受到一个刺激,然后对这个刺激做出反应。基于这样的逻辑,他们就写了一个非常简单的工具,就是下面的这个公式,输入乘上一个参数再加上输入乘上一个参数,就是这样一个简单的公式到今天我们仍然在用,而且它是未来突破的基础。所以在这以后,几年时间里面,一直在这个基础上,业界有所发展。

但是到了1969年,有一个叫Marrin  Minsky的科学家写了一本书,《感知器》,他对未来感到迷茫,因为那些参数怎么去找到?数学界一直没有发现办法,不知道怎么去设定那个参数,那个参数怎么算都不知道。所以说带来了一个问题,未来无法去使用。神经网络就进入了低潮。这一低潮低了多少年?将近二十年。

神经网络算法的突破

到了1986年出现了两个人,他们提出了一种算法,这种算法,目的就是算那个参数。他们有办法了,这两个人他们今天是在业界非常牛的两个人。

这是一个里程碑。他们的名字是,David和Geoffrey。这个算法叫反向传播,我给大家解释一下反向传播,这是神经网络连接方式的一个图,最左边是输入,中间是地是参数的那些节点,后面是输出,我给大家演示一下,它是怎么反向传播的。这是在80年代末期的一个科学家,我查了很久不知道这个科学家是叫什么名字,他做了一个视频,大家可以听一下。

“学习说话”(播放视频)

它会不断尝试发音,随着时间延续会越来越好,基于神经网络读取字母。

神经网络尝试说出短语,进行一种随机化的发音尝试。“奶奶的房子”,猜测发音和标准发音之间的差异,会被反馈回去,通过神经网络。奶奶的房子。通过在每次尝试之后,调整连接强度,网络会逐渐改进,最终通过一整晚的训练,第二天早晨,它的发音变成了这样,“奶奶的房子”,我愿意去奶奶的房子看她。因为她会给我们糖,并且我们……

说实话我为了做个PPT花了很多时间,这个地方,我再放一遍,大家看看,一个算法能够说话,很奇怪。203个深神经元。就这么简单的东西能够做出这么奇怪的结果。

刚刚注意到两个波形在叠加的时候有一个差异,那个差异叫误差。网络回传回去。它通过那个调整把误差反回去,这叫回传,把误差回传以后,这就做了一件事,能做到对参数的调整和计算,不断的调整使得误差越来越小,越来越小,最后变成了一个神经网络。接下来,所有的语言的说话的方式,也非常容易。而且它的计算量很小,在实际上产生的情况下。

我想说,这给我们一种什么样的启迪呢?——我们发现一个非常简单的一种数学结构,一种数学的方式,它能够干出使人们吃惊的事情,那对于世界的影响太大。

接下来另外一个事件。

 这个是实验室做的一个手写数字输入识别,我给大家看的是什么?看神经网络的特性。

这个数字一旦显示了,在上面的地方就识别出来的东西。下面是出现的摄象头摄像下来的图形。我想告诉大家,作为一个计算机要识别一个图形来说实际上很困难,而这个困难用神经网络的识别,它的精度非常大。而且你们可以从后面看到,算法对于噪声干扰的健壮性非常强。在这样的干扰情况下也能够正常识别,这跟人脑的情况是一样的。当我第一次看到这样一个视频的时候,坦率地说我很吃惊,我很惊讶。这是在什么时候呢?这是从1986年,到1999年的时间的状况。人工智能学习,神经网络的学习的成长状况。

但我刚刚说了,这段时间,这个软件,被刚才那两个哥们儿干了多少年呢?接近二十年,才干到了这样一个东西。这个东西效果非常好,但它只能应用于小型的,小图形的简单的识别,大的做不了,为什么做不了?

BP的核心价值,我之前已经说过了。我接下来讲讲为什么它做不了,因为它一旦大了以后,它的回传就很容易出现“误差扩散”。也就是你有多层的话,你要实验大型的识别的话,那么它需要的神经网络非常大,而且有很多层,你越多层的话,会出现的误差传回去越传越小,叫误差扩散。第二个问题,是什么呢?它其实容易拟合,作为一个神经网络我要识别你们,谁是男的谁是女的,对我来说是很容易的事情,但如果我给他的特征是什么?是说穿白衣服的和穿黑衣服的?比如,告诉我穿白衣服的,这个人是男的,那个黑衣服的人是女的,没有告诉他特别的特征。

总之,就告诉他不是很清楚的特征,给了他一大堆的特征,这么一大堆的特征,我拿这样的数据来训练我的网络出来的结果是什么?很容易找到另外一种非正常常规的规律,这就叫过拟合。

于是乎这二十年他们又在学习,又在研究,数学界,数学界不只在神经网络上这条路走,他们还走了很多路,SVMN、BOST......反正大量的算法在做。但都是有一点点提高,一点点提高。

到了2006年,一个前面那个老头,叫做BP的老头,做回传算法的老头,我叫他黑洞。他叫Hinton,他坚持了二十年,他干吗?就是做这个神经网络,他没有做其他的算法,他一直专注于神经网络的研究。他突破了,其中包括下面的LeCun,还有Bengio,新的神经网络做了什么?其实做了一件非常简单的事情,在理论上非常简单的事情。就是说我们知道,我们的学习是有一个目标结果的,有结果了,就是说这个是男的还是女的,然后通过这样的一种方式去跟结果做一个函数匹配,在数学上是泛函数,这是自动编码机,我拿到在座每个人可能有100项的特征参数,包括你是多高、多瘦,然后你穿什么衣服,然后我会通过反向编码的方式,使得我尽量编出来的编码像原来的东西。

给一个解释,大家知道,经典723吗?是一个编码算法,它有一个码本,其实经典723不是以色列人发明的,是一个俄罗斯人发明的,他经过很多的研究发现:人类说话,他总是能够描述为某几种特征值,然后找到一堆这样的特征值,然后这样的特征清楚了,然后我给他编上号,123456789,然后编了一个码本,压缩的时候就把特征值取出来,传输的时候就拿特征值传过来,解码的时候直接播放。这就是编解码,自动的编码——这个DNN诞生使得整个技术的发展,使得整个理论的发展,突破了以前所有的进步,记得这是2006年,也就是8年前。发表这篇文章时没有人关心它,每个Paper在全世界的科学杂志上发表多了去了,为什么它就牛呢?

这是我总结的,一方面,它有多层神经网络,这种多层神经网络,具有优异的特征学习能力。我会发现什么是真正的特征。比如说我要识别一个人是男的是女的,我知道用什么样的特征。那就很清楚了,我不能用衣服穿什么颜色作为特征。另一方面,它使得多层神经网络训练成为可能,我们前面说多层会有误差扩散。而它有自动编码以后,使得它每层独立的去初始化,去培训,去学习,使得多层成为可能。一旦多层成为可能,就有突破了。

于是有了“突破”。

大家最近听到微软一些消息出来,这个是2012年,谷歌做了一个实验,它叫“谷歌大脑”它用一个神经网络,去一千多万张Youtube的照片里面去学习猫,事先没有给它任何知识,没有去给它说任何特征,只是让它自己总结。它是不是长眼睛,是不是有耳朵,都是自己去学习。这个神经网络,在下面是它的整个学习的过程,通过一千万照片,他学出来了,他认识了,而且同时,它认出了很多物种。而这些物种的准确率,提高了7成。这个实验仅仅是一个实验,坦率地说没有特别大的优化,没有经过工业上更厉害的东西加成。它就做到了。

刚才说的是2012年,那么2014年出了什么结果?所以说接下来就说说第一个“深度脸”,FaceBook干的。FaceBook做了一个“深度脸”,干吗呢?所有的人脸的区别的目的就是告诉你说,这两个人是不是一个人,就很简单这么一个东西。关键的问题是通过它的学习,通过人脸识别的技术达到的准确率是99%,超过了人类。我要解释一下,人类是97.5%。但这是没有经过训练的数值,没有经过真正的培训,告诉你这个人你要注意看什么地方,怎么识别这个脸,如果是专业的侦探会更厉害,我们机器的学习的过程是不是就像人的学习过程?前面说到了我们在学一个语言,我在说一句话,说的不对,我重新再说一遍,我大脑里面调整,不断的学。于是乎,就有了今天99%的识别,整个计算机界,整个IT有一双眼睛,能够看得懂东西,它能区别。

 

前两天我打了一场球发现我腰椎间盘突出,医院给我的CT的照片,我当时一想,这个CT照片,我能不能找一个网站丢进去看看我有没有病呢?

今天早上我来之前发现,百度在三天前,发布了一个深度学习的成果:你可以对你的皮肤病进行手机拍照,它帮你去做识别,成功率是多少?93%。准确率远超过所有的人工的判断。当然,解释一下,它只对8种皮肤病做判断。

我想说,这是现状而已。

语音识别。大家可以看到这是语音识别的一张图。NIST是美国工业标准的一个机构,我非常欣赏他们有这样一个机构,为什么?他们把所有做实验的数据,全部在上面标准的,你们谁做的更好,你直接可以从其数据中判断出来。

这是微软的图,微软在语音识别上最牛。微软从什么时候开始的,2009年,他们干的很棒,错误率一下子就下来了,越低。我刚刚讲的Hindun今天人在谷歌,LeCun也在谷歌,而Beingo则坚持学术。我们今天是不是才关注这个学科是不是很晚了?其实一点都不晚,它就这两年刚刚突破,全世界都在琢磨,搞了几十年都没有成功,就这两年突破了。而且应该说从2010年才开始大规模投入干这事。所以一点都不晚。在我的感觉里面,这次浪潮就像我感觉到的2000年的时候互联网。它的影响会非常大的巨大。

企业更应该做好小数据

回到小数据问题,我更多的说一下我们现在该做一些什么事,我们要该做什么呢?

其实我想刚刚说了我们需要挖掘金矿,但我们真的不一定需要大数据,我们不一定非要需要那么多的大数据,像百度那样像Google那样,我们完全可以对自身的数据进行挖掘,你们要知道那个方法,大家来之前很多人都知道BI,但你们知道吗?BI在这么多年,都用的是传统的技术。像SVN这样的技术,传统的技术用在上面,而真正的技术却没有用到数据挖掘上面,因为太晚了,太新了。商业上面我更为一定要关注自己企业现有的数据,那些结构化的数据,是我们已经经过思考,并且认证它是对的,那是高质量的数据。所以我们一定要关注自己,而且对我的企业的针对性更强。我去拿了一大堆的数据,就算是再高质量也没用,我们应该去对自己的自身数据进行理解。其实。在此之前,我们真的没有读懂数据里面的内容。尿布与啤酒的故事,我不知道大家是否知道这样的故事,这是BI里面拿来说事拿来讲故事的,就是有人在超市发现,爸爸去超市买尿片的时候,总会买啤酒。最后发现,把他们俩放在一块儿,然后就卖的更好,这是BI的一种东西。

当然同时也有其他的这种BI,比如说信用卡的用户分析,类似的传统统计方法太多了,但是今天有了新的东西,我们可以挖掘出更多新的方法。

所以我更认为,我们应该去做小数据。

前天组办方让我来讲这个融合通信的时候,我都忘了它是个什么东西了。然后我就去查了一下,说融合通信得跟计算机结合起来,我当时第一感觉这不是废话吗?肯定得跟计算机结合在一起。

就融合通信,我想讲一下未来吧。我认为应该叫融合信息,首先是发生在信息这方面。再接下来我认为叫做交流。我觉得这个交流跟融合没有关系,本来就得融合,你不融合不行。我觉得是交流。再接下来是智能交流。对这个东西我有点担忧,智能交流,我有点害怕。

比如做Call  Center的,做会议的,你们都应该可以做智能call  Center。因为可以识别客户的通话,你将可以智能的识别出他在说什么,能够自动产生语言,就应该自动能够回答。

智能聊天:“小冰”。大家都知道小冰,当然小冰的东西做的确实不怎么好,以前她在微信上聊天,现在微信号关了,现在在微博上聊天,智能聊天。我在微信上我准备做一个小虎,跟小冰谈恋爱,我想他们有可能会把整个互联网谈瘫了。

智能宣传“智能文稿”。现在已经能够做到智能文稿,就是说新闻这样的文稿,现在已经不用人来写了,直接就神经网络去写。这种是现实的吗?这是真事,我只是没有放实际上是哪家做出了。有了智能宣传以后,后面我就不敢写了。我觉得可以智能洗脑。这有点可怕,所以我不敢写了,大家自己去看。

对前景怎么看?

第一个词,“深度学习”,它现在是世界十大通用技术之首。“通用技术”,不是专用技术,通用技术,哪个领域都能用,生物界能用,医疗界能用,什么都可以用,这是麻省理工学院提出来的。第二个词“第三次产业革命”。是习大大说的,不是我说的。当然,大家会问你的看法呢?其实我没有什么看法,我就知道两件事,第一“她会学习”她现在确实会学习了,而且不怕累。你注意,我用的是“她”,以后大家看到这个句要当心点。第二个“她不会死”。每个人的知识,都是有限的。谢谢大家。

关键字:融合通信

原创文章 企业网D1Net

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^