当前位置:大数据业界动态 → 正文

活用大数据 创造应用价值

责任编辑:editor007 |来源:企业网D1Net  2015-07-30 17:27:09 本文摘自:中国大数据

大数据

大数据(Big Data)近年来已成为业界最炙手可热的话题之一,在大数据时代,企业不仅需要提升储存容量与数据管理能力,更重要的是,要设法从庞大、多元格式的数据海洋中,挖掘出数据的极致价值,进而创造新的商业机会与营运决策。

国立台北商业技术学院教授邹庆士指出,大数据是个大议题,大家其实都还在学习阶段,但可以确定的是,对电脑而言,最有价值的东西已经不再是硬体,而是数据,许多产品及应用也都是以数据为基础,才能进一步产生重大价值。

邹庆士指出,大数据的主要应用,仍是以数据探勘为主,但跟过去相比,特点在於数据量变得非常大,但大数据不见得数大就是美,容量大小还可以靠技术来解决,整理的时间则因为变得非常长,已经成为数据分析的困扰。邹庆士认为,唯有从数据分析的本质开始思考,才能真正深入大数据这个议题。

邹庆士甚至认为,就像Web 1.0是建立网站,Web 2.0则是经营网站,现在的大数据应用,应该要进入「大数据2.0」的时代。在「大数据1.0」的时代,数据是靠IT科技来建立,後来则是透过统计领域或机器学习模式,来建立模式,但现在需要的是达到视觉化及诠释数据的能力。邹庆士认为,在大数据1.0,需要的是掌握新技术与系统,但在大数据2.0,需要培育新型数据分析人才。

若从数据探勘角度来思考,为了要让大数据发挥价值,以数据为基础来做决策,首先要注意的是,数据探勘是一个跨领域的科学,涉及统计、AI、Machine Learning等,必须将来自於不同领域的数据收集起来後,才能整合调理得出结论。

邹庆士将跨产业的数据探勘过程,简化成三个步骤,分别是数据预先处理(Data Preprocessing)、数据探勘(Data Mining)及後处理(Postprocessing),其中又以第一个阶段花最多的时间,邹庆士表示,前置处理非常重要,才不会在後面产生问题,导致「垃圾进、垃圾出」的数据输出结果。

至於第二阶段的主要工作,分别是预测(Predictive)、群集(Cluster)、关联、异常等管理为主。但回到数据分析的根本,邹庆士认为,第一步要先做到数据有感(Data sensitive),才知道该怎麽对待数据;第二步是数据混搭(Data mashups),要懂很多不同的模式,知道每一个模式建模的特性,最後才能落实想法,先後完成模型混搭(Models mashups)及雏型化工具(Prototyping tools),再一步步放大,但一定要建立在商业理解上。

邹庆士还将大数据的属性分成四类,第一类是名目尺度(nominal),如身分证号码、眼色、邮递区号,特徵是仅能比较异同;第二类是顺序尺度(ordinal),如排名、年级、高度等,特称是能够分别顺讯;第三类是区间指度(interval),如日期、温度等,特徵为有绝对零点,差异或距离都有其意义;第四类为比例尺度(ratio),如长度、时间、次数等,特徵为有自然零点,比率有其意义。

邹庆士强调,每一类的处理方式都不同,运算的方式也因此会有适用的领域,不能随便乱用。数据集类型则分为三种,分别是记录数据(如数据矩阵、文件或交易数据)、图形数据(如全球资讯网或分子结构)及有序数据(如时间、次序、间或基因序列数据等),邹庆士指出,大数据时代要面对的数据不只一种,而是多元的数据来源。

大数据时代的数据来源,其实是充斥在每个领域,包括推文串流、网页伺服器记录等。邹庆士指出,其实重点不在找数据,而是如何混搭各方来源数据,进行混模加值。

因此,邹庆士建议,面对大数据时代,企业要练就数据柔术(Data Jiujtsu),好的数据人才,不能只是懂科技,而是要涉猎许多领域,才有办法将大问题分解成小问题,不用立即处理海量数据,做到小处着眼,反覆加值,以机敏弹性的流程,逐步迈向目标。

邹庆士指出,R工具的出现,就是要因应前述的需求,目前已有5,000多个套件,而且支持开放源,所有的演算逻辑都是公开的,可以藉此了解其他工程师的思维。

但在使用工具解决大数据的问题时,邹庆士认为要注意三个议题,分别是撰写有效率的程式,提高执行速度;将数据储存在外部,以避免记忆体受限的问题;运用专门的统计程序,以有效率的方式分析大量数据。

但不管是什麽工具,都会一直不断地在演化,邹庆士指出,要特别注意工具的发展,工作才会有效率。此外,大数据分析要能伸缩自如,可大可小,数据分析的思维,一定要回到数据本身的属性,如纷丝团经营指标最佳权重,数据栏位超过90个,所以在开始进行大数据分析时,第一个步骤反而是删除不必要的栏位。

邹庆士指出,活化大数据应用价值的关键,主要是加强个人与组织的数据分析思考能力,唯有将数据、程式及人的智慧加以整合,才会产生价值。企业还必须要能活化顾客留下的数据轨迹,因为价值的关键在於应用。

关键字:应用价值混搭数据输出

本文摘自:中国大数据

x 活用大数据 创造应用价值 扫一扫
分享本文到朋友圈
当前位置:大数据业界动态 → 正文

活用大数据 创造应用价值

责任编辑:editor007 |来源:企业网D1Net  2015-07-30 17:27:09 本文摘自:中国大数据

大数据

大数据(Big Data)近年来已成为业界最炙手可热的话题之一,在大数据时代,企业不仅需要提升储存容量与数据管理能力,更重要的是,要设法从庞大、多元格式的数据海洋中,挖掘出数据的极致价值,进而创造新的商业机会与营运决策。

国立台北商业技术学院教授邹庆士指出,大数据是个大议题,大家其实都还在学习阶段,但可以确定的是,对电脑而言,最有价值的东西已经不再是硬体,而是数据,许多产品及应用也都是以数据为基础,才能进一步产生重大价值。

邹庆士指出,大数据的主要应用,仍是以数据探勘为主,但跟过去相比,特点在於数据量变得非常大,但大数据不见得数大就是美,容量大小还可以靠技术来解决,整理的时间则因为变得非常长,已经成为数据分析的困扰。邹庆士认为,唯有从数据分析的本质开始思考,才能真正深入大数据这个议题。

邹庆士甚至认为,就像Web 1.0是建立网站,Web 2.0则是经营网站,现在的大数据应用,应该要进入「大数据2.0」的时代。在「大数据1.0」的时代,数据是靠IT科技来建立,後来则是透过统计领域或机器学习模式,来建立模式,但现在需要的是达到视觉化及诠释数据的能力。邹庆士认为,在大数据1.0,需要的是掌握新技术与系统,但在大数据2.0,需要培育新型数据分析人才。

若从数据探勘角度来思考,为了要让大数据发挥价值,以数据为基础来做决策,首先要注意的是,数据探勘是一个跨领域的科学,涉及统计、AI、Machine Learning等,必须将来自於不同领域的数据收集起来後,才能整合调理得出结论。

邹庆士将跨产业的数据探勘过程,简化成三个步骤,分别是数据预先处理(Data Preprocessing)、数据探勘(Data Mining)及後处理(Postprocessing),其中又以第一个阶段花最多的时间,邹庆士表示,前置处理非常重要,才不会在後面产生问题,导致「垃圾进、垃圾出」的数据输出结果。

至於第二阶段的主要工作,分别是预测(Predictive)、群集(Cluster)、关联、异常等管理为主。但回到数据分析的根本,邹庆士认为,第一步要先做到数据有感(Data sensitive),才知道该怎麽对待数据;第二步是数据混搭(Data mashups),要懂很多不同的模式,知道每一个模式建模的特性,最後才能落实想法,先後完成模型混搭(Models mashups)及雏型化工具(Prototyping tools),再一步步放大,但一定要建立在商业理解上。

邹庆士还将大数据的属性分成四类,第一类是名目尺度(nominal),如身分证号码、眼色、邮递区号,特徵是仅能比较异同;第二类是顺序尺度(ordinal),如排名、年级、高度等,特称是能够分别顺讯;第三类是区间指度(interval),如日期、温度等,特徵为有绝对零点,差异或距离都有其意义;第四类为比例尺度(ratio),如长度、时间、次数等,特徵为有自然零点,比率有其意义。

邹庆士强调,每一类的处理方式都不同,运算的方式也因此会有适用的领域,不能随便乱用。数据集类型则分为三种,分别是记录数据(如数据矩阵、文件或交易数据)、图形数据(如全球资讯网或分子结构)及有序数据(如时间、次序、间或基因序列数据等),邹庆士指出,大数据时代要面对的数据不只一种,而是多元的数据来源。

大数据时代的数据来源,其实是充斥在每个领域,包括推文串流、网页伺服器记录等。邹庆士指出,其实重点不在找数据,而是如何混搭各方来源数据,进行混模加值。

因此,邹庆士建议,面对大数据时代,企业要练就数据柔术(Data Jiujtsu),好的数据人才,不能只是懂科技,而是要涉猎许多领域,才有办法将大问题分解成小问题,不用立即处理海量数据,做到小处着眼,反覆加值,以机敏弹性的流程,逐步迈向目标。

邹庆士指出,R工具的出现,就是要因应前述的需求,目前已有5,000多个套件,而且支持开放源,所有的演算逻辑都是公开的,可以藉此了解其他工程师的思维。

但在使用工具解决大数据的问题时,邹庆士认为要注意三个议题,分别是撰写有效率的程式,提高执行速度;将数据储存在外部,以避免记忆体受限的问题;运用专门的统计程序,以有效率的方式分析大量数据。

但不管是什麽工具,都会一直不断地在演化,邹庆士指出,要特别注意工具的发展,工作才会有效率。此外,大数据分析要能伸缩自如,可大可小,数据分析的思维,一定要回到数据本身的属性,如纷丝团经营指标最佳权重,数据栏位超过90个,所以在开始进行大数据分析时,第一个步骤反而是删除不必要的栏位。

邹庆士指出,活化大数据应用价值的关键,主要是加强个人与组织的数据分析思考能力,唯有将数据、程式及人的智慧加以整合,才会产生价值。企业还必须要能活化顾客留下的数据轨迹,因为价值的关键在於应用。

关键字:应用价值混搭数据输出

本文摘自:中国大数据

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^