当前位置:新闻中心行业相关 → 正文

Sybase IQ15.4正在彻底改变“大数据分析”

责任编辑:hli |来源:企业网D1Net  2012-03-07 10:25:35 本文摘自:中金在线

2012 对于 IT 行业来说,无疑是大数据之年。据 IDC 统计, 2011 年数据总量将达到 1.8 万亿 GB ,对这些海量数据的分析已经成为企业和机构非常重要且紧迫的需求。面临着占据不到 15% 的传统标准化、结构化的信息,企业已经无法捕捉正确的、全部的市场信息,剩下的 85% 非结构化数据则广泛存在于社交网络、互联网和电子商务之中。面对席卷而来的大数据浪潮,企业更需要一种全新的技术,帮助他们实时处理海量的复杂性信息,挖掘大数据分析的价值。

在大数据分析中,传统的数据库部署已经不能承载 TB 数据,也不能很好的支持高级别的数据分析。 “大数据的应用关键在于可高度扩展的分析,包括处理海量、高速、种类繁多以及无法预测的数据类型等极端情况”, Forrester 研究机构于 10 月发布的报告《企业 Hadoop :新兴的大数据核心》指出。

在大数据分析领域, Hadoop 和 MapReduce 越来越受到关注。 Hadoop 是一个开放源码的分布式数据处理系统架构,主要面向存储和处理结构化、半结构化或非结构化等真正意义上的大数据(通常成百上千的 TB 甚至 PB 级别数据)应用。 MapReduce 能将大数据问题分解成多个子问题,将它们分配到成百上千个处理节点之上,然后将结果汇集到一个小数据集当中,从而更容易分析得出最后的结果。

Sybase IQ 15.4 采用业内领先的 MPP 列式数据库和最先进的数据库内分析技术,并革命性地加入 MapReduce 与 Hadoop 集成,以应对大数据时代的分析挑战,开启洞察关键业务的能力。 Sybase IQ 15.4 正在打破数据分析的壁垒,彻底改变 “ 大数据分析 ” 领域。

Sybase IQ 15—— 创新性的列式数据库

面对大数据分析的全新需求, Sybase IQ 的列式数据库无疑更能够驾驭大数据浪潮。

相比于传统的“行式存储”的关系型数据库, Sybase IQ 使用了独特的列式存储方式,在进行分析查询时,仅需读取查询所需的列,其垂直分区策略不仅能够支持大量的用户、大规模数据,还可以提交对商业信息的高速访问,其速度可达到传统的关系型数据库的百倍甚至千倍。“随着 Sybase IQ 不断地在分析应用 POC 测试中拔得头筹,有时甚至超过其他对手 100 倍之多”, Gartner 评价道,“ Sybase IQ 逐渐成为从数据集市到企业数据仓库架构最令人渴望的 DBMS (数据库管理系统)。 ”

在此基础上, Sybase IQ 15 提升了核心的引擎基础架构能力,包括数据加载和查询性能、改进的安全架构、强大的集群管理和因数据分区而增强的管理等等。自 2009 年推出以来, Sybase 陆续发布了 Sybase IQ 15.1 、 15.2 、 15.3 以至最新的 Sybase IQ 15.4 版本,每个版本都着力于增加新的核心能力以促进更深入的高级分析。 Sybase IQ 15.3 在内置分析、全文检索等功能基础上,采用 PlexQ 技术的全共享 MPP 架构,扩展后可支持实时访问数千个用户、多个混合工作负载和大规模数据集,将性能、分析、灵活性提高前所未有的高度,从而重新定义企业级业务分析。 Sybase IQ 15.4 已将 Sybase IQ 的性能、分析、灵活性提升到了更高的级别,进一步推动了其在商业智能方面业已非常强势的增长。

长期以来, Sybase IQ 这些技术革新使得 Sybase IQ 一直以来位于列式分析服务器市场的领导者地位。目前,全球已有 2 , 0 00 多名用户采用了 Sybase IQ 创新的列式处理方法,为其关键的分析和报表系统提供支持。在过去三年,每年都有大约 200 个新客户加入 Sybase IQ 用户阵营。

Sybase IQ 15 —— 采用更灵活、效益更高的 PlexQ 技术

Sybase 在 2010 年推出的 Sybase IQ 15.3 就采用了全共享架构的 PlexQ 技术,该技术重新定义了企业范围的业务信息,全共享架构可轻松支持涉及海量数据集、海量并发用户数和独特工作流程的多种复杂分析样式,大大增加了其效益。与其他 MPP 解决方案不同, Sybase IQ 的 PlexQ 网格技术能够动态管理可轻松扩展并且专用于不同组和流程的一系列计算与存储资源中的分析工作量,从而使其能够以更低的成本更轻松地支持日益增长的数据量以及快速增长的用户社区。

基于成熟的 PlexQ 技术构建的 Sybase IQ 采用下图所示的三层构架:

基本层:数据库管理系统 (DBMS) ,这是一个全共享 MPP 分析 DBMS 引擎,是 Sybase IQ 最大的独特优势。

第二层:分析应用程序服务层,其提供 C++ 和 Java 数据库内 API ,并可实现与外部数据源的集成和联邦;包括四种 与 Hadoop 的集成方法。

顶层: Sybase IQ 生态系统,由四个强大且不同的合作伙伴和认证 ISV 应用程序组成。

基于这种 PlexQ 技术, Sybase IQ 15.4 将大数据转变成可指挥每个人都行动的情报信息,从而在整个企业的用户和业务流程范围内轻松具备大数据的分析能力。

Sybase IQ 15.4 —— 面向大数据的高级分析平台

Sybase IQ 提供了一个统一的 DBMS 平台,可使用各种算法分析不同类型的数据,这包括结构化数据和半结构化数据。此外,该版本还做了以下的扩充:扩大了对数据库内分析功能的支持,包括 MapReduce API 、预测模型标记语言( PMML )支持、与 Hadoop 的集成以及基于 Sybase IQ PlexQ 大规模并行处理( MPP )技术的统计和数据挖掘算法的扩展库。新的 API 帮助开发人员快速、安全地实施数据库内算法,实现优于现有方法 10 倍以上的性能加速。

[page]

Sybase IQ 15. 4 具有以下主要功能 :

1.更强的数据管理

大量增强的功能改善了 Sybase IQ 的数据管理、部署和可维护性。

· 更快速的批量加载 : 批量加载数据通过 ODBC 和 JDBC 接口插入到 Sybase 中,从而实现具有更高可扩展性的应用程序,同时可极大提高加载性能。

· 更出色的文本压缩 : 更出色地对 VARCHAR 、 VARBINARY 、 CHAR 和 BINARY 压缩可实现以更高效率、更低成本部署高性能文本分析应用程序,同时极大提高压缩速率。

2.丰富的应用程序

Sybase IQ 15.4 增加了一系列 API 和工具,用于创建在数据库内运行的高级分析算法,并且能通过 PlexQ 网格能充分利用大规模并行处理的能力。

支持自带 Map Reduce 的表参数化用户自定义函数 (UDF) —— 这是 Sybase IQ 的本地应用程序编程接口,可使应用程序编程人员在 Sybase IQ 数据库服务器内构建和部署 C++ 库。使用这些 API 可实现专有算法或算法包,安全地位于 Sybase IQ 内,通过在保存于 Sybase IQ 数据库服务器中的数据附近执行,以快 10 倍的速度返回结果。此框架可实现在 Sybase IQ 中开发和部署 MapReduce 程序,以分析涉及结构化、半结构化和非结构化数据格式的超大数据集。 C++ 、 Map 和 Reduce 算法通过标准 SQL 加以调用,并且由 Sybase IQ 强大的查询引擎自动在 PlexQ 网格中进行分发和并行化。

Hadoop 集成与联邦— —将基于 Hadoop 的分析的结果与运行于 Sybase IQ 中的查询相集成。 Sybase 是唯一一家提供 4 种不同方法将标准 SQL 查询 ( 客户端联邦、 ETL 处理、数据联邦和查询联邦 ) 中的 Hadoop 数据和分析与分析数据库相集成的厂商。 Sybase IQ 15.4 充分利用 Hadoop 来识别海量结构化和非结构化数据集中的相关数据点,然后将 Hadoop 中的相关数据点集成到 Sybase IQ 中,以便利用传统数据和来自其他数据源的结果集进行分析。

预测模型标记语言 (PMML) 支持—— 通过 Zementis 提供的认证插件,自动执行使用业界标准语言定义在 SAS 、 SPSS 、“ R ”等工具以及其他流行预测工作平台产品中所创建的分析模型。充分利用流行的分析工具构建预测模型,自动执行在 Sybase IQ 中部署的预测模型,并使用业界标准语言,以避免形成厂商捆绑。

“ R ”集成 : —— 用户可使用 RJDBC 接口,以及流行的开源统计工具“ R ”查询 Sybase IQ 数据库。此外,用户还可以将来自 Sybase IQ 的“ R ”库作为 SQL 查询中的函数调用加以执行,并返回结果集。

3.数据库内分析库

更新的数据库内统计和数据挖掘库 ( 来自 Fuzzy · Logix 的 DBLytix): 在 Sybase IQ 内运行的高级分析、统计和数据挖掘算法库。 Sybase IQ 15.4 中的更新可使该库充分利用一些数据挖掘算法中的 MapReduce API 进行大规模并行处理,并且包含多种新函数,例如支持向量机、神经网络和 Adaptive Boosting 。

4.扩展的生态系统

Sybase IQ 还非常适合面向大数据分析的端到端全面解决方案。重要的工具和互补的合作伙伴产品可在以下方面提供帮助 :

Sybase PowerDesigner 16.1 参考架构生成器 : 可通过在实施 Sybase IQ 数据仓库和数据集市时生成最佳硬件配置,快速实现价值。

Sybase Control Center(SCC) : 改进方面包括大量管理功能,例如过程、函数、 UDF( 表、 TPF 和 JavaEE ) 及文本索引。用户能够更轻松地管理 SCC 中频繁使用的功能,以及更轻松地部署内置、外部和文本数据库内分析。此外该版本还包含了新的 SQL 执行窗口,该窗口可实现易于测试的特定 SQL 例程。

已通过 SAPBusinessObjects? 认证 : Sybase IQ 15.4 已通过认证,可与 SAP Business Objects Business Intelligence Platform 4.0 和 SAP Business Objects Data Services 4.0 配合使用,以提供丰富的端到端业务分析框架。

基于合作伙伴的解决方案 : Sybase IQ 拥有基于与 Solix 、 KXEN 、 Quest 、 BMMSoft 、 Zementis 及 Fuzzy Logix 之间的合作伙伴关系的多种新解决方案,从而可使 Sybase IQ 提供可满足各种需求的优质解决方案。

总结

以上新功能充分利用 PlexQ 智能分析网格技术,能够在一个企业级数据分析平台上执行大规模分析。凭借 Sybase IQ 15.4 ,企业能够有效地将海量数据转变成可操作的信息,管理海量增长的半结构与非结构化数据、实现复杂数据环境下高效的大数据分析。

在大数据浪潮下, Sybase 从行业的变化以及用户的真实需求出发,不断革新技术并调整服务,为全球用户提供适应大数据环境的产品与解决方案。

关键字:Sybase大数据半结构化数据

本文摘自:中金在线

x Sybase IQ15.4正在彻底改变“大数据分析” 扫一扫
分享本文到朋友圈
当前位置:新闻中心行业相关 → 正文

Sybase IQ15.4正在彻底改变“大数据分析”

责任编辑:hli |来源:企业网D1Net  2012-03-07 10:25:35 本文摘自:中金在线

2012 对于 IT 行业来说,无疑是大数据之年。据 IDC 统计, 2011 年数据总量将达到 1.8 万亿 GB ,对这些海量数据的分析已经成为企业和机构非常重要且紧迫的需求。面临着占据不到 15% 的传统标准化、结构化的信息,企业已经无法捕捉正确的、全部的市场信息,剩下的 85% 非结构化数据则广泛存在于社交网络、互联网和电子商务之中。面对席卷而来的大数据浪潮,企业更需要一种全新的技术,帮助他们实时处理海量的复杂性信息,挖掘大数据分析的价值。

在大数据分析中,传统的数据库部署已经不能承载 TB 数据,也不能很好的支持高级别的数据分析。 “大数据的应用关键在于可高度扩展的分析,包括处理海量、高速、种类繁多以及无法预测的数据类型等极端情况”, Forrester 研究机构于 10 月发布的报告《企业 Hadoop :新兴的大数据核心》指出。

在大数据分析领域, Hadoop 和 MapReduce 越来越受到关注。 Hadoop 是一个开放源码的分布式数据处理系统架构,主要面向存储和处理结构化、半结构化或非结构化等真正意义上的大数据(通常成百上千的 TB 甚至 PB 级别数据)应用。 MapReduce 能将大数据问题分解成多个子问题,将它们分配到成百上千个处理节点之上,然后将结果汇集到一个小数据集当中,从而更容易分析得出最后的结果。

Sybase IQ 15.4 采用业内领先的 MPP 列式数据库和最先进的数据库内分析技术,并革命性地加入 MapReduce 与 Hadoop 集成,以应对大数据时代的分析挑战,开启洞察关键业务的能力。 Sybase IQ 15.4 正在打破数据分析的壁垒,彻底改变 “ 大数据分析 ” 领域。

Sybase IQ 15—— 创新性的列式数据库

面对大数据分析的全新需求, Sybase IQ 的列式数据库无疑更能够驾驭大数据浪潮。

相比于传统的“行式存储”的关系型数据库, Sybase IQ 使用了独特的列式存储方式,在进行分析查询时,仅需读取查询所需的列,其垂直分区策略不仅能够支持大量的用户、大规模数据,还可以提交对商业信息的高速访问,其速度可达到传统的关系型数据库的百倍甚至千倍。“随着 Sybase IQ 不断地在分析应用 POC 测试中拔得头筹,有时甚至超过其他对手 100 倍之多”, Gartner 评价道,“ Sybase IQ 逐渐成为从数据集市到企业数据仓库架构最令人渴望的 DBMS (数据库管理系统)。 ”

在此基础上, Sybase IQ 15 提升了核心的引擎基础架构能力,包括数据加载和查询性能、改进的安全架构、强大的集群管理和因数据分区而增强的管理等等。自 2009 年推出以来, Sybase 陆续发布了 Sybase IQ 15.1 、 15.2 、 15.3 以至最新的 Sybase IQ 15.4 版本,每个版本都着力于增加新的核心能力以促进更深入的高级分析。 Sybase IQ 15.3 在内置分析、全文检索等功能基础上,采用 PlexQ 技术的全共享 MPP 架构,扩展后可支持实时访问数千个用户、多个混合工作负载和大规模数据集,将性能、分析、灵活性提高前所未有的高度,从而重新定义企业级业务分析。 Sybase IQ 15.4 已将 Sybase IQ 的性能、分析、灵活性提升到了更高的级别,进一步推动了其在商业智能方面业已非常强势的增长。

长期以来, Sybase IQ 这些技术革新使得 Sybase IQ 一直以来位于列式分析服务器市场的领导者地位。目前,全球已有 2 , 0 00 多名用户采用了 Sybase IQ 创新的列式处理方法,为其关键的分析和报表系统提供支持。在过去三年,每年都有大约 200 个新客户加入 Sybase IQ 用户阵营。

Sybase IQ 15 —— 采用更灵活、效益更高的 PlexQ 技术

Sybase 在 2010 年推出的 Sybase IQ 15.3 就采用了全共享架构的 PlexQ 技术,该技术重新定义了企业范围的业务信息,全共享架构可轻松支持涉及海量数据集、海量并发用户数和独特工作流程的多种复杂分析样式,大大增加了其效益。与其他 MPP 解决方案不同, Sybase IQ 的 PlexQ 网格技术能够动态管理可轻松扩展并且专用于不同组和流程的一系列计算与存储资源中的分析工作量,从而使其能够以更低的成本更轻松地支持日益增长的数据量以及快速增长的用户社区。

基于成熟的 PlexQ 技术构建的 Sybase IQ 采用下图所示的三层构架:

基本层:数据库管理系统 (DBMS) ,这是一个全共享 MPP 分析 DBMS 引擎,是 Sybase IQ 最大的独特优势。

第二层:分析应用程序服务层,其提供 C++ 和 Java 数据库内 API ,并可实现与外部数据源的集成和联邦;包括四种 与 Hadoop 的集成方法。

顶层: Sybase IQ 生态系统,由四个强大且不同的合作伙伴和认证 ISV 应用程序组成。

基于这种 PlexQ 技术, Sybase IQ 15.4 将大数据转变成可指挥每个人都行动的情报信息,从而在整个企业的用户和业务流程范围内轻松具备大数据的分析能力。

Sybase IQ 15.4 —— 面向大数据的高级分析平台

Sybase IQ 提供了一个统一的 DBMS 平台,可使用各种算法分析不同类型的数据,这包括结构化数据和半结构化数据。此外,该版本还做了以下的扩充:扩大了对数据库内分析功能的支持,包括 MapReduce API 、预测模型标记语言( PMML )支持、与 Hadoop 的集成以及基于 Sybase IQ PlexQ 大规模并行处理( MPP )技术的统计和数据挖掘算法的扩展库。新的 API 帮助开发人员快速、安全地实施数据库内算法,实现优于现有方法 10 倍以上的性能加速。

[page]

Sybase IQ 15. 4 具有以下主要功能 :

1.更强的数据管理

大量增强的功能改善了 Sybase IQ 的数据管理、部署和可维护性。

· 更快速的批量加载 : 批量加载数据通过 ODBC 和 JDBC 接口插入到 Sybase 中,从而实现具有更高可扩展性的应用程序,同时可极大提高加载性能。

· 更出色的文本压缩 : 更出色地对 VARCHAR 、 VARBINARY 、 CHAR 和 BINARY 压缩可实现以更高效率、更低成本部署高性能文本分析应用程序,同时极大提高压缩速率。

2.丰富的应用程序

Sybase IQ 15.4 增加了一系列 API 和工具,用于创建在数据库内运行的高级分析算法,并且能通过 PlexQ 网格能充分利用大规模并行处理的能力。

支持自带 Map Reduce 的表参数化用户自定义函数 (UDF) —— 这是 Sybase IQ 的本地应用程序编程接口,可使应用程序编程人员在 Sybase IQ 数据库服务器内构建和部署 C++ 库。使用这些 API 可实现专有算法或算法包,安全地位于 Sybase IQ 内,通过在保存于 Sybase IQ 数据库服务器中的数据附近执行,以快 10 倍的速度返回结果。此框架可实现在 Sybase IQ 中开发和部署 MapReduce 程序,以分析涉及结构化、半结构化和非结构化数据格式的超大数据集。 C++ 、 Map 和 Reduce 算法通过标准 SQL 加以调用,并且由 Sybase IQ 强大的查询引擎自动在 PlexQ 网格中进行分发和并行化。

Hadoop 集成与联邦— —将基于 Hadoop 的分析的结果与运行于 Sybase IQ 中的查询相集成。 Sybase 是唯一一家提供 4 种不同方法将标准 SQL 查询 ( 客户端联邦、 ETL 处理、数据联邦和查询联邦 ) 中的 Hadoop 数据和分析与分析数据库相集成的厂商。 Sybase IQ 15.4 充分利用 Hadoop 来识别海量结构化和非结构化数据集中的相关数据点,然后将 Hadoop 中的相关数据点集成到 Sybase IQ 中,以便利用传统数据和来自其他数据源的结果集进行分析。

预测模型标记语言 (PMML) 支持—— 通过 Zementis 提供的认证插件,自动执行使用业界标准语言定义在 SAS 、 SPSS 、“ R ”等工具以及其他流行预测工作平台产品中所创建的分析模型。充分利用流行的分析工具构建预测模型,自动执行在 Sybase IQ 中部署的预测模型,并使用业界标准语言,以避免形成厂商捆绑。

“ R ”集成 : —— 用户可使用 RJDBC 接口,以及流行的开源统计工具“ R ”查询 Sybase IQ 数据库。此外,用户还可以将来自 Sybase IQ 的“ R ”库作为 SQL 查询中的函数调用加以执行,并返回结果集。

3.数据库内分析库

更新的数据库内统计和数据挖掘库 ( 来自 Fuzzy · Logix 的 DBLytix): 在 Sybase IQ 内运行的高级分析、统计和数据挖掘算法库。 Sybase IQ 15.4 中的更新可使该库充分利用一些数据挖掘算法中的 MapReduce API 进行大规模并行处理,并且包含多种新函数,例如支持向量机、神经网络和 Adaptive Boosting 。

4.扩展的生态系统

Sybase IQ 还非常适合面向大数据分析的端到端全面解决方案。重要的工具和互补的合作伙伴产品可在以下方面提供帮助 :

Sybase PowerDesigner 16.1 参考架构生成器 : 可通过在实施 Sybase IQ 数据仓库和数据集市时生成最佳硬件配置,快速实现价值。

Sybase Control Center(SCC) : 改进方面包括大量管理功能,例如过程、函数、 UDF( 表、 TPF 和 JavaEE ) 及文本索引。用户能够更轻松地管理 SCC 中频繁使用的功能,以及更轻松地部署内置、外部和文本数据库内分析。此外该版本还包含了新的 SQL 执行窗口,该窗口可实现易于测试的特定 SQL 例程。

已通过 SAPBusinessObjects? 认证 : Sybase IQ 15.4 已通过认证,可与 SAP Business Objects Business Intelligence Platform 4.0 和 SAP Business Objects Data Services 4.0 配合使用,以提供丰富的端到端业务分析框架。

基于合作伙伴的解决方案 : Sybase IQ 拥有基于与 Solix 、 KXEN 、 Quest 、 BMMSoft 、 Zementis 及 Fuzzy Logix 之间的合作伙伴关系的多种新解决方案,从而可使 Sybase IQ 提供可满足各种需求的优质解决方案。

总结

以上新功能充分利用 PlexQ 智能分析网格技术,能够在一个企业级数据分析平台上执行大规模分析。凭借 Sybase IQ 15.4 ,企业能够有效地将海量数据转变成可操作的信息,管理海量增长的半结构与非结构化数据、实现复杂数据环境下高效的大数据分析。

在大数据浪潮下, Sybase 从行业的变化以及用户的真实需求出发,不断革新技术并调整服务,为全球用户提供适应大数据环境的产品与解决方案。

关键字:Sybase大数据半结构化数据

本文摘自:中金在线

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^