当前位置:新闻中心行业动态 → 正文

银行业大数据之道:从交易数据到海量数据分

责任编辑:qzhao |来源:企业网D1Net  2012-03-07 14:55:52 本文摘自:中国IDC产业联盟

有远见的银行都清楚地认识到,金融服务机构不仅应销售产品和服务,而且还应成为在管理其客户数据以及通过不同 渠道为其客户服务方面的真正以客户为中心的组织(即提供完美的多渠道体验)。随着大数据的大量涌现,尤其是在社交媒体网络的背景下,渠道战略不应仅限于传 统的银行渠道,而且还应整合新的客户接触点(即社交媒体网站),这种趋势已经变得日益清晰。虽然完成此项工作不是一件容易的事,但组织应通过设计信息管理 战略启动该流程,这样有助于他们应对大数据的挑战。

新西兰西太平洋银行是已经清楚地认识到深入了解自身数据资产的必要性的银行之一,正如 Torrance Mayberr所说 — 商业智能 (BI)、数据仓库 (DW) 和先进分析的高级系统经理 —对于帮助银行打破壁垒,以及营造共享整个组织的创新和知识的氛围来说,Informatica的解决方案是一种至关重要的方法。尽管以客户为中心仍处于 初期阶段,但西太平洋银行目前正在探索大数据所带来的机遇,尤其是在社交媒体网络的背景下,这样可以进一步增强银行的需求以便获得对客户的深入了解。在此 方面,尽管西太平洋银行已经非常清楚地认识到社交媒体数据仅仅是当今多种数据来源之一,但银行目前侧重于将情感分析作为其大数据分析挑战的一部分。

形势概述

组织概览

西太平洋银行是新西兰全国最大的提供全面服务的银行之一,服务的客户超过 120 万。西太平洋银行为个人、企业和农业客户提供全方位的银行和金融服务。

西太平洋银行在新西兰全国拥有 200 家分行、500 台自动取款机、90 万注册的网上银行客户以及 5,000 名员工。

挑战和解决方案

开端:管理交易数据

2001 年,西太平洋银行通过建立数据仓库来应对其大数据挑战。营销部门通过建立数据仓库,为客户管理计划提供客户分析。2007 年,西太平洋银行意识到当时对其客户和产品没有完整的单一视图。大约在同一时间,数据治理由于其具有合规性、风险缓解性以及可以帮助提高运营效率,也已经 获得西太平洋银行高层管理人员的青睐。与其他大型组织的数据密集型操作类似,西太平洋银行拥有众多不是专为彼此分享数据而设计的彼此独立运行的应用程序。 当时,也没有任何数据战略。所有这些因素都使西太平洋银行面临下列挑战:

当出现下面情况时,无法获得西太平洋银行的完整和单一版本的客户和产品信息:

在信息孤岛中收集和存储关键信息时;

异构数据定义和信息使用都很正常时。

当从已经手动清理、对帐和手工编码的不同应用程序中生成数据时,生成报告或特定要求的响应时间通常都很慢。此外,由于工作和数据重复而导致效率也非常低下。

数据集成采用了不一致的技术(如手工编码,将数据推入平面文件)。此外,这些都不是面向未来的技术,因为没有针对数据服务,面向服务架构 (SOA) 或为解决新的海量数据机会形成任何概念或技术。

错误执行了数据处理和数据安全性分类,造成不必要的风险和潜在的复杂情况。

建立数据仓库是西太平洋银行实现其主要目标(获得单一版本的事实以更好地利用其数据资产的)的第一步,从而使多个业务部门做出基于事实的和一致的决 策。在 2001 年 11 月至 2002 年 2 月期间,西太平洋银行还评估了多个抽取、转换和装载 (ETL) 工具,为西太平洋银行集团确定标准和首选的供应商。

评估的 ETL 厂商是:

Ascential — Datastage(现在是 IBM 的分公司)

CA — Decisionbase

Datajunction(现在是 Pervasive Software 的分公司)

Hummingbird — Genio RTI(现在是 Opentext 的分公司)

Informatica

最终,西太平洋银行决定在 Informatica平台中进行标准化。2007 年,西太洋银行意识到作为其数据战略的推动者,需要将它从传统的 ETL 发展成企业数据集成。Informatica平台能确保西太平洋银行可对数据集成进行整体分析并解决各种数据传输机会。以下是西太平洋银行选择 Informatica的原因:

简单。Informatica的定价方法很容易理解。这是影响决策过程的一个主要因素。例如,可以很容易地将其值关联回到数据战略。该因素很重要,因为根据银行分析,它有助于促进 IT 部门与关键企业利益相关者就从平台实现的潜在价值进行协作讨论。

该解决方案集成可重复使用的数据质量规则。Informatica的产品组件可以很好地集成涉及其数据集成、数据质量和 MDM 产品的常见的、可重复使用的数据质量规则。

良好的体系结构和支持。西太平洋银行已评估 Informatica的体系结构,并认为它最适合于开放式知识库和服务器引擎操作。此外,已经在 2009 年第四季度推出的 Informatica9,提供了基于 SOA 的数据服务增强功能。Informatica还提供可靠的技术援助,这是自西太平洋银行拟与其中一家供应商进行规范化,以及扩展其数据集成要求以来所考虑 的一个关键领域。

审计跟踪的可用性。Informatica的元数据管理器可为所有用户自定义的元数据提供审计跟踪功能,作为 PowerCenter 和 PowerExchange 高级版本的一部分,其中包括元数据管理器,并提供查看业务术语表类别、业务术语和自定义对象的更改历史记录的可用性。

供应商的独立性。根据银行分析,Informatica的独立第三方观点是其主要优势之一,并且它确保西太平洋银行能够及时地适应新兴技术的发展。

实施数据仓库解决方案

IBM 银行数据仓库 (BDW)。在 Oracle RDBMS 中实施银行数据仓库模型的自定义的混合版。通过自定义西太平洋银行从 IBM 购买的银行数据仓库,可将行业最佳实践整合至其数据仓库。将 IBM 的银行数据仓库定位为完全规范化和完整的金融服务行业数据需求的代表。

Informatica。以上所列就是为数据集成和数据访问选择 Informatica平台的理由。实施的 Informatica产品包含 PowerCenter 和 PowerExchange,其中包括 Informatica元数据管理器。西太平洋银行目前运行的是 8.6.1 版 Informatica平台,正在将该平台的版本升级至 9.1 版。

通过 PLSQL、COBOL 和 BASE SAS 组合进行手工编码。

使用的硬件。IBM p570 AIX 5.3 双核 64 位处理器 2.2GHz(4 个 CPU)。

目前,西太平洋银行的数据仓库大小约为 6TB;IDC 的 《2011 年亚太地区软件调查》表明,此地区 25.18% 的金融机构拥有的数据仓库均小于 10TB。尽管西太平洋银行目前的数据仓库小于所调查金融机构的平均数据仓库大小,但该行预计其数据仓库大小在一年时间里增长了 25%。此外,值得一提的是某些监管要求同样也有利于西太平洋银行的数据仓库增长预期。虽然这使得新西兰西太平洋银行与澳大利亚西太平洋银行(澳新地区最 典型的金融机构)非常接近,但新西兰储蓄银行要求该国/地区的所有银行通过在新西兰物理定位其数据保持主权。这样可确保该国/地区的业务连续性不会受到澳 大利亚经济不景气的影响。最后,就存储的数据源/数据类型而言,西太平洋银行的数据仓库也在不断地随着时间的推移而扩大 — 该行预计需要逐步地将更多数据源补充到数据仓库,以此再次推动数据量的不断增长。

主要的数据仓库体系结构方法基于作为核心枢纽的集中的企业级数据仓库,即某些相关的数据集市的服务数据。建立这些数据集市作为交付分析应用程序的一 部分,以启用和优化定价、市场营销和经济利润。例如,在数据仓库中存储和管理金融产品定价的历史记录,并输入数据集市以满足定价优化解决方案分析要求。其 他类似用法包括 Informatica平台数据来源的银行事前风险管理 (PRM) 系统,该系统允许使用银行风险实践快速更新有关欺诈的知识并减少个人风险。为各种决策目的使用从数据仓库生成的可信任信息已经明显增加,随着西太平洋银行 组织内业务部门数量的不断增加,正在形成的业务联系也日益增多。

结果

汲取的经验教训(截止目前为止)

请谨记,早见成效是关键。西太平洋银行的数据仓库团队(新西兰数据仓库团队)通过在其记录时间和预算的操作型数据存储 (ODS) 区中建立完整和准确的新西兰 MDS/MIDAS 产品和交易视图,已经取得了显著的内部成功。然后,该团队能够使用此成就吸引关键利益相关者并扩展业务线 (LOB),从而为其数据战略创造意识和支持。

根据西太平洋银行的分析,Informatica的数据集成解决方案在此项目取得成功的过程中起着重要作用,这正是新西兰西太平洋银行为其数据集成采用 Informatica平台的原因所在。

为赢得高层管理人员的支持提供可衡量的目标和结果。西太平洋银行非常正确地看到,以量化数据为中心的项目的目标和结果,在生产力和利润方面增大了确 保双方董事会批准并为此类项目提供资金的可能性 — 尤其是在全球金融危机之后,依据 Mayberr所说,“…将生产力/利润提高 4% 至 6% 可能对董事会产生巨大影响。”

通过在竞争中获得优势赢得关键业务利益相关者购买。目前,一些业务线能够利用从西太平洋银行数据仓库获取的报告或信息。这包括澳大利亚和新西兰的金 融部门、市场营销解析团队、风险分析、保险、商业和零售银行业务单位、以及技术服务部门。根据西太平洋银行分析,其关键业务利益相关者现在已经认识到银行 数据资产的战略重要性,并大力支持近年来西太平洋银行数据仓库的快速发展。

重点改善 IT 部门与商业用户之间的协作。IT 部门知道数据是什么以及如何对其进行管理,商业用户知道如何在现实生活的形势背景下准确地解释数据。事实已经证明:IT 部门与商业用户之间的良好协作,可以最大限度地减少出现“译不达意”的情况。展望未来,西太平洋银行还希望通过利用其即将进行的 Informatica平台升级所提供的协作功能进一步加强这种协作。

采用整体数据战略。西太平洋银行凭借对通过提供准确、相关、全面和及时的管理信息告知做出业务决策的洞察力,已经加大了对整体数据战略的投资。西太平洋银行围绕四个主题创建数据仓库:

信息完整性:启用来自产品、渠道和客户信息的单一来源的分析和见解。

关键字:数据交易行业

本文摘自:中国IDC产业联盟

x 银行业大数据之道:从交易数据到海量数据分 扫一扫
分享本文到朋友圈
当前位置:新闻中心行业动态 → 正文

银行业大数据之道:从交易数据到海量数据分

责任编辑:qzhao |来源:企业网D1Net  2012-03-07 14:55:52 本文摘自:中国IDC产业联盟

有远见的银行都清楚地认识到,金融服务机构不仅应销售产品和服务,而且还应成为在管理其客户数据以及通过不同 渠道为其客户服务方面的真正以客户为中心的组织(即提供完美的多渠道体验)。随着大数据的大量涌现,尤其是在社交媒体网络的背景下,渠道战略不应仅限于传 统的银行渠道,而且还应整合新的客户接触点(即社交媒体网站),这种趋势已经变得日益清晰。虽然完成此项工作不是一件容易的事,但组织应通过设计信息管理 战略启动该流程,这样有助于他们应对大数据的挑战。

新西兰西太平洋银行是已经清楚地认识到深入了解自身数据资产的必要性的银行之一,正如 Torrance Mayberr所说 — 商业智能 (BI)、数据仓库 (DW) 和先进分析的高级系统经理 —对于帮助银行打破壁垒,以及营造共享整个组织的创新和知识的氛围来说,Informatica的解决方案是一种至关重要的方法。尽管以客户为中心仍处于 初期阶段,但西太平洋银行目前正在探索大数据所带来的机遇,尤其是在社交媒体网络的背景下,这样可以进一步增强银行的需求以便获得对客户的深入了解。在此 方面,尽管西太平洋银行已经非常清楚地认识到社交媒体数据仅仅是当今多种数据来源之一,但银行目前侧重于将情感分析作为其大数据分析挑战的一部分。

形势概述

组织概览

西太平洋银行是新西兰全国最大的提供全面服务的银行之一,服务的客户超过 120 万。西太平洋银行为个人、企业和农业客户提供全方位的银行和金融服务。

西太平洋银行在新西兰全国拥有 200 家分行、500 台自动取款机、90 万注册的网上银行客户以及 5,000 名员工。

挑战和解决方案

开端:管理交易数据

2001 年,西太平洋银行通过建立数据仓库来应对其大数据挑战。营销部门通过建立数据仓库,为客户管理计划提供客户分析。2007 年,西太平洋银行意识到当时对其客户和产品没有完整的单一视图。大约在同一时间,数据治理由于其具有合规性、风险缓解性以及可以帮助提高运营效率,也已经 获得西太平洋银行高层管理人员的青睐。与其他大型组织的数据密集型操作类似,西太平洋银行拥有众多不是专为彼此分享数据而设计的彼此独立运行的应用程序。 当时,也没有任何数据战略。所有这些因素都使西太平洋银行面临下列挑战:

当出现下面情况时,无法获得西太平洋银行的完整和单一版本的客户和产品信息:

在信息孤岛中收集和存储关键信息时;

异构数据定义和信息使用都很正常时。

当从已经手动清理、对帐和手工编码的不同应用程序中生成数据时,生成报告或特定要求的响应时间通常都很慢。此外,由于工作和数据重复而导致效率也非常低下。

数据集成采用了不一致的技术(如手工编码,将数据推入平面文件)。此外,这些都不是面向未来的技术,因为没有针对数据服务,面向服务架构 (SOA) 或为解决新的海量数据机会形成任何概念或技术。

错误执行了数据处理和数据安全性分类,造成不必要的风险和潜在的复杂情况。

建立数据仓库是西太平洋银行实现其主要目标(获得单一版本的事实以更好地利用其数据资产的)的第一步,从而使多个业务部门做出基于事实的和一致的决 策。在 2001 年 11 月至 2002 年 2 月期间,西太平洋银行还评估了多个抽取、转换和装载 (ETL) 工具,为西太平洋银行集团确定标准和首选的供应商。

评估的 ETL 厂商是:

Ascential — Datastage(现在是 IBM 的分公司)

CA — Decisionbase

Datajunction(现在是 Pervasive Software 的分公司)

Hummingbird — Genio RTI(现在是 Opentext 的分公司)

Informatica

最终,西太平洋银行决定在 Informatica平台中进行标准化。2007 年,西太洋银行意识到作为其数据战略的推动者,需要将它从传统的 ETL 发展成企业数据集成。Informatica平台能确保西太平洋银行可对数据集成进行整体分析并解决各种数据传输机会。以下是西太平洋银行选择 Informatica的原因:

简单。Informatica的定价方法很容易理解。这是影响决策过程的一个主要因素。例如,可以很容易地将其值关联回到数据战略。该因素很重要,因为根据银行分析,它有助于促进 IT 部门与关键企业利益相关者就从平台实现的潜在价值进行协作讨论。

该解决方案集成可重复使用的数据质量规则。Informatica的产品组件可以很好地集成涉及其数据集成、数据质量和 MDM 产品的常见的、可重复使用的数据质量规则。

良好的体系结构和支持。西太平洋银行已评估 Informatica的体系结构,并认为它最适合于开放式知识库和服务器引擎操作。此外,已经在 2009 年第四季度推出的 Informatica9,提供了基于 SOA 的数据服务增强功能。Informatica还提供可靠的技术援助,这是自西太平洋银行拟与其中一家供应商进行规范化,以及扩展其数据集成要求以来所考虑 的一个关键领域。

审计跟踪的可用性。Informatica的元数据管理器可为所有用户自定义的元数据提供审计跟踪功能,作为 PowerCenter 和 PowerExchange 高级版本的一部分,其中包括元数据管理器,并提供查看业务术语表类别、业务术语和自定义对象的更改历史记录的可用性。

供应商的独立性。根据银行分析,Informatica的独立第三方观点是其主要优势之一,并且它确保西太平洋银行能够及时地适应新兴技术的发展。

实施数据仓库解决方案

IBM 银行数据仓库 (BDW)。在 Oracle RDBMS 中实施银行数据仓库模型的自定义的混合版。通过自定义西太平洋银行从 IBM 购买的银行数据仓库,可将行业最佳实践整合至其数据仓库。将 IBM 的银行数据仓库定位为完全规范化和完整的金融服务行业数据需求的代表。

Informatica。以上所列就是为数据集成和数据访问选择 Informatica平台的理由。实施的 Informatica产品包含 PowerCenter 和 PowerExchange,其中包括 Informatica元数据管理器。西太平洋银行目前运行的是 8.6.1 版 Informatica平台,正在将该平台的版本升级至 9.1 版。

通过 PLSQL、COBOL 和 BASE SAS 组合进行手工编码。

使用的硬件。IBM p570 AIX 5.3 双核 64 位处理器 2.2GHz(4 个 CPU)。

目前,西太平洋银行的数据仓库大小约为 6TB;IDC 的 《2011 年亚太地区软件调查》表明,此地区 25.18% 的金融机构拥有的数据仓库均小于 10TB。尽管西太平洋银行目前的数据仓库小于所调查金融机构的平均数据仓库大小,但该行预计其数据仓库大小在一年时间里增长了 25%。此外,值得一提的是某些监管要求同样也有利于西太平洋银行的数据仓库增长预期。虽然这使得新西兰西太平洋银行与澳大利亚西太平洋银行(澳新地区最 典型的金融机构)非常接近,但新西兰储蓄银行要求该国/地区的所有银行通过在新西兰物理定位其数据保持主权。这样可确保该国/地区的业务连续性不会受到澳 大利亚经济不景气的影响。最后,就存储的数据源/数据类型而言,西太平洋银行的数据仓库也在不断地随着时间的推移而扩大 — 该行预计需要逐步地将更多数据源补充到数据仓库,以此再次推动数据量的不断增长。

主要的数据仓库体系结构方法基于作为核心枢纽的集中的企业级数据仓库,即某些相关的数据集市的服务数据。建立这些数据集市作为交付分析应用程序的一 部分,以启用和优化定价、市场营销和经济利润。例如,在数据仓库中存储和管理金融产品定价的历史记录,并输入数据集市以满足定价优化解决方案分析要求。其 他类似用法包括 Informatica平台数据来源的银行事前风险管理 (PRM) 系统,该系统允许使用银行风险实践快速更新有关欺诈的知识并减少个人风险。为各种决策目的使用从数据仓库生成的可信任信息已经明显增加,随着西太平洋银行 组织内业务部门数量的不断增加,正在形成的业务联系也日益增多。

结果

汲取的经验教训(截止目前为止)

请谨记,早见成效是关键。西太平洋银行的数据仓库团队(新西兰数据仓库团队)通过在其记录时间和预算的操作型数据存储 (ODS) 区中建立完整和准确的新西兰 MDS/MIDAS 产品和交易视图,已经取得了显著的内部成功。然后,该团队能够使用此成就吸引关键利益相关者并扩展业务线 (LOB),从而为其数据战略创造意识和支持。

根据西太平洋银行的分析,Informatica的数据集成解决方案在此项目取得成功的过程中起着重要作用,这正是新西兰西太平洋银行为其数据集成采用 Informatica平台的原因所在。

为赢得高层管理人员的支持提供可衡量的目标和结果。西太平洋银行非常正确地看到,以量化数据为中心的项目的目标和结果,在生产力和利润方面增大了确 保双方董事会批准并为此类项目提供资金的可能性 — 尤其是在全球金融危机之后,依据 Mayberr所说,“…将生产力/利润提高 4% 至 6% 可能对董事会产生巨大影响。”

通过在竞争中获得优势赢得关键业务利益相关者购买。目前,一些业务线能够利用从西太平洋银行数据仓库获取的报告或信息。这包括澳大利亚和新西兰的金 融部门、市场营销解析团队、风险分析、保险、商业和零售银行业务单位、以及技术服务部门。根据西太平洋银行分析,其关键业务利益相关者现在已经认识到银行 数据资产的战略重要性,并大力支持近年来西太平洋银行数据仓库的快速发展。

重点改善 IT 部门与商业用户之间的协作。IT 部门知道数据是什么以及如何对其进行管理,商业用户知道如何在现实生活的形势背景下准确地解释数据。事实已经证明:IT 部门与商业用户之间的良好协作,可以最大限度地减少出现“译不达意”的情况。展望未来,西太平洋银行还希望通过利用其即将进行的 Informatica平台升级所提供的协作功能进一步加强这种协作。

采用整体数据战略。西太平洋银行凭借对通过提供准确、相关、全面和及时的管理信息告知做出业务决策的洞察力,已经加大了对整体数据战略的投资。西太平洋银行围绕四个主题创建数据仓库:

信息完整性:启用来自产品、渠道和客户信息的单一来源的分析和见解。

关键字:数据交易行业

本文摘自:中国IDC产业联盟

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^