本篇教程介绍了大数据统计分析 Sybase IQ在银行卡统计分析系统的应用，希望阅读本篇文章以后大家有所收获，帮助大家对大数据云计算大数据分析的理解更加深入。

<

一、行业背景
　　中国农业银行是四大国有独资商业银行之一，网点遍布中国城乡，是国内网点最多、业务辐射范围最广的大型国有商业银行，全行每天交易增量数据300G。近年来，银行卡业务实现跨越式发展，市场份额显著增加，产品功能日趋完善，各项业务指标增势良好，经营效益成倍增长，银行卡发卡量、存款余额、跨行交易量均有提高。
　　二、应用需求
　　随着业务管理的不断深入，银行卡各级经营管理机构及各级监管机构对银行卡统计分析信息需求日益细化，而现有的报表系统已不能满足经营管理的需要，一是数据手工录入，不能完全保证准确;二是报表生成环节多,汇总时间长，任何一个环节产生问题，都会影响报表生成的及时性;三是报表系统缺乏灵活性，不能根据业务发展需要进行调整;四是现有系统的容量有限，不能进行复杂分析。
　　如何提高银行卡综合竞争能力，分析产品、细分市场，提高业务管理水平和产品创新能力已摆到重要议事日程上。
　　三、系统架构
　　系统采用集中分布式体系架构，实现了总行集中式管理和分行自主数据处理的有机结合，应用Sybase ASE + Sybase IQ跨数据库模式，实现了数据处理、数据项生成、报表生成、智能调度、电子报表、数据项查询、辅助采集、多维分析、资源控制等功能，完成了农业银行借记卡、准贷记卡和部分贷记卡产品的统计分析，包括卡量、账户、存款余额、透支余额、银行卡收入和支出、银行卡的交易、商户、设备、网点等6600多个基本数据项、116类基础报表和15个主题的多维分析。
　　系统逻辑架构如下所示：
　　

　　四、Sybase IQ在系统中的应用
　　Sybase IQ是应用于数据分析的关系型数据库，通过列存储、列并行处理、革命性的位图索引方法以及智能的动态访问技术实现了快速的查询响应速度，比传统的数据库查询速度有显著提高，同时为快速批量数据加载时提供了强大的技术保证，在卡统计分析系统中主要表现如下几个特性：
　　1、节省数据存储
　　Sybase IQ存储管理数据时与传统RDBMS不同，是按列存储数据的，并利用比特式(bit-wise)索引及相应的压缩技术对数据库中的所有字段建索引，不仅带来查询效率的大幅度提高，而且还降低了对磁盘空间的占用。传统RDBMS中数据与索引分开存放，都需要占用磁盘空间，而在IQ中索引就是数据，并且索引所占空间总是比原数据量小。以广东分行为例，每天35G的增量数据文件，原来在普通联机数据库上需要40G的空间,而现在在IQ上只需18G存储开销，大大节省了磁盘空间。
　　2、提高查询性能
　　Sybase IQ的按列存储技术，使得IQ可以减少I/O超过90%。海量数据处理中的很多查询只需要少量的列数据，因而与传统的RDBMS相比，列式存储方法在选择满足查询条件的数据时，只须涉及到很少的数据页面，从而带来更高的吞吐量。IQ有13种索引类型， IQ查询优化允许联合使用多种不同类型的索引，只需简单地根据两条原则建立索引，一是该列的级数(cardinality)，即该列在数据库中唯一取值的个数;二是在查询中的使用方式，是用来作为分析汇总还是用来分类。卡系统在处理卡量余额数据项时，源表为三张五千万条记录级，进行关联操作，由原来的25小时缩短到5小时，而CPU平均使用率由93%降到50%，内存平均使用率由50%降到30%。
　　3、扩展处理能力
　　Sybase IQ的Multiplex构架，使系统具有无限扩展的能力，它使用对一个数据源启动多个引擎以提供对高并发的最佳支持，采用软总线避免了传统MPP环境下复杂的数据库管理和调优需要。IQ-Multiplex各节点间共享数据存储，方便的增加和管理TB级磁盘。各节点拥有独立的元数据和临时空间，能够快速同步。随着业务的发展，系统数据量将会不断增大，数据处理压力也将将增大，只需增加节点就可缓解压力，且节点可以使用不同的配置平台，达到最低成本扩展系统的能力。
　　4、跨Sybase ASE + Sybase IQ模式
　　由于IQ数据库联机事务处理及表update操作性能不是十分理想，但Sybase IQ的索引结构和存储技术可以有效地解决系统性能和海量数据存储问题，Sybase ASE的联机交易处理能力可以解决联机事务处理及表update操作，系统充分结合了两个数据库的优势，采用了Sybase ASE + Sybase IQ模式，并保证了两个数据库之间的事务一致性和数据的同步。
　　五、系统实施效果
　　系统有效地保证和促进了全行银行卡统计工作的快速发展，主要体现在以下三方面：
　　1、在系统功能和性能的有效辅助下，银行卡统计分析工作效率明显提高，统计人员的劳动强度大为减轻，有效减少了银行卡经营的人力和物力成本，增收节支效果显著。
　　2、由于使用了成熟的数据库管理系统代替传统统计方式，统计数据的准确性得到保证，使总分行的考核更加公平和准确。
　　3、使用了IQ灵活的、高效的快速开发工具，可以适应监管机构随时变化的统计需求，避免了系统的重复开发。
　　此外在项目实施过程中，Sybase工程师提供了全面的支持和咨询服务。农行项目组负责人说：“Sybase在这个项目上给了我们很大的支持，我们对他们的服务十分满意。”      
          

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据分析频道！