恒歉银行大数据集群实行取运维-4136y.C0m-金莎67783

数据流转取洗濯

经由过程ETL(kettle、sqoop2)将RDBMS中的数据抽取到hadoop平台,经由数据考核竖立表面消灭净数据,再联合Hive中自定义UDF、UDAF、UDTF函数实现用户定制数据的转换和查询。

金沙6629hf

集群运维

集群的晋级、客户毛病排错、统计Hive表构造、PL/SQL的优化、IDC一样平常巡检(机房干净巡检、机柜电力巡检、空调设备巡检、装备电源状况巡检)。

完成目的

由于星环科技的TDH较好的支撑了SQL2003尺度和PL/SQL语法,恒歉银行大数据运用项目从2015年5月最先,仅破费10天时间,完成了数据仓库平台从Oracle产物到Hadoop平台的迁徙事情,整体处置惩罚才能得到了5-10倍的提拔,处理了以往大致量数据统计分析运用响应很缓的题目,极大减轻各运用体系现有数据库的处置惩罚资本瓶颈题目。