据深圳银兴智能数据有限公司(简称:银兴智能)介绍,随着广发银行大数据平台hadoop集群应用场景越来越多,研发中心、数据中心、卡中心和分行等部门均在大数据平台上进行数据开发和数据分析,由于数据开发和分析的场景各不相同,使用和购置的资源也不同。故需要通过多租户对不同用户资源进行管理。
广发银行拥有5个大数据平台hadoop集群,分别是CDH应用集群、CDH分析集群、CDP集群和FI分行集群和离线集群,使用的产品为华为的FusionInsight和Cloudera的CDH/CDP。两类集群在管理用户、租户以及数据授权时的操作方法差别较大。FI在管理页面配置,CDH需要登录服务器用命令行的方式配置,随着集群规模不断扩大,这种不同的配置方式给运维工作增加了很大的压力。在此背景下,银兴智能与广发银行签约合作,助力广发银行自研一套hadoop集群资源统一管理工具,提高运维工作的效率,简化资源管理工作。
项目目标
该需求投产上线后,可进一步提升大数据平台hadoop集群资源管理水平,快速实现复杂场景的业务需求的落地实现。
解决方案
源管理平台分为三大模块,一、资源管理模块,通过hadoop提供的接口和sdk,实现对多集群用户、用户组、角色和租户管理二、集群监控模块,通过hadoop提供的接口和sdk,对集群状态、租户信息和使用情况、Yarn任务和ACL目录授权监控信息进行采集,并通过可视化图表对上述采集到的信息进行展示三、平台管理模块,管理平台本身的用户、用户组、角色及平台的配置与权限,并实现审计管理等功能
项目成果
通过可视化界面进行集群管理,提高运维效率和准确率
通过集中化集群管理,提高对集群管控能力,减少生产事件
提供集群租户使用资源报表功能,拥有对集群租户使用情况的全景视野,实现租户精细化管理
Yarn任务监控和导出功能,实现集群大任务监控和定期任务优化
打通行内其它系统,与其它系统实现数据共享,增强集群上下游数据交互能力