大数据能力共享平台 Big data Ability sharing platform(CSP)

大数据能力共享平台(CSP)是站在现有市场大数据底层平台(CDH、HDP、D+ 、FunionInsight等)之上的、集大数据数据采集、数据处理、数据建模、数据共享、数据展现、数据安全、数据资产管理、多租户等于一体的能力共享平台。CSP是一个开放性平台,CSP的所有能力可以通过多租户管理的形式开放给平台的合作伙伴或者开发者,平台将大数据采集存储、数据处理加工和数据建模分析等基础能力以及数据本身开放给个性化应用的开发者,这些开发者可利用开放的能力,开发个性化应用(或数据),以支撑客户、第三方合作公司大数据的个性化应用需求。同时CSP对所有使用此平台的组织或者个人进行多租户的分级分权独立管控,以此保证平台所管理数据和其它资产的安全。


特点与优势

底层平台无关性:大数据能力共享平台支持目前主流的所有底层大数据平台,包括开源的Apache Hadoop、CDH、HDP、MAPR、创意D+、Ammzon、星环、华为FusionInsight等,CSP平台与底层平台的无关性保证了CSP可以在已建的所有大数据平台上做各种业务应用。

多租户:是一个开放性平台,CSP的所有能力可以通过多租户管理的形式开放给平台的合作伙伴或者开发者,平台将大数据采集存储、数据处理加工和数据建模分析等基础能力以及数据本身开放给个性化应用的开发者,这些开发者可利用开放的能力,开发个性化应用(或数据),以支撑客户、第三方合作公司大数据的个性化应用需求。

微服务:能力平台上层以微服务作为统一架构,提供对外的统一访问网关。微服务架构(Microservice Architect)是一种架构模式,它提倡将单块架构的应用划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值。每个服务运行在其独立的进程中,服务与服务间采用轻量级的通信机制互相沟通。每个服务都围绕着具体业务进行构建,并且能够被独立的部署到生产环境、类生产环境等。

统一集成平台:CSP是一个统一的集成平台,整合了应用管理,数据管理,安全管理和自助服务管理,加快了建立和运行数据湖的流程。CSP为数据存储、任务调度运行提供了广泛的生态系统集成,包括MapReduce、Spark、Spark Streaming、Kafka和HBase等。

可扩展和可靠性:CSP提供可扩展的、可靠的运行时环境以及易于部署和管理Hadoop解决方案所需的工具。

安全:CSP底层实现数据的多租户管理,提供企业级安全和数据治理,确保敏感用户各种数据保持安全、独立。

核心功能

能力集:CSP支持数据采集存储、加工处理、建模分析等数据全业务处理

图1 数据采集存储

图2 数据加工处理

图3 数据建模分析

可视化开发套件:CSP提供了一整套图形拖放界面,用于从EDW、各种关系数据库建立管道到Hadoop,简化了构建端到端的数据流水线,包括从不同的源代码中获取,混合和聚合数据,利用易于使用的程序化抽象和可视化界面。CSP提供了一整套预构建的构建块,以支持数据操作,数据存储和数据分析,从而在不编写手动代码的情况下快速构建更智能的端对端解决方案。

元数据管理:CSP提供元数据管理、审计,简化了跟踪数据流程,并且更容易检索,使用和管理数据集。

实时、批处理统一平台:CSP为实时和批量分析提供了一个的统一的平台。它可以轻松地与最新技术(如Spark Streaming)结合使用拖拽式界面进行流式传输。这简化了来自各种数据源的数据的加载以及开发实时分析和IoT解决方案所需的转换。