企业级大数据平台 Big data Enterprise Platform(D+)

D+ 是基于开源Apache Hadoop,综合大数据市场需求,十年磨一剑,打造的企业级大数据平台产品。

D+ 集成生态圈中多种优秀组件,实现了采集、处理、分析、存储、搜索、算法、服务、安全等全域一体化的数据加工能力,通过实时动态分析、离线数据模型分析、挖掘、预测等手段,为企业级用户提供强大的分析、决策、创新等支撑能力。

D+ 同步最新的Apache Hadoop 稳定发行版,集成了最新稳定的Pig、Hive、Ooize、Tez、Storm、Spark、HBase、Solr、Kafka、Flume、Sqoop、Knox、Ranger、Hue、Zookeeper等组件,极大增强其兼容性、安全性、稳定性, 解决了版本、组件等相互依赖问题,使用户能够专注于数据存储、处理等业务应用,而不用关心底层平台问题。


特点与优势

D+ 平台从用户角度出发,对Apache Hadoop进行了系列技术开发和增强,解决了开源的Hadoop面临的性能和稳定性问题,形成了企业级大数据平台完整解决方案,从而将用户从底层平台中解放出来,使其能更好地专注企业业务,实现企业数据的新价值。

一体化打包:平台集成了Hadoop、Pig、Hive、Tez、Storm、Spark、HBase、Flume、Ranger、Zookeeper等组件,完成了大数据一体化打包,解决了开源组件复杂的版本管理、兼容性、组件冲突、编译失败等问题,降低了迈入大数据的技术门槛。

高可靠的企业级运维管理:平台通过提供数据存储、分布式计算、数据分析挖掘以及数据可视化的整套支持,解决了企业在GB到PB级数据分析领域碰到的各种问题。作为企业级大数据平台,提供了友好的可视化界面,支持集群的安装、配置、监控、预警等全方位、一站式服务。

数据全生命周期管理:平台支持数据移动、管道协调、发现和生命周期管理,使用户可以快速地将数据及相关处理和管理任务上传到Hadoop集群。全过程具有完善的路线图,极大地减少了开发和管理人员处理复杂数据的痛苦。

核心功能

集中监管:D+ 平台具备集中监管能力,不仅支持群集运行状况可视化管理,还提供相应工具来管理配置、优化性能。其中D+ Manger具有集群自动化安装、中心化管理、集群监控、报警等功能,将安装时间从几天缩短到几小时,运维人员从数十人降低至几人,极大地提高了集群管理的效率,降低企业运维成本。

数据存储:平台的核心组件由 YARN(Yet Another Resource Negotiator)和HDFS(Hadoop Distributed File System)构成。 YARN是 Hadoop 的架构中心,支持同时以多种方式处理数据。YARN 提供资源管理和可插拔架构,以支持广泛的数据访问方法;HDFS 为大数据提供可扩展、容错、低成本的存储,具有多副本、负载均衡、机架感知、多租户访问、文件误删除恢复、分布式缓存等特性。

数据访问:平台为各种处理引擎提供标准服务,支持同时以多种方式与相同数据进行交互,涵盖批处理、交互式 SQL、NoSQL 的实时(低延时)访问。
针对目前在Hadoop 环境上运行交互式SQL查询大规模数据集的需求的不断高涨,平台优化了Hive的后端引擎处理模式,集成了Impala 、HAWQ等多种方式来为结构化数据提供高效的、可扩展的引擎。

数据监管整合:平台具有数据监管的强大能力,提供可靠、可复用以及简单的方式来管理数据流在 Hadoop 中的输入输出。此控制结构拥有一套简单易用、自动化的工具,能快速地将Hadoop 中的数据、元数据、应用集成到企业已有的数据架构中。

数据安全:平台按照金融和运营商等数据密集型行业对产品高可靠性、高稳定性和高安全性的要求进行设计与开发,能够有效支撑企业级核心业务数据的处理与分析。
平台提供了身份验证、授权、日志审计以及数据保护等关键功能,能够满足企业安全要求,确保 D+ 集群安全。