大数据数据处理平台

Big Data Processing Platform(TROY ETL)

ETL 大数据数据处理平台,是利用开源大数据生态系统,包括Hadoop、Oracle、MongoDB、Hive、MapReduce、Kafka、Hbase、Storm等,将数据从各种业务系统的多种数据库来源中抽取(extract)、转换(transform)、加载(load)后,最终按照预先定义好的数据模型,将数据加载到数据仓库的企业级大数据数据处理平台。

ETL 大数据数据处理平台,将数据抽取、转换和维护过程进行简化和自动化,能够快速便捷的完成涵盖各种数据结构的转换、过滤、清洗工作,同时支持Windows和Linux等运行环境,全程可视化操作及完善的监控体系,为业务人员、运维人员、开发人员从数据集成设计、调度运维、功能扩展及支持提供了完善的支撑。

ETL平台理念 ETL特点与优势 ETL核心功能 ETL典型应用

ETL平台理念

大数据层

平台提供对分布式文件系统的支撑,同时对创意企业级大数据平台(D+)提供的大数据环境进行了功能优化,对比其他开源环境拥有更高的执行效率和运行效率。支撑的组件包括Hadoop、Oracle、MongoDB、Hive、MapReduce、Kafka、Hbase、Storm等。

内核层

提供安全加解密、线程管理、数据库驱动、消息传递、日志管理等功能,同时可通过插件接口实现对新功能的自定义扩展。

引擎层

提供作业、转换、批处理任务、元数据、系统数据交换引擎功能。

应用层

提供可视化的ETL任务设计器、批量的任务调度器、支持动态集群调度管理器、系统注册器和分级的日志管理功能。