用友AE(Acceleration Engine)加速引擎是支持企业计算关键技术的 大数据处理平台,包 括处理引擎、开发工具、管理工具及数据服务。处理引擎是A E 的核心部分,它为企业提供多数据源的异构数据进行实时数据集成、提供分布式环境下的消息总线、通过Service Gateway能够与第三方系统进行服务整合访问; A E 构建了分布式计算框架,分布式计算框架依托于行、列存储以及分布式文件存储,并且集结了实时数据集成(RDI)和服务网关。AE支持企业ERP、CRM、e-Business和Collaboration等应用系统作为应用数据来源进行数据处理,给企业提供高质量的数据信息服务。
AE包含DW(Data Warehouse)和RDI(Real time Data Integration)两个核心元件。DW主要提供在海量数据情况下高性能的数据存储引擎,是一个列存储的数据仓库,完成高效的海量数据分析。 RDI实时数据集成系统是基于日志分析和消息中间件技术,内部具有高缓存,高并发的架构,实现了高性能的增量式实时数据集成和灵活的部署模型。RDI能够提供对DW的高效数据加载以及第三方系统与DW数据实时同步。
用友AE大数据处理, 支持趋势分析和数据模拟,支持结构化和非结构化数据服务,对数据仓库和数据集市进行融合,保证在海量数据情况下报表的高效查询,尤其是在BQ应用场景下,采用列存、自适应压缩、水平分区、智能索引、并行等技术,达到快于其他传统存储引擎10倍以上的效率。
用友AE大数据处理具有的几个关键特性:
突破服务器读取海量数据时内存延续增加的缺点,大大减少对硬件的负荷,从而优化查询时的速度;
针对业务关系数据库的大数据量表,划分多个数据量主题,建立相应的多维数据集;
“智能索引”可智能分配CPU、内存和硬盘,不仅能和传统索引一样高效,还可以做到100%无需人工维护;
采用最适合数据仓库系统的非共享集群架构(shared nothing架构)。实现数据的高可靠性和高可扩展性。数据的分布式存储支持云计算环境。
将海量数据以极高的压缩效率压缩后存储,避免高成本磁盘投入。
列存数据库可以产生比传统行存数据库小得多的磁盘IO,从而在海量数据查询时达到近乎实时的访问。
支持结构化和非结构化数据服务。
从性能上来看,用友AE 2路节点可以处理8TB结构化数据,分析场景实现50倍性能提升,同时可实现10~20倍的存储压缩比。单数据管理集群可以管理PB级企业数据。
AE应用价值