基于Hadoop大数据平台构建企业级的数据仓库,从ERP、MES、SRM等多个已经应用的系统,以及非结构化数据源中抓取数据,对数据进行抓取、采集、清洗、排重、加工、 整合,建立统一的数据采集平台,并对数据进行归类,建立不同集市的数据类,构成企业级的数据仓库。
基于Flink等分布式批流一体处理计算引擎,可支持分布式文件系统、SQL引擎、实时流处理、联合查询、全文检索等,提供内存计算引擎,利用内存计算技术实现快速分布式处理,利用大数据平台分布式算法实现数据的秒级运算。
基于先进的神经网络算法、聚类算法等模型,在企业不同的业务领域建立数据挖掘模型,对数据进行深度分析,并建立数据预警与模拟机制,找出不同数据的隐藏关联关系,帮助企业找出数据发生的原因与源点,并基于现有数据对未来数据的走向进行预测。
根据企业需要定制OLAP分析工具,并能够兼容市场上主流的数据分析软件,可实现可视化交互查询、图表展示、移动展示、地图展示、管理驾驶舱等,实现数据的移动端展示。
QomoAI平台总体功能架构:接入异构数据源、设备接入、数据治理、数据资产、算法库 、数据建模、组件化数据服务、BI可视化
接入各业务系统数据源配置、数据认证、规则定义,满足多种数据源
可自动连接多样化数据库,包括关系型数据库、非关系型数据库、时序数据库等;
·对于常用业务数据库进行了标准化配置;·可自定义调度数据接入任务;
·将多个源的数据和信息整合到一个连接平台;· 让异构系统的集成变得简单;
主题:中制边缘网关设备对数据进行初步清洗和压缩,同时内置了数据判定、安全判定、故障判定等数十种边缘算法。
·支持设备接入、边缘网关、协议解析、边缘计算、网路配置、访问控制、传感器和控制器等。
·网关体积小、轻便、即插即用,支持主流接口、主流协议的数据采集。
·内置数据判断、基础算法,对采集数据进行边缘层的清洗、压缩、加密、存储、断点传输等处理。
·内置Node-RED开发环境,可快速实现各种场景下的数据处理。
主题:从数据”采、存、管、用“角度全局管控,打通数据治理全过程,一站式提供数据集成、可视化建模、数据资产治理等能力,助力企业打造标准化数据体系
·数据采集:对各业务系统数据源接入,并通过组件化方式数据集成配置,任务化数据采集。
· 数据存储:基于湖仓一体数据存储模型,构建统一的大数据仓库存储、离线存储、实时存储。
· 数据管理:建立数据标准体系、整合质量评估、核验及质量报表形成数据质量管理闭环。
· 数据服务:提供流程化的数据API组件、数据安全服务、资产服务、数据可视化,让数据可知可视。
主题: 建立统一的数据资产分类、资产目录,从不同数据流到资产目录及资产列表,包括元数据、数据集、数据标准、数据质量、数据API均可资产化,服务化。
·资产定义:支撑对企业数据资产的定义,包括资产属性、资产之间的关联关系。
·全文检索资产:根据资产编码、资产分级分类、资产名称、资产级别全面检索,让企业数据资产随时可用。
·资产目录管理: 将企业数据资产进行分类规划,结合应用场景构建资产目录,活化资产目录信息,及时响应资产的变更情况。
·资产权限控制:根据角色和权限设置数据资产的方案权限,保护数据的安全性。
主题:能够为企业输出一套完整的指标体系,并建立统一的指标管理中心,解决企业指标口径不一致、指标重复开发、指标管理分散、指标规范混乱等痛点问题
·统一指标管理:对指标的属性管理、层级管理、生命周期管理提供线上统一标准。
·指标建模:个性化配置指标规则,指标计算公式,各指标之间关联关系。
·指标可视化:随时查看指标数据、了解指标趋势、提供可视化方式查看指标,多维指标分析
主题: 平台内置60多种算法,为用户提供从数据预处理、模型训练、模型评估等图形化开发和部署支持
·图形化算法组件:提供算法组件库,包括统计分析、机器学习、深度学习、特征工程等算法组件。
·流程化配置:构建大数据流程引擎,通过流程中组件拖拉拽完成算法模型的搭建与配置。
·模型训练:通过离线任务进行模型训练,算法参数调优,获取最优模型算法。
·模型专题库:积累行业算法模型库,如销售预测算法、设备健康诊断算法、设备故障样本库等
主题:提供企业数据偏差分析,根据前期梳理的偏差业务逻辑搭建数据偏差模型,得知计划与实际偏差原因、数据挖掘偏差明细。
·组件化搭建数据模型:构建若干偏差分析组件,包括计划数据源、实际数据源、验证组件、结果组件、数据对比组件等,业务人员进行偏差原因分析。
·偏差分析可视化: 将数据模型结果结合可视化看板进行数据联动、数据穿透。
·偏差原因挖掘: “透过现象看本质”,根据计划与实际数据偏差结果反向追溯偏差原因,从而协助企业找到最终产生问题的解决办法。
主题: 平台提供多种可视化方式,包括类Excel报表、在线报表、BI可视化看板等,以满足不同业务群体的个性化需求。
·可视化探索分析:简单拖拽即可生成可视化图表进行探索分析,制作过程所见即所得。
·Excel融合分析:面向Excel用户,在Excel中实现自助探索分析,支持各类Excel复杂公式计算。
主题: 旨在满足“一切业务可配置、可拖拽”,采用前后端分离架构,少量代码即可构建复杂业务场景,帮助解决项目上70%的代码重复工作,满足大多数业务场景。
·提供可视化表单设计器:通过拖拽组件即可完成表单构建,搭建复杂业务表单,支持业务数据源关联和表单数据处理的自动化配置。
·支持自定义表单组件功能:支持业务功能组件化,如人员、角色、部门、供应链组件等。
·提供多表嵌套、数据关联:配置化即可扩展复杂表单逻辑,包括一对一、一对多、多对多的表关联,主子表逻辑,表单视图内嵌等,并支持提供联动逻辑的代码能力。
·精细化数据权限控制:控制到行级,列表级,表单字段级,实现不同人看不同数据,不同人对同一个页面操作不同字段。
·多数据源方式:极其简易的使用方式,在线配置数据源配置,便捷的从其他业务系统抓取数据。
自主研发,全方位保障数据安全,丰富数据组件、多样化数据源、数据可知可视
平台一键部署、安装 ; 九大模块可独立或组合使用,满足各类不同数据应用场景
支撑多源异构数据 ; 打通数据孤岛 ; 跨源数据交换方式 ; 易集成
数据服务组件化 ; 数据治理全过程可视化 ; 全角色视角
平台数据建模与ETL设计于一体,从数据接入到数据理、加载以及模型设计、调度管理等,在建模的同时同步完成ETL流程设计,提供一站式数据建模及处理服务
提供丰富的数据处理组件,如输入输出、数据行处理、数据列组件、数据融合组件、表转置组件、数据同步组件、统计组件、脚本组件、其他组件、大数据组件等,用于快速完成数据的传输、清洗转换、装载落地等处理过程。
流程化运行,基于“批&流”双计算引擎的数据交换,数据链路统一管理、提供可发布的数据组件,以API方式给各业务系统提供支撑
中制QomoAI覆盖企业八大业务场景,提供高可用、高性能、可扩展的大数据全链路一站式解决方案
1.大数据数仓构建 :随着企业数据规模的快速增长,对数据的处理和存储需求更加多样,单一类型的数据仓库已经不满足实际的业务场景,离线开发平台集成多种计算引擎,可将多和类型和来源的数据进行整合,构建不同数据类型的仓库集市,支持不同集群引擎管理,支持规模化项目团队协同开发和统一管理。
2.数据流程化引擎 :大规模数据开发场景下,传统的开发工具需要创建一个或多个复杂任务,每个任务处理业务场景的代码逻辑耦合性高,运维困难,QomoAI离线开发平台引用了流程化设计,可根据不同的业务场景创建开发流程,并通过多任务自动依赖的方式形成任务流,降低数据处理的复杂性,提高开发和运维效率。