广告图

  高校大数据业务系统  |   大数据智能平台  |   教学诊改  |   学科分析与服务平台  |   数据共享交换平台  |   大数据实训室  |   数据治理  |   智慧教室  |   云管理平台  |   云桌面  |   云计算专业实验室  |   云安全等级保护  | 首页 > 产品详情介绍

金沙大数据智能平台 Sunm-InCenter v3.0

上传时间:2018-04-04   此产品隶属:大数据智能平台

1.概述


金沙彩票智能大数据平台Sunm-InCenter,采用业内领先技术,基于Hadoop大数据框架进行深度定制开发,结合自研可视化ETL工具、建模分析、流式处理等核心技术,是针对高教行业背景自主研发的企业级智能大数据平台,也是当前教育行业落地案例最多的大数据服务平台。

Sunm-InCenter具备极高的可用性、超强的扩展能力、优秀的处理性能,能高效处理PB级别以上的数据。平台支持图形化采集校内业务系统、互联网以及设备日志等不同类别数据,提供强大的实时和离线计算能力的同时还拥有丰富的数据挖掘分析算法,能够为高校管理、服务、教学和科研等方向提供深度的大数据综合分析结果,从而为高校用户构建海量数据深度分析基础,挖掘数据潜在的核心价值,辅助决策。
 
 

2.平台亮点


2.1.精准可视化的数据治理

Sunm-InCenter通过灵活拖拽,自主设计数据采集、适配和转换的流程,并提供可视化的高校智能ETL工具箱,实现数据的图形化采集与监控管理。同时,Sunm-InCenter成功采集与治理过的高校数据源超过40种,每天处理的数据条目超过300万,有着非常丰富的高校数据采集落地经验,可适应高校不同现状的数据治理需求。
 


2.2.高效实时的数据处理

Sunm-InCenter提供了批处理、分时处理和实时处理等多种数据处理方式,满足高校不同类别数据产生因时间、空间及格式不同带来的数据多样性;同时提供了Hash、Range、List和Datetime等分片技术,实现数据处理的动态均衡、弹性伸缩,提升数据处理的时效性。
 


2.3.极致性能与高效检索

Sunm-InCenter具备出色的多任务并行处理及分布式计算性能,在性能及扩展性方面具备低延迟、高吞吐、强容错、易扩展等特点;结合ElasticSearch和金沙彩票针对高校行业自定义分片技术,达到毫秒级全文搜索,可实现单条查询速度3ms以内、十亿+条日志量检索时间在7s以内。
 


2.4.丰富的高校算法模型

Sunm-InCenter集成Spark计算引擎,结合多种分布式算法和标准语言算法,形成内容丰富的金沙高校算法库(含学生特征、心理异常等50多种算法),让高校大数据分析更具有战略性和预测性;内置大量高校常用算法模型。用户通过接口实时调用,实现自主大数据分析,实现数据的价值转化,满足高校自主开发应用、大数据竞赛及灵活的数据分析需求。
 


2.5.开放数据标准与生态体系

Sunm-InCenter提供了对外统一的API接口,支持SQL、R语言、Python、Scala、Java等多种语言,可无缝对接第三方主流BI,从而实现快速自主构建大数据应用环境,满足高校开发和运维的需求。整个产品设计基于业内领先的主流开源技术进行深度定制,并采用模块化设计,可实现在不影响业务正常运行的情况下版本无缝升级。
 


2.6.极为严密的安全防护体系

Sunm-InCenter融合了权限控制、数据加密脱敏、审计隔离、报警阻断和多租户安全等技术,建立标准规范的大数据安全防御体系,全面保障用户的数据绝对安全。同时利用先进的编码容错技术,实现分步式数据存放与恢复,将平均无故障时间提高一倍。
 
 

3.平台功能


3.1.平台体系架构说明


Sunm-InCenter是一套完整的大数据平台构架,涉及9个关键的核心部份,包括智能数据采集中心InCenter-DC、智能数据预处理中心InCenter-PT、智能存储检索中心InCenter-SR、智能实时计算中心InCenter-RC、智能挖掘算法中心InCenter-MA、智能数据管理中心InCenter-DM、智能统一API中心InCenter-UA、智能数据运维中心InCenter-DO,以及智能数据安全中心InCenter-DS。整个平台的技术架构图如下所示:
 
 
 

3.2.智能数据采集中心InCenter-DC


InCenter-DC通过接口读取、数据库获取、网络爬虫和智能录入4种方式采集学校数据,全量存储在融合HIVE、MySQL、HDFS多种集群的数据仓库中,保证数据的原始性和多元性。此外,InCenter-DC支持结构化、半结构化以及非结构化数据,支持FTP、HTTP、Oracle和Syslog等采集方式。同时开创性地采用了可视化ETL工具设计,用户可灵活拖拽,自主设计数据采集,并提供图形化的数据报告,用于数据监控与质量追踪。

 
 

3.3.智能数据预处理中心InCenter-PT


InCenter-PT是数据预处理工具,可将缺失数据、错误数据、不可用数据等进行治理,结合学校标准和国家标准规范,以学校数据进行重新梳理,以保证大数据分析的原始数据质量。InCenter-PT提供了数据缺失修复、数据重复处理、数据错误纠正、数据不可用适配等多种数据治理手段,实现了对高校不同数据源进行针对性的数据数据清洗与治理工作。
 
 
 

3.4.智能存储检索中心InCenter-SR


InCenter-SR将数据存储在融合了MySQL、Oracle、HDFS和Hive的一体化异构数据仓库中,并对数据进行切割、过滤、归纳、整理、排列等处理,可实现高校大数据的分布式存储,并且提供了高性能的并行计算能力,同时提供了PB数量级的秒级搜索功能,从而给客户提供强大、横向可扩展的大型分布式数据存储中心。

InCenter-SR提供了全量数据备份功能,采用增量备份,结合版本管理和时间轴的技术,实现将学校历史数据进行抽取存放,并且结合数据压缩技术,可以将高校大数据平台中的数据存放10年以上,并实现历史数据的查询与分析。InCenter-SR内置聚合建模分析功能,提供了超过30种聚合模型,采用数据量化、标签化、黑箱去重等技术,将高校每天百万级的日志记录和流水记录进行数据聚合,用于实时的数据挖掘与深度分析。
 
 
 

 

3.5.智能实时计算中心InCenter-RC


InCenter-RC采用了基于Flume的实时流数据采集,基于Kafka实现实时流调度处理,同时通过高校的实时流数据聚合技术,采用Spark Stream实现实时流计算功能,实现了优秀的大数据实时计算与分析能力。InCenter-RC可以实时处理海量数据、在线统计分析,涵盖批处理、流处理、机器学习、图计算、SQL等多种应用模式,实现分布式存储、并行计算和自动容错等功能,提供低延迟、高性能的数据处理。
 
 
 

3.6.智能挖掘算法中心InCenter-MA


InCenter-MA内置了大量高校大数据与机器学习算法,包括分类、聚类、回归、频度关联和神经网络等,形成学生素质评估、行为异常、心理异常等大数据分析模型。同时InCenter-MA内置超过50种高校行业定制优化的专用算法,用于深度挖掘分析大数据平台中的海量数据,从而快速构建基于高校业务构建大规模数据挖掘分析。
 
 
 

3.7.智能数据管理中心InCenter-DM


InCenter-DM数据管理中心涵盖元数据管理,数据查询,数据分类,文件管理。元数据管理:统一管理存储于大数据平台全部Hive库的元数据,具体功能为查看Hive库表的字段,类型,注释;查看Hive库表的详细信息,如创建用户,创建时间,大小等,以及详细存储信息。数据查询:提供各个级别数据查询,包含存储于raw库中的全量源数据;存储于model库中的,经过ETL后的标准化数据;存储于app库中的汇聚分析结果数据等。数据分类在数据管理平台按照存储方式分为原始库,标准库,主题库三类数据仓库,支持按照不同分类数据进行查询,管理。文件管理统一管理大数据平台的所有文件,如上传文件,添加目录,删除文件等。

 
 

3.8.智能统一API中心InCenter-UA


InCenter-UA是通过整合大数据平台中各类型异构的数据库,实现接口统一封装与数据调度,屏蔽由于语言和工具导致的接口差异,对外提供标准的JDBC接口,同时支持R语言、Python、Java等多种开发语言,并且支持对接第三方BI开发工具,提高用户数据查询、数据存储管理和自主开发的易用性。
 
 
 

3.9.智能数据安全中心InCenter-DS


InCenter-DS是基于大数据基础平台,采用加密、认证、审计、快照以及容灾备份等技术,全面建设涵盖访问安全、运维安全、内容安全和存储安全的防御体系。同时,InCenter-DS在服务组件交互中采用SSL链路加密机制,以保证链路之间传递信息不会被获取,从而保障数据安全。InCenter-DS还提供用户权限配置,可授权到字段级别,同时支持敏感字段加密、用户读写权限分配等功能,从而提高用户数据访问的安全性。
 

 

3.10.智能数据运维中心InCenter-DO


InCenter-DO构建了大数据平台的管理运维中心,负责大数据平台中的数据查询、数据管理、用户管理、存储管理、集群管理和用户管理等工作,采用图形化工具,实现对成百上千节点的运维管理,同时支持平台性能、访问等异常告警功能并上报系统管理员,降低用户运维管理的技术难度,做到意外事前预测和事后追踪双重保障。
 


 
 
4.应用案例