广告图

  知识大讲堂  | 首页 > 知识大讲堂

学霸级的速度你不懂?智能实时计算中心为你揭秘

2018-01-25   来源:知识大讲堂

 
在大数据数据源中,许多系统需要进行实时的数据采集与分析计算,并根据实时数据做出分析结果,如实时计算监控数据、消费数据、位置数据、日志数据等。这就需要金沙大数据平台的智能实时计算中心InCenter-RC来实现了。
 
嗯,快速读题,心算秒答,还顺带总结做题规律,这不就像班上那个秒杀众人的学霸嘛,一直不明白学霸的脑结构是怎样的我,可得好好认识一下今天文章的主角--金沙大数据平台智能实时计算中心InCenter-RC
 

金沙大数据平台智能实时计算中心InCenter-RC,提供了针对实时数据的研判处理中心,主要通过实时采集工具--InCenter-DC中的flume进行实时数据采集,通过kafka实时调度总线,对实时数据进行解析存储、聚合分析等多种操作流程,实现时间窗口的统计和在线的数据挖掘和分析,最终为系统做出实时判断告警,实时推荐。
 


智能实时计算中心InCenter-RC架构设计图

 
01快速读题--消息订阅分布系统kafka
金沙彩票在InCenter-RC中,引入Kafka分布式消息系统,并跟Sunm InCenter进行深度整合,满足项目中的水平扩展和高吞吐率要求,并能与上端算法分析应用进行深度集成与优化。InCenter-RC中Kafka是一种分布式的,基于发布/订阅的消息系统。
 
02心算秒答--实时计算系统spark streaming
InCenter-RC中的Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafka、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets,从数据源获取数据之后,可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。
 
03总结做题规律—实时数据挖掘与分析
InCenter-RC还可以将处理结果存储到文件系统,数据库和现场仪表盘。在原有系统的基础上,使用Spark的其他子框架,如集群学习、图计算等,对流数据进行处理,为系统做出实时判断告警,实时推荐。
 
果然学霸就是学霸,都是计算机级别的脑子,秒杀众人。当然我还更厉害,用了金沙大数据的智能实时计算中心,秒杀学霸。
 
 
推荐阅读:

得数据者得天下||金沙大数据平台V3.0重磅来袭

看金沙大数据平台引领风骚,席卷哪些高校?

得数据者得天下||揭秘金沙大数据平台之InCenter-DC 智能数据采集中心

治大国如烹小鲜,治数据只能推翻重来?

数海遨游,怎能少了“导航”—智能存储检索中心

得数据者得天下|同一个世界,同一个API接口

给你一个大数据科研实践平台,你能撬动地球吗?

 
金沙彩票年终盘点

【铭记2017】致敬那些奋力前行的日子

【铭记2017·技术篇】人工智能战略启动 自研产品内核升级

【铭记2017·探索篇】研讨交流学习,引领教育新技术创新探索

【铭记2017·人物篇】那些奋斗不息的身影,是金沙彩票腾飞的见证

【铭记2017·大数据篇】如此惊艳的大数据报告,你值得一看!

上一条

下一条