一套支持超大数据量、支持超高并发的通用型流式大数据统计系统【同时支持单机版】JAVA源码免费、可商用的自助式BI系统

admin · 发表于 2024-11-6 11:14:18

一套支持超大数据量、支持超高并发的通用型流式大数据统计系统【同时支持单机版】JAVA源码免费、可商用的自助式BI系统一键部署，一行代码接入，无需大数据研发运维经验，轻松驾驭海量数据实时统计。

支撑百万量级数据指标，打造成本最低的数据化运营方案，帮助企业快速搭建数据化运营体系。

流式统计运算性能超越Flink/Spark 100倍！

免费、可商用的自助式BI系统，除大数据版本外，同时支持单机版！
概述

针对繁杂的数据统计需求而开发的一套集成了数据写入、数据运算和数据可视化等一系列功能，支持超大数据量，支持超高并发的【通用型流式大数据统计系统】。
目前已涵盖了各种流式数据统计场景，包括count、sum、max、min、avg、distinct、topN/lastN等多种运算，支持多维度计算，支持分钟级、小时级、天级多个时间粒度的统计，支持自定义统计周期的配置。
内置丰富的转化类函数、支持表达式解析，可以满足各种复杂的条件筛选和逻辑判断。
提供了完善的可视化查询功能，对外提供API查询接口，此外还包括数据指标管理、权限管理、统计限流等多种功能。
支持时序性数据的存储和查询。

项目特点

通用型流式数据统计或许是唯一一种有可能支撑百万量级数据指标，而成本仍可控制在企业可承受范围之内的技术。世界范围内第一个也是目前唯一一个通用型流式大数据统计系统。目前业内广泛采用的以实时计算、离线计算、OLAP为主的技术方案都太过于臃肿和笨重，如果替换为以通用型流式数据统计为主，以其他技术方案为辅的实现方式可大幅降低企业成本。使用更为轻巧和实用的技术方案应对繁琐的数据统计问题。

依据流式统计的运算特点而设计，并对每一种运算单元进行反复优化，使得每一种运算单元可以以非常低的成本，无限制复用；
可以短时间内快速实现庞大量级数据指标，而这是Flink、Spark、ClickHouse、Doris之类技术所不能比拟的；
一套系统三种用途，可作为：通用型流式大数据统计系统、数据指标管理系统和数据指标可视化系统。
对单个流式统计场景的数据量无限制，可以非常庞大，也可以非常稀少，既可以使用它完成十亿级用户量APP的DAU统计、几十万台服务器的运维监控、一线互联网大厂数据量级的日志统计、一线电商企业的订单统计、也可以用它来统计一天只有零星几次的接口调用量、耗时状况；
有完善的API，支持高并发查询统计结果；
支持数据自动备份、可以一键导入历史数据、可以方便的执行集群扩容/缩容；
前端基于最新版ArcoDesign(React版本)开发，页面清爽大气，操作体验非常好；
支持自定义存储引擎；
所有代码100%开源，方便进行二次开发；
轻量级开箱即用，一键部署、一行代码接入、普通工程人员即可轻松驾驭；

可应用在企业生产的众多环节，可以帮助职场人从容应对大量琐碎、重复性的数据统计工作，减少不必要的时间浪费，提高工作效率。

以电商企业来说：

可以为企业决策层提供其所关注的平台交易额、交易量、下单用户数、订单平均金额、人均消费金额等指标；
可以为产品经理提供其所负责产品模块的pv、uv和点击率等指标；
可以为运营人员提供关注的拉新用户量、各访问渠道用户量、站内各个广告位的点击量、点击用户数、点击收益等指标；
可以为开发人员提供其关注的接口调用量、异常量、耗时情况等指标，可以辅助进行压力测试；
可以为算法工程师提供其关注的模型训练时长、模型上线后的效果评测等指标，可以辅助进行ABTest；
可以为运维人员提供其关注的是线上集群的CPU、内存、负载状况、IO、请求数、流量传输大小等监控指标；
可以为UI设计师提供其关注的不同设计方案的点击转化对比情况；
可以为数据分析师提供全面的数据指标更准确判断业务短板、业务走势、辅助决策层有针对性制定营销计划；
可以轻松实现对各类复杂业务逻辑各主要环节的数据监控，及时发现问题并辅助问题排查。
可以快速建立数据指标之间的交叉验证体系，轻松佐证数据指标的准确性。
可以面向物联网及工业互联网场景实现各类设备上报数据相关指标统计和监控。

单机版本

除了大数据版本外，同时支持单机版。单机模式成本低廉，最低配置只需要一台4核8G的云服务器，部署运维更加简单！

适用场景：

面向中小企业或中小型业务团队使用；
面向"用完即弃"的使用场景；

有些时候对数据指标的需求，往往只在某个特定阶段。比如：新接口上线要进行接口性能优化；线上业务出现数据异常问题需要排查；数据库读写压力突然暴涨，需要确定异常请求的来源等等，对于此类问题的排查，流式统计可以起到至关重要的作用。但问题排查一般不需要持续很长时间，可能一两周甚至两三天。这种情况可以使用单机版。一键部署，轻量级使用，问题排查完，将删除即可。

一套支持超大数据量、支持超高并发的通用型流式大数据统计系统【同时支持单机版】JAVA源码免费、可商用的 ...