源码 | DataBand(数据帮) v1.0 |
图标 | ![]() |
分类 | 源码下载-软件开发-java源码-DataBand java源码 |
语言 | 简体中文 |
大小 | 13.2MB |
软件类型 | 国产软件 |
发布时间 | |
用户评分 | 3 |
备案号 | |
官方网址 | |
软件授权 | 免费软件 |
操作系统 | Java |
厂商 | |
下载 | ![]() |
介绍 |
DataBand(数据帮),快速采集清洗,任务管理,实时流和批处理数据分析,数据可视化展现,快速数据模板开发,ETL工具集、数据科学等。是轻量级的一站式的大数据平台。 我们致力于通过提供智能应用程序、数据分析和咨询服务来提供最优解决方案。 技术栈 存储 分布式存储:HDFS、HBase 行式关系存储:MySQL、Oracle 列式存储:ClickHouse 列族存储:HBase、Cassandra 文档库:ElasticSearch、MongoDB
计算 计算引擎:Presto、Hive 流处理:Storm、Flink
集成: Flume Filebeat Logstash 前端技术栈 Vue Element UI 后端技术栈 Spring Boot Spring Cloud MyBatis 工程说明 大数据模拟数据源生成数据(数据准备工程) 数据源: databand-mock-api:接口模拟工具,模拟业务系统api; databand-mock-log:日志模拟工具,手动产生大量的日志数据供调试测试,比如Syslog、log、CSV生成、Json、MySQL注入、RPC写、NetCat等; databand-mock-mq:日志模拟工具,通过MQ写产生大量的日志数据供调试测试,比如RabbitMQ写、Kafka写等; databand-mock-hadoop:大数据日志模拟工具,hdfs和mapreduce相关; 数据采集清洗(采集清洗工程) databand-etl-mysql_ods:采集清洗mysql数据比如MySQL到ods临时中间库(包括Redis、Kafka等); databand-etl-mysql_olap:采集清洗mysql数据到OLAP数据仓库; databand-etl-mysql_hadoop:采集清洗mysql数据到Hadoop分布式存储; databand-etl-logfile_ods:采集清洗半结构化日志文件,比如json、xml、log、csv文件数据到ods临时中间库; databand-etl-logfile_olap:采集清洗半结构化日志文件数据到OLAP数据仓库; databand-etl-logfile_hadoop:采集清洗日志文件数据到Hadoop分布式存储; databand-etl-mq_ods:通过MQ消费采集数据,入ods库; databand-etl-mq_olap:通过MQ消费采集数据,入OLAP库; databand-etl-mq_hadoop:通过MQ消费采集数据,入Hadoop;- databand-ml:数据科学工程;
数据分析作业(定时作业调度工程) databand-job-springboot:定时任务作业调度服务,支持shell,hive,python,spark-sql,java jar任务。 databand-streamjob-springboot:流数据作业,支持kafka数据消费至clickhouse、mysql、es等。 数据分析门户(后端管理和前端展示工程) databand-admin-ui:前后端分离的纯前端UI工程,数据展现(目前未开发); databand-admin-thymeleaf:后端权限、关系、站点配置管理(前后端不分离,正在开发的版本),基于若依框架; databand-admin-api:数据api服务; databand-admin-tools:BI工具集; 实时流数据 databand-rt-flinkstreaming:flink实时数据流处理。主要是PV、UV,涉及窗口、聚合、延时、水印、统计、checkpoint等基本用法; databand-rt-redis:实时处理的一些缓存存储; databand-rt-sparkstreaming:spark实时数据流处理,和flink的功能近似,主要structured streaming; |
截图 | |
随便看 |
|
网盟提供免费网站源码下载(asp源码,php源码,.net源码),源码动态,使用教程和源码评测;为站长推介有价值的源码,为开发者宣传源码作品。