源码 | incubator-linkis 计算中间件 v1.3.0 |
图标 | ![]() |
分类 | 源码下载-其它源码-计算中间件 其它源码 |
语言 | 简体中文 |
大小 | 2.8MB |
软件类型 | 国产软件 |
发布时间 | |
用户评分 | 3 |
备案号 | |
官方网址 | |
软件授权 | 免费软件 |
操作系统 | Scala |
厂商 | |
下载 | ![]() |
介绍 |
Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用 Linkis 提供的 REST/WebSocket/JDBC 等标准接口, 上层应用可以方便地连接访问 MySQL/Spark/Hive/Presto/Flink 等底层引擎,同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通。 作为计算中间件,Linkis 提供了强大的连通、复用、编排、扩展和治理管控能力。通过计算中间件将应用层和引擎层解耦,简化了复杂的网络调用关系, 降低了整体复杂度,同时节约了整体开发和维护成本。 Linkis 自 2019 年开源发布以来,已累计积累了 700 多家试验企业和 1000+沙盒试验用户,涉及金融、电信、制造、互联网等多个行业。 许多公司已经将 Linkis 作为大数据平台底层计算存储引擎的统一入口,和计算请求/任务的治理管控利器。 核心特点1、丰富的底层计算存储引擎支持 目前支持的计算存储引擎 Spark、Hive、Flink、Python、Pipeline、Sqoop、openLooKeng、Presto、ElasticSearch、JDBC 和 Shell 等 正在支持中的计算存储引擎 Trino(计划 1.3.1)、SeaTunnel(计划 1.3.1) 等 支持的脚本语言 SparkSQL、HiveQL、Python、Shell、Pyspark、R、Scala 和 JDBC 等 2、强大的计算治理能力 基于 Orchestrator、Label Manager 和定制的 Spring Cloud Gateway 等服务,Linkis 能够提供基于多级标签的跨集群/跨 IDC 细粒度路由、负载均衡、多租户、流量控制、资源控制和编排策略 (如双活、主备等) 支持能力 3、全栈计算存储引擎架构支持 能够接收、执行和管理针对各种计算存储引擎的任务和请求,包括离线批量任务、交互式查询任务、实时流式任务和存储型任务 4、资源管理能力 ResourceManager 不仅具备对 Yarn 和 Linkis EngineManager 的资源管理能力,还将提供基于标签的多级资源分配和回收能力,让 ResourceManager 具备跨集群、跨计算资源类型的强大资源管理能力 5、统一上下文服务 为每个计算任务生成 context id,跨用户、系统、计算引擎的关联管理用户和系统资源文件(JAR、ZIP、Properties 等),结果集,参数变量,函数等,一处设置,处处自动引用 6、统一物料 系统和用户级物料管理,可分享和流转,跨用户、系统共享物料 7、统一数据源管理 提供了 hive、es、mysql、kafka 类型数据源的增删查改、版本控制、连接测试等功能 8、数据源对应的元数据查询 提供了 hive、es、mysql、kafka 元数据的数据库、表、分区查询 编译和安装部署
集成 MySQL JDBC 驱动 由于MySQL的许可协议限制,官方发布的 Linkis 镜像没有集成 MySQL JDBC 驱动。 然而,在现阶段,Linkis 仍然依赖这个库才能正常运行。 为了解决这个问题, 我们提供了一个脚本,它可以帮助你快速的基于官方的 Linkis 镜像创建一个集成了MySQL JDBC 的自定义镜像。 这个工具创建的镜像默认的名称是 linkis:with-jdbc。
|
截图 | |
随便看 |
|
网盟提供免费网站源码下载(asp源码,php源码,.net源码),源码动态,使用教程和源码评测;为站长推介有价值的源码,为开发者宣传源码作品。