轻量级数据交换平台,用于数据在不同存储介质中快速传递,并解决数据交换过程中面临的复杂性、兼容性等问题
设计上采取微服务架构形态,上下层服务松耦合,易于进行个性化的,高拓展性的迭代开发。
大数据平台 WeDataSphere 与社区用户共同研发的的新版数据交换工具,支持异构数据源之间的结构化和非结构化数据传输同步。 抽象了一套统一的数据源和同步作业定义插件,允许用户快速接入新的数据源,并只需在数据库中简单配置即可在页面中使用。 基于插件化的框架设计,及计算中间件 Linkis,Exchangis 可快速集成对接 Linkis 已集成的数据同步引擎,同步作业转换成 Linkis 数据同步引擎的数据同步作业。 借助于 Linkis 计算中间件的连接、复用与简化能力,Exchangis 天生便具备了高并发、高可用、多租户隔离和资源管控的金融级数据同步能力。
轻量级数据交换平台,用于数据在不同存储介质中快速传递,并解决数据交换过程中面临的复杂性、兼容性等问题 ...
核心特点1. 轻量化的数据源管理2. 高稳定,快响应的数据同步任务执行近实时任务管控
快速抓取传输任务日志以及传输速率等信息,对多任务包括CPU使用、内存使用、数据同步记录等各项指标进行监控展示,支持实时关闭任务; 任务高并发传输
多任务并发执行,并且支持复制子任务,实时展示每个任务的状态,多租户执行功能有效避免执行过程中任务彼此影响进行; 任务状态自检
监控长时间运行的任务和状态异常任务,中止任务并及时释放占用的资源。
3. 与DSS工作流打通,一站式大数据开发的门户- 实现DSS AppConn包括一级 SSO 规范,二级组织结构规范,三级开发流程规范在内的三级规范;
- 作为DSS工作流的数据交换节点,是整个工作流链路中的门户流程,为后续的工作流节点运行提供稳固的数据基础;
4. 支持多种导数引擎- 支持Sqoop和DataX引擎进行多种异构数据源之间的导数
整体设计架构设计
轻量级数据交换平台,用于数据在不同存储介质中快速传递,并解决数据交换过程中面临的复杂性、兼容性等问题 ...

链接:https://pan.quark.cn/s/7a2bc34370fc
提取码下载:
|