混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统

源码资源网

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统包含丰富的处理器组件，提供Shell、DSL、Web配置界面、任务调度、任务监控等功能

特性

• 简单易用
• 可视化配置流水线
• 监控流水线
• 查看流水线日志
• 检查点功能
• 流水线调度
• 扩展性强:
• 支持自定义开发数据处理组件
• 性能优越：
• 基于分布式计算引擎Spark开发
  
  

功能强大：

• 提供100+的数据处理组件
• 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等
• 集成了微生物领域的相关算法
  
  

架构

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

要求

• JDK 1.8
• Scala-2.11.8
• Apache Maven 3.1.0
• Spark-2.1.0 及以上版本
• Hadoop-2.6.0
  
  

开始

• install external package
  
  

1. mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/spark-xml_2.11-0.4.2.jar -DgroupId=com.databricks -DartifactId=spark-xml_2.11 -Dversion=0.4.2 -Dpackaging=jar
   
2.     mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/java_memcached-release_2.6.6.jar -DgroupId=com.memcached -DartifactId=java_memcached-release -Dversion=2.6.6 -Dpackaging=jar
   
3.     mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/ojdbc6-11.2.0.3.jar -DgroupId=oracle -DartifactId=ojdbc6 -Dversion=11.2.0.3 -Dpackaging=jar
   
4.     mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/edtftpj.jar -DgroupId=ftpClient -DartifactId=edtftp -Dversion=1.0.0 -Dpackaging=jar

复制代码

• mvn clean package -Dmaven.test.skip=true
  
  

1. [INFO] Replacing original artifact with shaded artifact.
   
2.     [INFO] Reactor Summary:
   
3.     [INFO]
   
4.     [INFO] piflow-project ..................................... SUCCESS [  4.369 s]
   
5.     [INFO] piflow-core ........................................ SUCCESS [01:23 min]
   
6.     [INFO] piflow-configure ................................... SUCCESS [ 12.418 s]
   
7.     [INFO] piflow-bundle ...................................... SUCCESS [02:15 min]
   
8.     [INFO] piflow-server ...................................... SUCCESS [02:05 min]
   
9.     [INFO] ------------------------------------------------------------------------
   
10.     [INFO] BUILD SUCCESS
    
11.     [INFO] ------------------------------------------------------------------------
    
12.     [INFO] Total time: 06:01 min
    
13.     [INFO] Finished at: 2020-05-21T15:22:58+08:00
    
14.     [INFO] Final Memory: 118M/691M
    
15.     [INFO] ------------------------------------------------------------------------

复制代码

页面展示

• 登录:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 流水线列表:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 创建流水线:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 配置流水线:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 运行流水线:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 监控流水线:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 流水线日志:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 流水线组列表:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 配置流水线组:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 监控流水线组:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 运行态流水线列表:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 流水线模板列表:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 数据源:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 调度:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

• 自定义组件:
  
  

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统 ... ... ...

游客，本帖隐藏的内容需要积分高于 2 才可浏览，您当前积分为 0

提取码下载：

文件名称:提取码下载.txt 
下载次数:1  文件大小:13 Bytes  售价:299金钱 [记录]
下载权限: 不限 [购买VIP]   [充值]   [在线充值]   【VIP会员5折；永久VIP免费】

安全检测，请放心下载