数据对接-ETL之StreamSet学习之旅一

StreamSet 专栏收录该内容
25 篇文章 216 订阅 ¥99.00 ¥19.90

学习系列

  1. 数据对接-ETL之StreamSet学习之旅一
  2. 数据对接-ETL之StreamSet学习之旅二
  3. 数据对接-ETL之StreamSet学习之旅三
  4. 数据对接-ETL之StreamSet学习之旅四
  5. 数据对接-ETL之StreamSet学习之旅五
  6. 数据对接-ETL之StreamSet学习之旅六

StreamSet介绍

StreamSets是一个侧重数据集成、数据加工流程构建的平台,也是一个开源的产品。通过StreamSets,用户可以方便的接入不同的数据源,并且完成数据加工流程的构建。
SteamSets有可视化的数据流构建工具,并且能够对运行态的数据应用进行监控。该应用更侧重于数据的接入和数据流的构建、监控和管理
StreamSets数据操作平台是唯一旨在简化如何构建,执行和操作企业数据流的平台。构建在开源核心上,开发人员可以轻松构建批处理和流式数据流,而且代码少,而运营商使用云本地产品将数十或数百个数据流聚合到拓扑中,并通过实时可见性和性能控制集中管理。

根据StreamSet的介绍,我司准备引进其与第三方的数据源进行对接,继而把数据流入到我司的大数据平台。


StreamSets使用指南,streamsets2.6.0.1--使用案例详细文档,streamsets组件汉化,大数据最火的平台------> streamsets,StreamSet之数据流从JDBC到Hbase,StreamSets_从传统关系型数据库Mysql到Hbase的实时数据采集(... Apache_Nifi_vs_StreamSets简单比较,streamsets数据采集平台介绍, docker-streamsets安装,StreamSet学习(一)Pipeline_Concepts_and_Design ,streamsets2.6.0.1搭建开发环境,利用streamSet搭建一个简单的数据管道,StreamSets_简介, StreamSets_下载安装教程 08-08 Streamsets相关资料汇总,StreamSets快速安装与介绍,StreamSets_安装JDBC驱动指北 11-09 streamsets2.6.0.1执行监控接口,Streamsets应用--Kafka2ES 08-21 streamsets编译时的那些坑,StreamSets从MySQL增量更新到Hive 10-10 Spark安装部署,Redis安装部署 12-16 StreamSets-安装和运行Demo 05-24 StreamSets-用户认证,Streamsets的所见的问题,streamsets Data Collecotor启动流程分析StreamSets使用指南,streamsets2.6.0.1--使用案例详细文档,streamsets组件汉化,大数据最火的平台------> streamsets,StreamSet之数据流从JDBC到Hbase,StreamSets_从传统关系型数据库Mysql到Hbase的实时数据采集(... Apache_Nifi_vs_StreamSets简单比较,streamsets数据采集平台介绍, docker-streamsets安装,StreamSet学习(一)Pipeline_Concepts_and_Design ,streamsets2.6.0.1搭建开发环境,利用streamSet搭建一个简单的数据管道,StreamSets_简介, StreamSets_下载安装教程 08-08 Streamsets相关资料汇总,StreamSets快速安装与介绍,StreamSets_安装JDBC驱动指北 11-09 streamsets2.6.0.1执行监控接口,Streamsets应用--Kafka2ES 08-21 streamsets编译时的那些坑,StreamSets从MySQL增量更新到Hive 10-10 Spark安装部署,Redis安装部署 12-16 StreamSets-安装和运行Demo 05-24 StreamSets-用户认证,Streamsets的所见的问题,streamsets Data Collecotor启动流程分析


StreamSet安装

安装StreamSet有多重方式,因为其是开源的项目,因此理论上你可以下载源代码,直接编译安装,这里介绍两种方式:

1. RPM安装

这里以Centos7.5为例进行安装。

导航至 https://streamsets.com/opensource ,按图示选择下载。
StreamSets使用指南,streamsets2.6.0.1--使用案例详细文档,streamsets组件汉化,大数据最火的平台------> streamsets,StreamSet之数据流从JDBC到Hbase,StreamSets_从传统关系型数据库Mysql到Hbase的实时数据采集(... Apache_Nifi_vs_StreamSets简单比较,streamsets数据采集平台介绍, docker-streamsets安装,StreamSet学习(一)Pipeline_Concepts_and_Design ,streamsets2.6.0.1搭建开发环境,利用streamSet搭建一个简单的数据管道,StreamSets_简介, StreamSets_下载安装教程 08-08 Streamsets相关资料汇总,StreamSets快速安装与介绍,StreamSets_安装JDBC驱动指北 11-09 streamsets2.6.0.1执行监控接口,Streamsets应用--Kafka2ES 08-21 streamsets编译时的那些坑,StreamSets从MySQL增量更新到Hive 10-10 Spark安装部署,Redis安装部署 12-16 StreamSets-安装和运行Demo 05-24 StreamSets-用户认证,Streamsets的所见的问题,streamsets Data Collecotor启动流程分析StreamSets使用指南,streamsets2.6.0.1--使用案例详细文档,streamsets组件汉化,大数据最火的平台------> streamsets,StreamSet之数据流从JDBC到Hbase,StreamSets_从传统关系型数据库Mysql到Hbase的实时数据采集(... Apache_Nifi_vs_StreamSets简单比较,streamsets数据采集平台介绍, docker-streamsets安装,StreamSet学习(一)Pipeline_Concepts_and_Design ,streamsets2.6.0.1搭建开发环境,利用streamSet搭建一个简单的数据管道,StreamSets_简介, StreamSets_下载安装教程 08-08 Streamsets相关资料汇总,StreamSets快速安装与介绍,StreamSets_安装JDBC驱动指北 11-09 streamsets2.6.0.1执行监控接口,Streamsets应用--Kafka2ES 08-21 streamsets编译时的那些坑,StreamSets从MySQL增量更新到Hive 10-10 Spark安装部署,Redis安装部署 12-16 StreamSets-安装和运行Demo 05-24 StreamSets-用户认证,Streamsets的所见的问题,streamsets Data Collecotor启动流程分析
这个大家伙足足有5Gb,因此准备好足够的空间和耐心。
下载完成后,在该文件所在目录下执行如下命令:

tar xf streamsets-datacollector-<version>-<operating_system>-all-rpms.tar

解压好后,进入解压的目录内执行

yum localinstall streamsets*.rpm
systemctl start sdc

为了能在外部访问,检查下Centos的防火墙策略,允许需要的端口出去,这里简单粗暴的关闭防火墙:

systemctl stop firewalld.service

访问之:

http://<hostname>:18630/
默认账号和密码均为admin

2. Docker镜像安装

docker镜像官方已发布,因此步骤简单很多。

docker pull streamsets/datacollector
docker run --restart on-failure -p 18630:18630 -d --name streamsets-dc streamsets/datacollector dc

StreamSets使用指南,streamsets2.6.0.1--使用案例详细文档,streamsets组件汉化,大数据最火的平台------> streamsets,StreamSet之数据流从JDBC到Hbase,StreamSets_从传统关系型数据库Mysql到Hbase的实时数据采集(... Apache_Nifi_vs_StreamSets简单比较,streamsets数据采集平台介绍, docker-streamsets安装,StreamSet学习(一)Pipeline_Concepts_and_Design ,streamsets2.6.0.1搭建开发环境,利用streamSet搭建一个简单的数据管道,StreamSets_简介, StreamSets_下载安装教程 08-08 Streamsets相关资料汇总,StreamSets快速安装与介绍,StreamSets_安装JDBC驱动指北 11-09 streamsets2.6.0.1执行监控接口,Streamsets应用--Kafka2ES 08-21 streamsets编译时的那些坑,StreamSets从MySQL增量更新到Hive 10-10 Spark安装部署,Redis安装部署 12-16 StreamSets-安装和运行Demo 05-24 StreamSets-用户认证,Streamsets的所见的问题,streamsets Data Collecotor启动流程分析StreamSets使用指南,streamsets2.6.0.1--使用案例详细文档,streamsets组件汉化,大数据最火的平台------> streamsets,StreamSet之数据流从JDBC到Hbase,StreamSets_从传统关系型数据库Mysql到Hbase的实时数据采集(... Apache_Nifi_vs_StreamSets简单比较,streamsets数据采集平台介绍, docker-streamsets安装,StreamSet学习(一)Pipeline_Concepts_and_Design ,streamsets2.6.0.1搭建开发环境,利用streamSet搭建一个简单的数据管道,StreamSets_简介, StreamSets_下载安装教程 08-08 Streamsets相关资料汇总,StreamSets快速安装与介绍,StreamSets_安装JDBC驱动指北 11-09 streamsets2.6.0.1执行监控接口,Streamsets应用--Kafka2ES 08-21 streamsets编译时的那些坑,StreamSets从MySQL增量更新到Hive 10-10 Spark安装部署,Redis安装部署 12-16 StreamSets-安装和运行Demo 05-24 StreamSets-用户认证,Streamsets的所见的问题,streamsets Data Collecotor启动流程分析

存储

镜像安装需要特别注意存储路径的问题,你需要把/data目录映射出来,否则建立的管道无法持久化。
全部安装的省略这些。

应用

StreamSet有可视化流程编辑界面,并且包括50种数据源、44种数据操作、46种目的地。
对于Streamsets来说,最重要的概念就是数据源(Origins)、操作(Processors)、目的地(Destinations)。创建一个Pipelines管道配置也基本是这三个方面。
StreamSet支持的源有Kafka、HTTP、UDP、JDBC、HDFS等;Processors可以实现对每个字段的过滤、更改、编码、聚合等操作;Destinations跟Origins差不多,可以写入Kafka、Flume、JDBC、HDFS、Redis等。
甚至可以直接建立HTTP微服务Api,以供第三方调用,强大的功能吸引我们继续去探索。


StreamSets使用指南,streamsets2.6.0.1--使用案例详细文档,streamsets组件汉化,大数据最火的平台------> streamsets,StreamSet之数据流从JDBC到Hbase,StreamSets_从传统关系型数据库Mysql到Hbase的实时数据采集(... Apache_Nifi_vs_StreamSets简单比较,streamsets数据采集平台介绍, docker-streamsets安装,StreamSet学习(一)Pipeline_Concepts_and_Design ,streamsets2.6.0.1搭建开发环境,利用streamSet搭建一个简单的数据管道,StreamSets_简介, StreamSets_下载安装教程 08-08 Streamsets相关资料汇总,StreamSets快速安装与介绍,StreamSets_安装JDBC驱动指北 11-09 streamsets2.6.0.1执行监控接口,Streamsets应用--Kafka2ES 08-21 streamsets编译时的那些坑,StreamSets从MySQL增量更新到Hive 10-10 Spark安装部署,Redis安装部署 12-16 StreamSets-安装和运行Demo 05-24 StreamSets-用户认证,Streamsets的所见的问题,streamsets Data Collecotor启动流程分析StreamSets使用指南,streamsets2.6.0.1--使用案例详细文档,streamsets组件汉化,大数据最火的平台------> streamsets,StreamSet之数据流从JDBC到Hbase,StreamSets_从传统关系型数据库Mysql到Hbase的实时数据采集(... Apache_Nifi_vs_StreamSets简单比较,streamsets数据采集平台介绍, docker-streamsets安装,StreamSet学习(一)Pipeline_Concepts_and_Design ,streamsets2.6.0.1搭建开发环境,利用streamSet搭建一个简单的数据管道,StreamSets_简介, StreamSets_下载安装教程 08-08 Streamsets相关资料汇总,StreamSets快速安装与介绍,StreamSets_安装JDBC驱动指北 11-09 streamsets2.6.0.1执行监控接口,Streamsets应用--Kafka2ES 08-21 streamsets编译时的那些坑,StreamSets从MySQL增量更新到Hive 10-10 Spark安装部署,Redis安装部署 12-16 StreamSets-安装和运行Demo 05-24 StreamSets-用户认证,Streamsets的所见的问题,streamsets Data Collecotor启动流程分析


引用链接

  1. 口袋代码仓库
  2. 在线计算器
  3. 本节源码:github
  • 3
    点赞
  • 8
    评论
  • 16
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 博客之星2020 设计师:CY__ 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值