Hadoop生态圈各组件的启动及关闭脚本,0正式版不

1。安装与开发银行速度比5.0慢;2。运转分界面没那面小Red Banner了代表的是个大得稍微夸张的 数字“6”,3。拨号软件不及5.0的好设置图片 1

将所学知识整理一下,备忘。

 

  1. Hdfs (v 2.7.3)

1.1.运维集群

sbin/start-dfs.sh

注:那些运维脚本是因此ssh对多少个节点的namenode、datanode、journalnode以及zkfc进度张开批量运维的。

1.2.启动NameNode

sbin/hadoop-daemon.sh start namenode

1.3.启动DataNode

sbin/hadoop-daemon.sh start datanode

1.4. 启动 MR的HistoryServer

sbin/mr-jobhistory-daemon.sh start historyserver

 

1.4.悬停集群

sbin/stop-dfs.sh

1.5.小憩单个进程

sbin/hadoop-daemon.sh stop zkfc
sbin/hadoop-daemon.sh stop journalnode
sbin/hadoop-daemon.sh stop datanode
sbin/hadoop-daemon.sh stop namenode

参考:

 

  1. Yarn (v 2.7.3)

2.1.运转集群

sbin/start-yarn.sh

注:start-yarn.sh运营脚本只在地头运转叁个ResourceManager进度,而3台机械上的nodemanager都以由此ssh的点子运营的。

2.2.启动ResouceMananger

sbin/yarn-daemon.sh start resourcemanager

2.3.启动NodeManager

sbin/yarn-daemon.sh start nodemanager

2.3.启动JobHistoryServer

sbin/yarn-daemon.sh start historyserver

2.4.停下集群

sbin/stop-yarn.sh

2.5.结束单个节点

sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager

参考:

 

  1. Zookeeper (v 3.4.5)

3.1.起步集群

bin/zkServer.sh start

3.2.起动单个节点

bin/zkServer.sh start

3.3.运转客商端

bin/zkCli.sh -server master:2181

 

4.Kafka (v 2.10-0.10.1.1)

4.1.起步集群

bin/kafka-server-start.sh -daemon config/server.properties

4.2.起动单个节点

bin/kafka-server-start.sh -daemon config/server.properties

4.3.创建Topic

bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test

4.4.列出Topic

bin/kafka-topics.sh --list --zookeeper master:2181

4.5.生育数量

bin/kafka-console-producer.sh --broker-list master:9092 --topic test

4.6.读取数据

bin/kafka-console-consumer.sh --zookeeper master:2181 --topic test --from-beginning

 

5.Hbase (v 1.2.4)

5.1.起动/停止集群

bin/start-hbase.sh
bin/stop-hbase.sh

5.2. 启动/停止HMaster

bin/hbase-daemon.sh start master
bin/hbase-daemon.sh stop master

5.3. 启动/停止HRegionServer

bin/hbase-daemon.sh start regionserver
bin/hbase-daemon.sh stop regionserver

5.2.启动Shell

bin/hbase shell

 

6.Spark (v 2.1.0-bin-hadoop2.7)

6.1.运行程序

6.1.1. 本地

bin/spark-shell --master local

6.1.2.Standalone

bin/spark-shell --master spark://master:7077

6.1.3. Yarn Client

bin/spark-shell --master yarn-client

6.1.4. Yarn Cluster

bin/spark-shell --master yarn-cluster
  1. Flume

7.1启动Agent

bin/flume-ng agent -n LogAgent -c conf -f conf/logagent.properties -Dflume.root.logger=DEBUG,console

 

8.Sqoop

8.1.导入

sqoop import 
--connect jdbc:mysql://mysql.example.com/sqoop 
--username sqoop 
--password sqoop 
--table cities

8.2.导出

sqoop export 
--connect jdbc:mysql://mysql.example.com/sqoop 
--username sqoop 
--password sqoop 
--table cities 
--export-dir cities

 

9.Hive

9.1 启动metastore

nohup hive --service metastore >> /home/zkpk/apache-hive-2.1.1-bin/metastore.log 2>&1  &

9.2 启动Hive server

nohup hive --service hiveserver2 >> /home/zkpk/apache-hive-2.1.1-bin/hiveserver.log 2>&1 &

9.2. 启动Shell

hive -h <host> -p <port>
beeline -u jdbc:hive2://<host>:<port>
  1. Mysql

10.1.启动Shell

mysql -u<user> -p<password>

 

<未完待续>

 

本文由华夏彩票发布于华夏彩票网络,转载请注明出处:Hadoop生态圈各组件的启动及关闭脚本,0正式版不

您可能还会对下面的文章感兴趣: