# 实验简介

---

研究RocketMQ的同学都知道，RocketMQ的生态目前并不是很完善，包括官方的文档资料也有限，官方的Console存在一些Bug，页面  

的样式有的也有问题，但是正是由于这些原因，我们针对RocketMQ能做的事有很多，不像Kafka，生态已经很完善，一些企业也对Kafka  

做了开源的产品，最近开始做基于K8S的RocketMQ管理控制台，需要对每个集群有完善的监控告警，接下来就简单说明一下做  

RocketMQ的监控有哪些步骤。

**实验地址：**[https://developer.aliyun.com/adc/scenario/78eb946f67644f0db4450889dcdf43bf](https://developer.aliyun.com/adc/scenario/78eb946f67644f0db4450889dcdf43bf)

# 实验详情

---

#### 一、实验环境说明

1.  启动namesrv。观察到启动成功的日志后， ctrl + c，终止日志输出。

```

cd /usr/local/services/5-rocketmq/namesrv-01

restart.sh

```

1.  启动broker

修改broker配置项brokerIP1为**实验公网IP**，启动broker。观察到启动成功的日志后， ctrl + c，终止日志输出。

![](https://oscimg.oschina.net/oscnet/up-267b61ee22e06b2eadac9d45957c44515ac.png)

操作命令如下：

```

cd /usr/local/services/5-rocketmq/broker-01

vim ./conf/broker.conf 

restart.sh

```

#### 二、如何编译和部署RocketMQ

（本教程会以如何利用RocketMQ Exporter源码编译并打包，部署一个Exporter实例。）

**1\. 安装git，jdk, maven等工具****（当前实验环境已经安装好。参考或者baidu/google）**

-   jdk安装

    

    -   jdk 下载:[https://www.oracle.com/hk/java/technologies/javase/javase8-archive-downloads.html](https://www.oracle.com/hk/java/technologies/javase/javase8-archive-downloads.html)

        

    -   jdk 安装

        

        -   macos:[https://juejin.cn/post/6844903878694010893](https://juejin.cn/post/6844903878694010893)

            

        -   windows:[https://www.runoob.com/w3cnote/windows10-java-setup.html](https://www.runoob.com/w3cnote/windows10-java-setup.html)

            

-   maven安装

    

    -   maven 下载二进制:[https://dist.apache.org/repos/dist/release/maven/maven-3/](https://dist.apache.org/repos/dist/release/maven/maven-3/)

        

    -   maven 安装(windows + macos):[https://www.runoob.com/maven/maven-setup.html](https://www.runoob.com/maven/maven-setup.html)

        

    -   如果对于国外网站访问慢， 可以配置maven国内镜像：[https://cloud.tencent.com/developer/article/1452479](https://cloud.tencent.com/developer/article/1452479)

        

-   git安装 ( 可选 , 不安装的话直接下载4.9.3源代码：[https://github.com/apache/rocketmq/releases](https://github.com/apache/rocketmq/releases))

    

    -   下载地址:[https://git-scm.com/book/zh/v2/%E8%B5%B7%E6%AD%A5-%E5%AE%89%E8%A3%85-Git](https://git-scm.com/book/zh/v2/%E8%B5%B7%E6%AD%A5-%E5%AE%89%E8%A3%85-Git)

\*\*2.\*\***下载代码**

在自己电脑上， 进入命令行， 选择一个保存源码的目录, 这里我把源码保存到 /tiger/tmp为例

2.1 创建代码保存目录（已创建则不操作）并进入代码保存目录:

```

mkdir -p /tiger/tmp

cd /tiger/tmp

```

2.2 克隆master代码

```

git clone https://github.com/apache/rocketmq-exporter.git

or 

git clone https://gitee.com/mirrors_apache/rocketmq-exporter

```

2.3 进入源码根目录：

```

cd rocketmq-exporter

```

**3\. 编译和打包**

-   修改配置文件中的namesrv地址

```

vim src/main/resources/application.yml

```

-   执行打包命令

```

mvn clean package -Dmaven.test.skip=true

```

-   编译打包成功后， 我们执行：

```

cd target

ls -l

```

-   运行exporter

```

java -Xms200m -Xmx200m -Xmn200m  -jar rocketmq-exporter-0.0.2-SNAPSHOT.jar

```

-   查看exporter采集结果

通过访问http://实验公网IP:30903/metrics, 可以看到采集结果.

![](https://oscimg.oschina.net/oscnet/up-ac1cb0dd5498cb06ec77480b3c64b9042d0.png)

#### 三、配置Prometheus采集RocketMQ

（本节将介绍如何在Prometheus上配置RocketMQ Exporter。Prometheus的部署在这里暂时不做更多介绍， 实验环境已经部署好一个Prometheus，这里我们直接使用）

1.**启动RocketMQ Exporter(已经启动则不用操作)**

**2\. 启动实验环境Prometheus实例**

-   进入Prometheus根目录，启动Prometheus

```

cd /usr/local/services/3-prometheus

./restart.sh

```

也可以通过访问http://实验公网IP:30902 的形式访问prometheus

![](https://oscimg.oschina.net/oscnet/up-495f38b1716de47bd32ba1d7ecd686efc9b.png)

**3\. 配置Prometheus采集RocketMQ Exporter**

-   进入prometheus根目录，修改配置文件

```

cd /usr/local/services/3-prometheus

vim prometheus.yml

```

-   执行热加载配置命令

```

./reload.sh

```

-   验证配置是否生效

登录promethues页面，通过观察Targets，我们看到配置已经生效了

![](https://oscimg.oschina.net/oscnet/up-f3848e01f89ede19a2c9ab22e7849e68284.png)

**4\. 在Prometheus上查看RocketMQ Exporter采集的指标**

登录promethues首页， 通过输入rocketmq我们可以查询到全部rocketmq的指标。目前在实验环境中的Exporter总共82个指标。想了解每个指标的具体含义可以翻看我写的<<RocketMQ分布式消息中间件：核心原理与最佳实践>>, 这里面有对namesrv，broker全部配置，exporter全部指标的含义分享。

![](https://oscimg.oschina.net/oscnet/up-439677a15e85ce74e02dadeea40d6b39cb4.png)

#### 四、配置Grafana展示RocketMQ监控

（本节将介绍如何在Grafana上配置RocketMQ的监控指标。实验环境已经安装好了RocketMQ集群， RocketMQ Exporter, Prometheus, 只需要启动即可）

**1.  启动Grafana**

```

cd /usr/local/services/4-grafana

./restart.sh

```

启动完成后， 可以访问http://实验环境公网IP:30901, 使用账号 rocketmq/rocketmq666 账号密码登录。

**2\. 配置Prometheus为Grafana数据源**

-   找到数据源配置菜单，点击进入

![](https://oscimg.oschina.net/oscnet/up-62570ce7b2121bc08295a50b45d4fb9814c.png)

![](https://oscimg.oschina.net/oscnet/up-106aaaee430c4628c8490043344189cb9bb.png)

![](https://oscimg.oschina.net/oscnet/up-c4b3e2a6fac5b632b271c06c17ea184f55a.png)

-   填写prometheus信息，保存

![](https://oscimg.oschina.net/oscnet/up-45040d4e76dbc8dfdcb5fe9b29cda3f4d00.png)

![](https://oscimg.oschina.net/oscnet/up-824b264e1f1f45619fa3300c822c355d657.png)

![](https://oscimg.oschina.net/oscnet/up-d5e6da873087ece06cfb387bb0bafd5af90.png)

-   创建一个dashboard, 并创建一个RocketMQ指标监控折线图。下面请按照截图操作。

![](https://oscimg.oschina.net/oscnet/up-d7b6f19fc3e8fe2ff4f76b4473b338cbacc.png)

-   选择刚刚创建的Prometheus数据源，填写一个指标名，则可以预览一个指标的监控曲线。

![](https://oscimg.oschina.net/oscnet/up-f67236a3879ed913e9a5219a34ff41251a9.png)

-   点击位置4时，弹窗提示保存

![](https://oscimg.oschina.net/oscnet/up-7326aa9c3870d326695359ed9ee4b76308b.png)

-   tips：Grafana可以用文件夹的形式保存相同类型的Dashboard

**3\. 配置一个Broker指标监控。**

在RocketMQ中一个物理集群可以包含多个逻辑集群， 每个逻辑集群可以有自己的集群名和所包含的Broker。所以这里我们先配置一个下拉列表选择集群名、Broker的关系。

![](https://oscimg.oschina.net/oscnet/up-bfd657b32d3b71be55b5d921040fb1be31d.png)

![](https://oscimg.oschina.net/oscnet/up-d96721ce8b1983a4d846587fb7943fdcf00.png)

-   填充一些变量基本信息

1.  变量名，会被曲线图query sql中引用

    

2.  变量展示的名字， 仅展示

    

3.  数据源， 这里选择我们之前配置的prometheus

    

4.  填写查询全部集群名的query。获取一个指标的全部label的值：

    

```

label_values(rocketmq_brokeruntime_commitlogdir_capacity_total, cluster)

```

rocketmq\_brokeruntime\_commitlogdir\_capacity\_total是一个指标名， cluster是这个指标的label名字。

1.  如果步骤4正确填写， 可以在这里预览全部的集群名。

![](https://oscimg.oschina.net/oscnet/up-149d642f7a2459330ec8926b68614439fc5.png)

点击**update**可以保存一个集群变量。

下面我们配置选择好一个集群后， 自动筛选出这个集群中的broker， 整个步骤和创建一个变量是一样的，只是query中会引用另一个变量:

```

label_values(rocketmq_brokeruntime_commitlogdir_capacity_total{cluster="$clusterName"}, brokerIP)

```

保存后， 我们查看最后的效果

![](https://oscimg.oschina.net/oscnet/up-5c048d85b3f5b73795bcd6c62a9c8cdecdf.png)

还有一个问题， 选择了一个集群，一个broker后， 曲线数据没有变化呢？ 因为曲线没有和变量联动。

这里以上面配置的曲线为例， 修改query：

```

rocketmq_brokeruntime_commitlog_disk_ratio{cluster="$clusterName", brokerIP="$broker"}

```

修改结果为：

![](https://oscimg.oschina.net/oscnet/up-eaf0d3f4893939963bc802917e8cbe1645f.png)

点击保存后， 曲线的指标和集群、broker就会联动。

#### 五、RocketMQ官方推荐大盘配置

通过上一节的学习， 我们知道RocketMQ有很多指标， 如果挨个配置曲线比较费劲。 Grafana社区已经收集了很多常用组件的大盘配置，拿到后直接导入自己的Grafana。

下面我们找到RocketMQ的dashboard，然后导入实验环境。

-   进入dashboard仓库地址：[https://grafana.com/grafana/dashboards/](https://grafana.com/grafana/dashboards/)，输入rocketmq搜索

![](https://oscimg.oschina.net/oscnet/up-b1c8aa79e1e0bb3e7640a092e993ec05743.png)

-   选择一个你喜欢的dashboard，点击进去，下载dashboard的json字符串。

![](https://oscimg.oschina.net/oscnet/up-3b58ae55f13a2809511cfa0ac979da646ab.png)

-   导入Grafana, 并保存。

![](https://oscimg.oschina.net/oscnet/up-55e0132a2a27ff6bcb3435caae40975a3d2.png)

选择刚刚下载的json文件，导入即可。

![](https://oscimg.oschina.net/oscnet/up-0da434850e32b0eecfc3078aa570ab41ba3.png)

选择已有的RocketMQ数据源, 点击导入。

![](https://oscimg.oschina.net/oscnet/up-40a1430eb8316f062f8a7be5a667784bc93.png)

导入完成后我们可以看到结果

### ·  想了解更多场景细节请前往云起实验室

立即前往：[https://developer.aliyun.com/adc/series/activity/rocketmq1](https://developer.aliyun.com/adc/series/activity/rocketmq1)

RocketMQ系列二：RocketMQ监控/告警一站式搭建应用

![](https://oscimg.oschina.net/oscnet/up-275ed2392372d707748651f853651240b0a.png)

[活动链接](https://developer.aliyun.com/adc/series/activity/rocketmq1)

# 实验简介

Apache RocketMQ™ 是一个统一的消息引擎系统, 也是一个轻量级的数据处理平台.

当你遇到以下类似问题而束手无策时，RocketMQ可以帮助你解决：

-   重试消息、死信消息、事物消息支持

    

-   消息轨迹追踪

    

-   消息过滤

    

-   IPv6支持

    

-   ACL支持

    

-   主、副本自动高可靠

    

-   全面的监控支持

    

-   管理平台原生支持

    

-   Request-Reply模式支持

    

本教程会以如何利用源码编译、打包、部署、实际使用RocketMQ。

# 实验实操

一、如何下载、编译最新版RocketMQ

（本教程会以如何利用源码编译并打包RocketMQ为例, 演示如何下载、编译任意版本的RocketMQ.）

### **1\. 安装git，jdk, maven等工具**（参考baidu/google）

-   jdk安装

    

    -   jdk 下载:[https://www.oracle.com/hk/java/technologies/javase/javase8-archive-downloads.html](https://www.oracle.com/hk/java/technologies/javase/javase8-archive-downloads.html)

        

    -   jdk 安装

        

        -   macos:[https://juejin.cn/post/6844903878694010893](https://juejin.cn/post/6844903878694010893)

            

        -   windows:[https://www.runoob.com/w3cnote/windows10-java-setup.html](https://www.runoob.com/w3cnote/windows10-java-setup.html)

            

-   maven安装

    

    -   maven 下载二进制:[https://dist.apache.org/repos/dist/release/maven/maven-3/](https://dist.apache.org/repos/dist/release/maven/maven-3/)

        

    -   maven 安装(windows + macos):[https://www.runoob.com/maven/maven-setup.html](https://www.runoob.com/maven/maven-setup.html)

        

    -   如果对于国外网站访问慢， 可以配置maven国内镜像：[https://cloud.tencent.com/developer/article/1452479](https://cloud.tencent.com/developer/article/1452479)

        

-   git安装 ( 可选 , 不安装的话直接下载4.9.3源代码：[https://github.com/apache/rocketmq/releases](https://github.com/apache/rocketmq/releases))

    

    -   下载地址:[https://git-scm.com/book/zh/v2/%E8%B5%B7%E6%AD%A5-%E5%AE%89%E8%A3%85-Git](https://git-scm.com/book/zh/v2/%E8%B5%B7%E6%AD%A5-%E5%AE%89%E8%A3%85-Git)

### 2.**下载最新release代码（这里以git为例，如果没有安装git直接从github release页面下载）**

在自己电脑上， 进入命令行， 选择一个保存源码的目录, 这里我把源码保存到 /tiger/tmp为例

2.1 创建代码保存目录（已创建则不操作）并进入代码保存目录:

```

mkdir -p /tiger/tmp

cd /tiger/tmp

```

2.2 克隆代码

```

git clone --branch release-4.9.3 https://github.com/apache/rocketmq.git

```

2.3 进入源码根目录：

```

cd rocketmq

```

### **3\. 编译和打包源码**

编译打包成功后， 我们执行：

```

cd distribution/target

ls -l

```

二、如何部署一个简单的RocketMQ集群

（本教程将演示如何利用编译结果，部署一个1Namesrv + 1Broker的RocketMQ集群）

### **1\. 找到上一章节的编译打包结果**

```

cd /tiger/tmp/rocketmq/distribution/target/

ls -l

```

![](https://oscimg.oschina.net/oscnet/up-224755e984d551aee46ee0e5b409efca07b.png)

### **2\. 安装Namesrv， Broker**

-   创建部署临时目录 (已创建则忽略)

```

mkdir -p /tiger/rocketmq/namesrv1

mkdir -p /tiger/rocketmq/broker1

```

-   拷贝rocketmq-4.9.4-SNAPSHOT里面的内容，分别拷贝到 /tiger/rocketmq/namesrv1, /tiger/rocketmq/broker1,

```

cp -R /tiger/tmp/rocketmq/distribution/target/rocketmq-4.9.4-SNAPSHOT/rocketmq-4.9.4-SNAPSHOT/* /tiger/rocketmq/namesrv1

cp -R /tiger/tmp/rocketmq/distribution/target/rocketmq-4.9.4-SNAPSHOT/rocketmq-4.9.4-SNAPSHOT/* /tiger/rocketmq/broker1

```

-   查看结果如下

```

cd /tiger/rocketmq/

ls -l

```

### **3\. 修改日志配置、jvm配置等其他配置**

-   修改namesrv配置

    

    -   修改namesrv日志配置 。进入namesrv部署根目录, 修改日志配置文件。主要修改点：日志默认存储路径， 保存天数，每个日志文件大小等。

```

cd /tiger/rocketmq/namesrv1

vim conf/logback_namesrv.xml

```

-   ![](https://oscimg.oschina.net/oscnet/up-a7635c2e944f244d11a03778b424b4546af.png)

    

-   修改namesrv JVM配置。进入namesrv部署根目录:

    

```

cd /tiger/rocketmq/namesrv1

```

-   修改JVM配置， 参考修改JAVA_OPT等如下：

```

vim bin/runserver.sh

```

-   修改broker配置。修改点类似namesrv，只是修改的配置文件不一样。

    

    -   修改broker日志配置 （实际部署需要 ）。进入broker部署根目录：

```

cd /tiger/rocketmq/broker1

```

-   编辑日志配置文件:

```

vim conf/logback_broker.xml

```

-   修改brokerJVM配置。进入broker部署根目录

```

cd /tiger/rocketmq/broker1

```

-   修改JVM配置文件

```

vim bin/runbroker.sh

```

**4\. 启动集群并测试发送、消费**

-   启动namesrv。

```

cd /tiger/rocketmq/namesrv1

nohup sh bin/mqnamesrv &

```

-   启动broker

```

cd /tiger/rocketmq/broker1

nohup sh bin/mqbroker -n localhost:9876 &

```

-   check namesrv和broker进程启动是否正常:

```

ps -ef | grep rocketmq

```

-   发送、消费消息来验证集群是否正常

    

    -   设置namesrv环境变量：

```

export NAMESRV_ADDR=localhost:9876

```

-   进入broker根目录

```

cd /tiger/rocketmq/broker1

```

-   发送消息

```

sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

```

-   发送成功会打印:

    

-   ![](https://oscimg.oschina.net/oscnet/up-ab7427e4b03dea2899759ffee89de99844c.png)

    

-   消费消息

    

```

sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

```

-   消费成功会打印：

    

-   ![](https://oscimg.oschina.net/oscnet/up-acc7c38d6b79a1f8702c30c7a3096b4f638.png)

    

三、如何使用Java发送和消费消息

（本教程将简单演示如何使用纯java client发送和消费消息。）

### **1\. 下载java代码demo**

```

git clone https://github.com/ApacheRocketMQ/01-java-demos.git

cd 01-java-demos/

```

### **2\. 打包，执行代码demo**

找到当前实验环境的公网ip，替换mvn exec:java命令中的namesrv ip地址后，再执行命令， 可以看到正常生产和消费输出

```

mvn clean package

mvn exec:java -Dexec.args="xxx.xxx.xxx.xxx:9876" -Dexec.mainClass="org.apache.rocketmqdemos.Startup" -Dexec.classpathScope=runtime

```

### **3\. Demo代码说明**

RocketMQ Java Client使用的套路分为三个步骤

步骤1: 创建生产者、消费者实例

步骤2: 设置实例属性或者参数

步骤3: 启动

比如消费代码如下

![](https://oscimg.oschina.net/oscnet/up-0633aa38c6baa7884191138e7ad118660f7.png)

四、如何使用Spring接入RocketMQ

（本教程将演示如何在spring框架中使用RocketMQ发送、消费消息。）

**1\. 下载RocketMQ Spring代码demo**

```

git clone https://github.com/ApacheRocketMQ/02-spring-demos.git

cd 02-spring-demos/

```

### **2\. 打包，执行代码demo**

找到当前实验环境的公网ip，替换mvn exec:java命令中的namesrv ip地址后，再执行命令， 可以看到正常生产和消费输出

```

mvn clean package

mvn exec:java -Dexec.args="xxx.xxx.xxx.xxx:9876" -Dexec.mainClass="org.apache.rocketmqdemos.Startup" -Dexec.classpathScope=runtime

```

### **3\. Demo代码说明**

-   RocketMQ Spring Client中生产者使用的套路分为两个步骤

步骤1: 创建RocetMQ客户端模板对象: RocketMQTemplate, 并且注入namesrv等参数。

步骤2: 调用RocketMQTemplate实例的方法即可。

比如注入生产者代码如下

![](https://oscimg.oschina.net/oscnet/up-6880c6175324370779cb07234839b16421a.png)

-   RocketMQ Spring Client中消费者只需要一步就可以直接使用

继承RocketMQListener类，实现onMessage()方法即可， demo代码如下：

![](https://oscimg.oschina.net/oscnet/up-1131f2e215af817d7f05301333c47fd1e8d.png)

五、如何使用Golang接入RocketMQ

（本教程将演示如何使用golang发送、消费消息。）

#### **1\. 下载RocketMQ Golang代码demo**

```

git clone https://github.com/ApacheRocketMQ/03-golang-demo.git

cd 03-golang-demo/

```

### **2\. 打包，执行代码demo**

找到当前实验环境的公网ip，启动命令添加正确的namesrv地址，可以看到正常生产和消费输出

```

go build

./main xxx.xxx.xxx.xxx:9876

```

### **3\. Demo代码说明**

RocketMQ Golang Client中生产者、消费者使用的套路和Java client十分相似， 只是生产者、消费者属性是初始化的时候直接设置。

![](https://oscimg.oschina.net/oscnet/up-f1a5de985a50f9869cb117d82b125702707.png)

六、如何使用Python接入RocketMQ

（本教程将演示如何使用python发送、消费消息。）

**安装python相关环境 **

1.1 python2.7实验环境安装

1.2 安装cpp 动态库

```

 wget https://github.com/apache/rocketmq-client-cpp/releases/download/2.0.0/rocketmq-client-cpp-2.0.0-centos7.x86_64.rpm

sudo rpm -ivh rocketmq-client-cpp-2.0.0-centos7.x86_64.rpm

```

1.3 安装python客户端

```

pip install rocketmq-client-python

```

### **2\. 下载RocketMQ Golang代码demo**

```

git clone https://github.com/ApacheRocketMQ/04-python-demo.git

cd 04-python-demo

```

### **3\. 执行生产者demo代码**

找到当前实验环境的公网ip，启动命令添加正确的namesrv地址，可以看到正常生产和消费输出

```

cd src

// 执行生产者demo

python producer.py xxx.xxx.xxx.xxx:9876

// 执行消费者demo

python consumer.py xxx.xxx.xxx.xxx:9876

```

### **3\. Demo代码说明**

RocketMQ Python Client中生产者、消费者使用的套路和Java client十分相似， 只是生产者、消费者属性是初始化的时候直接设置。

生产者代码demo如下：

![](https://oscimg.oschina.net/oscnet/up-7ff354a3b4ef96fa66f5b5756b44f45280e.png)

七、如何使用C++接入RocketMQ

（本教程将演示如何使用C++发送、消费消息。）

**安装cpp动态库以及gcc相关环境 **

1.1 安装g++，gcc等

```

yum install gcc gcc-c++ make -y 

```

1.2 安装cpp 动态库

```

 wget https://github.com/apache/rocketmq-client-cpp/releases/download/2.0.0/rocketmq-client-cpp-2.0.0-centos7.x86_64.rpm

sudo rpm -ivh rocketmq-client-cpp-2.0.0-centos7.x86_64.rpm

```

### **2\. 下载RocketMQ C++ 代码demo**

```

git clone https://github.com/ApacheRocketMQ/05-cpp-demo.git

cd 05-cpp-demo

```

### **3\. 执行生产者demo代码**

找到当前实验环境的公网ip，启动命令添加正确的namesrv地址，可以看到正常生产和消费输出

```

// 打包

make clean && make

// 执行代码demo

./main xxx.xxx.xxx.xxx:9876

```

### **3\. Demo代码说明**

RocketMQ C++ Client中生产者、消费者使用的套路和golang client十分相似， 只是生产者、消费者属性是初始化的时候直接设置。

比如生产者代码demo如下：

![](https://oscimg.oschina.net/oscnet/up-384c58f42c8949ba8786d32520e509ed95b.png)