nginx编译安装 nginx_upstream_check_module实现主动监控后端server状态和分流

已邀请:

淘宝技术团队开发的 nginx 模块 nginx_upstream_check_module,通过它可以用来检测后端 realserver 的健康状态。如果后端 realserver 不可用,则所以的请求就不会转发到该节点上。

在淘宝自己的 tengine 上是自带了该模块的,大家可以访问淘宝tengine的官网来获取该版本的nginx,官方地址:http://tengine.taobao.org/

如果我们没有使用淘宝的 tengine 的话,可以通过补丁的方式来添加该模块到我们自己的 nginx 中。我们业务线上就是采用该方式进行添加的。

下面是部署流程!  


1、以nginx-1.20.0加装nginx_upstream_check_module为例,其中nginx源码位于/data/nginx/nginx-1.20.0/下

/uploads/answer/20210520/f3650de56ccaa574af0859277b95a8b9.png

2、下载nginx_upstream_check_module,线上地址:https://codeload.github.com/yaoweibin/nginx_upstream_check_module/zip/master

云盘地址:https://pan.baidu.com/s/1iN2Rh0EMd5LXO6A2Lql6Pg 提取码:19ef  ,将下载的包,上传到服务器解压到/data/nginx/nginx_upstream_check_module-master/,效果如图

/uploads/answer/20210520/e0e4091dc01d330b036e99f2eef34c98.png

3、为nginx打补丁,首先确保系统中有依赖的组件

yum -y install zlib zlib-devel openssl openssl-devel pcre pcre-devel gcc patch


4、打补丁的命令是  patch -p1 < nginx_upstream_check_module-master的模块路径/check_版本号.patch,这里nginx_upstream_check_module的路径是/data/nginx/nginx_upstream_check_module-master/ ,nginx的版本是1.20所以执行如下打补丁

cd /data/nginx/nginx-1.20.0/ && patch -p1 < /data/nginx/nginx_upstream_check_module-master/check_1.16.1+.patch

/uploads/answer/20210520/53c2772250397b4c631dab8549060485.png


5、查看当前系统的nginx 编译参数

nginx -V

/uploads/answer/20210520/a98c6f952046ad90389832a13cbcd06b.png


6、编译nginx保留既有参数,同时添加nginx_upstream_check_module

 ./configure --with-http_ssl_module --with-http_realip_module --with-http_addition_module --with-http_sub_module --with-http_dav_module --with-http_mp4_module --with-http_flv_module --with-http_gzip_static_module --with-http_random_index_module --with-http_secure_link_module --with-http_degradation_module  --with-mail --with-mail_ssl_module --user=www --group=www --with-http_gunzip_module --with-http_auth_request_module --with-stream --with-stream_ssl_module --with-threads --with-http_stub_status_module --add-module=/data/nginx/nginx-goodies-nginx-sticky-module-ng-08a395c66e42 --add-module=/data/nginx/nginx_upstream_check_module-master


7、初始化配置完成后执行make (如果是首次安装,可以后续再执行make install)

/uploads/answer/20210520/345fc3764aa6a32edeaea79f01858d96.png


8、编译生成的执行文件位于/data/nginx/nginx-1.20.0/objs/nginx

确认下编译生成的nginx编译参数正常

/uploads/answer/20210520/8c06224e670ef4d1b7386d1d71e45c78.png

9、确认编译参数正常后,备份原有nginx文件,替换

/uploads/answer/20210520/02cc395e88b7a286e49684da2990448f.png

10、验证当前配置信息新的nginx可兼容

/uploads/answer/20210520/6639094f20a59ed4208cf0bb6ebee383.png

11、修改反向代理配置,增加后端监控

/uploads/answer/20210520/2c7009711f34484419cff9b2d38cbf7f.png

参数释义:

    - interval:向后端发送的健康检查包的间隔。
    - fall(fall_count): 如果连续失败次数达到fall_count,服务器就被认为是down。
    - rise(rise_count): 如果连续成功次数达到rise_count,服务器就被认为是up。
    - timeout: 后端健康请求的超时时间。
    - default_down: 设定初始时服务器的状态,如果是true,就说明默认是down的,如果是false,就是up的。默认值是true,也就是一开始服务器认为是不可用,要等健康检查包达到一定成功次数以后才会被认为是健康的。
    - type:健康检查包的类型,现在支持以下多种类型
        - tcp:简单的tcp连接,如果连接成功,就说明后端正常。
        - ssl_hello:发送一个初始的SSL hello包并接受服务器的SSL hello包。
        - http:发送HTTP请求,通过后端的回复包的状态来判断后端是否存活。
        - mysql: 向mysql服务器连接,通过接收服务器的greeting包来判断后端是否存活。
        - ajp:向后端发送AJP协议的Cping包,通过接收Cpong包来判断后端是否存活。

    - port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口,比如后端提供的是443端口的应用,你可以去检查80端口的状态来判断后端健康状况。默认是0,表示跟后端server提供真实服务的端口一样。该选项出现于Tengine-1.4.0。


12、可自助考虑是否开启监控页面,用于监控效果

location /status {
check_status;
access_log off;
#allow IP;
#deny all;


13、配置后重载nginx 即可,通过 ip/status访问查看监控状态

/uploads/answer/20210520/ef610c055ffa3ab2f64dc9eb1d387a6c.png


扩展


该指令可以配置http健康检查包发送的请求内容。为了减少传输数据量,推荐采用"HEAD"方法。

当采用长连接进行健康检查时,需在该指令中添加keep-alive请求头,如:"HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n"。 同时,在采用"GET"方法的情况下,请求uri的size不宜过大,确保可以在1个interval内传输完成,否则会被健康检查模块视为后端服务器或网络异常。

1
2
3
Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]
Default: http_2xx | http_3xx
Context: upstream



该指令指定HTTP回复的成功状态,默认认为2XX和3XX的状态是健康的。

1
2
3
Syntax: check_shm_size size
Default: 1M
Context: http



所有的后端服务器健康检查状态都存于共享内存中,该指令可以设置共享内存的大小。默认是1M,如果你有1千台以上的服务器并在配置的时候出现了错误,就可能需要扩大该内存的大小。

1
2
3
Syntax: check_status [html|csv|json]
Default: check_status html
Context: location



显示服务器的健康状态页面。该指令需要在http块中配置。
在Tengine-1.4.0以后,你可以配置显示页面的格式。支持的格式有: html、csv、 json。默认类型是html。
你也可以通过请求的参数来指定格式,假设‘/status’是你状态页面的URL, format参数改变页面的格式,比如:
1
2
3
/status?format=html
/status?format=csv
/status?format=json



同时你也可以通过status参数来获取相同服务器状态的列表,比如:

1
2
/status?format=html&status=down
/status?format=csv&status=up

要回复问题请先登录注册