附录C 模块编译,调试与测试
C.1 编译与安装
环境要求
操作系统:目前Nginx各版本在以下操作系统和平台测试通过:
FreeBSD 3 — 10 / i386; FreeBSD 5 — 10 / amd64;
Linux 2.2 — 3 / i386; Linux 2.6 — 3 / amd64;
Solaris 9 / i386, sun4u; Solaris 10 / i386, amd64, sun4v;
AIX 7.1 / powerpc;
HP-UX 11.31 / ia64;
MacOS X / ppc, i386;
Windows XP, Windows Server 2003
磁盘空间:必须保证至少10M以上的磁盘工具,并且随着编译设置及第三方模块的安装而有所不同;
编译器及相关工具: 必须确保操作系统安装有GCC编译器;make工具;用户可通过yum命令安装编译器及相关工具:yum -y install gcc gcc-c++ make;
模块依赖性:Nginx的一些模块需要第三方库的支持,如rewrite模块需要pcre库,gzip模块需要zlib模块,ssl功能你需要openssl库等。用户可通过yum命令安装这些依赖库:yum -y install pcre pcre-devel zlib zlib-devel openssl openssl-devel;
下载
Nginx是开源软件,用户可以访问 http://nginx.org/ 网站获取源码包或Windows二进制文件下载。其中1.3.x版本为开发版本,1.2.x版本为稳定版本。开发版本分支会较快的获得新功能和缺陷修复,但同时也可能会遇到新的缺陷。一旦更新稳定下来,就会被加入稳定版本分支。
作为生产环境,通常建议用户使用稳定版本。
Nginx在Windows环境下安装
nginx的windows版本使用原生win32 API(非Cygwin模拟层)。当前存在的已知问题:1.采用select作为通知方法,所以不具备很高的性能和扩展性;2.虽然可以启动若干工作进程运行,实际上只有一个进程在处理请求所有请求;3.一个工作进程只能处理不超过1024个并发连接;4.缓存和其他需要共享内存支持的模块在windows vista及后续版本的操作系统中无法工作,因为在这些操作系统中,地址空间的布局是随机的;5.除了XSLT过滤器、图像过滤器、GeoIP模块和嵌入Perl语言支持以外,Nginx的Windows版本与Unix版本相比,功能几乎齐全。
安装Nginx的Windows版本,建议下载最新的1.3.13开发版本,因为开发分支上包含了所有已知的问题修复,尤其是针对Windows版本的问题修复。解压下载得到的zip文件,进入nginx-1.3.13目录,运行nginx。
C盘根目录下安装例子
- cd c:\
- unzip nginx-1.3.13.zip
- cd nginx-1.3.13
- start nginx
Nginx的Windows版本的控制命令包含如下:
- nginx -s stop 快速退出
- nginx -s quit 优雅退出
- nginx -s reload 更换配置,启动新的工作进程,优雅的关闭以往的工作进程
- nginx -s reopen 重新打开日志文件
Nginx在Linux环境下安装
Nginx在Linux环境下可以通过编译源码的方式安装,最简单的安装命令如下:
- wget http://nginx.org/download/nginx-1.2.0.tar.gz
- tar zxvf nginx-1.2.0.tar.gz
- cd nginx-1.2.0
- ./configure
- make
- sudo make install
按照以上命令,Nginx将被默认安装到/usr/local/nginx目录下。用户可以通过./configure –help命令查看Nginx可选择的编译选项进行自定义安装配置。
Nginx的configure脚本支持以下选项:
- --prefix=<PATH> #Nginx安装路径。如果没有指定,默认为 /usr/local/nginx
- --sbin-path=<PATH> #Nginx可执行文件安装路径。只能安装时指定,如果没有指定,默认为<prefix>/sbin/nginx
- --conf-path=<PATH> #在没有给定-c选项下默认的nginx.conf的路径。如果没有指定,默认为<prefix>/conf/nginx.conf
- --pid-path=<PATH> #在nginx.conf中没有指定pid指令的情况下,默认的nginx.pid的路径。如果没有指定,默认为 <prefix>/logs/nginx.pid
- --lock-path=<PATH> #nginx.lock文件的路径
- --error-log-path=<PATH> #在nginx.conf中没有指定error_log指令的情况下,默认的错误日志的路径。如果没有指定,默认为 <prefix>/logs/error.log
- --http-log-path=<PATH> #在nginx.conf中没有指定access_log指令的情况下,默认的访问日志的路径。如果没有指定,默认为 <prefix>/logs/access.log。
- --user=<USER> #在nginx.conf中没有指定user指令的情况下,默认的nginx使用的用户。如果没有指定,默认为 nobody
- --group=<GROUP> #在nginx.conf中没有指定user指令的情况下,默认的nginx使用的组。如果没有指定,默认为 nobody
- --builddir=DIR #指定编译的目录
- --with-rtsig_module #启用 rtsig 模块
- --with-select_module(--without-select_module) #允许或不允许开启SELECT模式,如果configure没有找到合适的模式,比如,kqueue(sun os)、epoll(linux kenel 2.6+)、rtsig(实时信号)或/dev/poll(一种类似select的模式,底层实现与SELECT基本相同,都是采用轮询的方法),SELECT模式将是默认安装模式
- --with-poll_module(--without-poll_module) #允许或不允许开启POLL模式,如果没有合适的模式,比如:kqueue(sun os)、epoll(liunx kernel 2.6+),则开启该模式
- --with-http_ssl_module #开启HTTP SSL模块,使NGINX可以支持HTTPS请求。这个模块需要已经安装了OPENSSL,在DEBIAN上是libssl
- --with-http_realip_module #启用 ngx_http_realip_module
- --with-http_addition_module #启用 ngx_http_addition_module
- --with-http_sub_module #启用 ngx_http_sub_module
- --with-http_dav_module #启用 ngx_http_dav_module
- --with-http_flv_module #启用 ngx_http_flv_module
- --with-http_stub_status_module #启用 "server status" 页
- --without-http_charset_module #禁用 ngx_http_charset_module
- --without-http_gzip_module #禁用 ngx_http_gzip_module. 如果启用,需要 zlib 。
- --without-http_ssi_module #禁用 ngx_http_ssi_module
- --without-http_userid_module #禁用 ngx_http_userid_module
- --without-http_access_module #禁用 ngx_http_access_module
- --without-http_auth_basic_module #禁用 ngx_http_auth_basic_module
- --without-http_autoindex_module #禁用 ngx_http_autoindex_module
- --without-http_geo_module #禁用 ngx_http_geo_module
- --without-http_map_module #禁用 ngx_http_map_module
- --without-http_referer_module #禁用 ngx_http_referer_module
- --without-http_rewrite_module #禁用 ngx_http_rewrite_module. 如果启用需要 PCRE 。
- --without-http_proxy_module #禁用 ngx_http_proxy_module
- --without-http_fastcgi_module #禁用 ngx_http_fastcgi_module
- --without-http_memcached_module #禁用 ngx_http_memcached_module
- --without-http_limit_zone_module #禁用 ngx_http_limit_zone_module
- --without-http_empty_gif_module #禁用 ngx_http_empty_gif_module
- --without-http_browser_module #禁用 ngx_http_browser_module
- --without-http_upstream_ip_hash_module #禁用 ngx_http_upstream_ip_hash_module
- --with-http_perl_module #启用 ngx_http_perl_module
- --with-perl_modules_path=PATH #指定 perl 模块的路径
- --with-perl=PATH #指定 perl 执行文件的路径
- --http-log-path=PATH #指定http默认访问日志的路径
- --http-client-body-temp-path=PATH #指定http客户端请求缓存文件存放目录的路径
- --http-proxy-temp-path=PATH #指定http反向代理缓存文件存放目录的路径
- --http-fastcgi-temp-path=PATH #指定http FastCGI缓存文件存放目录的路径
- --without-http #禁用 HTTP server
- --with-mail #启用 IMAP4/POP3/SMTP 代理模块
- --with-mail_ssl_module #启用 ngx_mail_ssl_module
- --with-cc=PATH #指定 C 编译器的路径
- --with-cpp=PATH #指定 C 预处理器的路径
- --with-cc-opt=OPTIONS #设置C编译器的额外选项
- --with-ld-opt=OPTIONS #设置链接的额外选项
- --with-cpu-opt=CPU #为特定的 CPU 编译,有效的值包括:pentium, pentiumpro, pentium3, pentium4, athlon, opteron, amd64, sparc32, sparc64, ppc64
- --without-pcre #禁止 PCRE 库的使用。同时也会禁止 HTTP rewrite 模块。在 "location" 配置指令中的正则表达式也需要 PCRE
- --with-pcre=DIR #指定 PCRE 库的源代码的路径
- --with-pcre-opt=OPTIONS #设置PCRE的额外编译选项
- --with-md5=DIR #使用MD5汇编源码
- --with-md5-opt=OPTIONS #设置MD5库的额外编译选项
- --with-md5-asm #使用MD5汇编源码
- --with-sha1=DIR #设置sha1库的源代码路径
- --with-sha1-opt=OPTIONS #设置sha1库的额外编译选项
- --with-sha1-asm #使用sha1汇编源码
- --with-zlib=DIR #设置zlib库的源代码路径
- --with-zlib-opt=OPTIONS #设置zlib库的额外编译选项
- --with-zlib-asm=CPU #zlib针对CPU的优化,合法的值是: pentium, pentiumpro
- --with-openssl=DIR #设置OpenSSL库的源代码路径
- --with-openssl-opt=OPTIONS #设置OpenSSL库的额外编译选项
- --with-debug #启用调试日志
- --add-module=PATH #添加一个在指定路径中能够找到的第三方模块
在不同版本间,选项可能会有些许变化,请总是使用./configure –help命令来检查当前的选项列表。
测试
将Nginx conf文件的server block部分的配置如下:
- server {
- listen 80;
- server_name localhost;
- location / {
- root html;
- index index.html index.htm;
- }
- # redirect server error pages to the static page /50x.html
- error_page 500 502 503 504 /50x.html;
- location = /50x.html {
- root html;
- }
- }
用户可以通过访问“http://localhost:80/index.html”页面来查看Nginx的欢迎页面。
Nginx在Windows环境下查看nginx进程
用户还可以通过命令行运行tasklist命令来查看nginx进程:
- C:\>tasklist /fi "imagename eq nginx.exe"
- 映像名称 PID 会话名 会话# 内存使用
- ========================= ======== ================ =========== ============
- nginx.exe 463024 Console 1 5,036 K
- nginx.exe 462960 Console 1 5,280 K
如果nginx没有启动或没有得到预期展示页面,可查看error.log文件以查看失败原因。如果日志文件不存在,可在Windows事件日志中查看。
Nginx在Linux环境下查看nginx进程
用户可以通过执行ps/top命令来查看nginx进程:
- ps aux|grep nginx
- admin 24913 0.0 0.0 58596 1048 ? Ss Feb27 0:00 nginx: master process ./nginx
- admin 24914 0.0 0.0 72772 5420 ? S Feb27 0:03 nginx: worker process
同上,如果nginx没有启动或者没有得到预期展示页面,可以查看error.log文件或调试来查看失败原因。
C.2 调试日志
用户在使用Nginx的过程中,可能会遇到所请求的资源不正确,Nginx Core Dump,段错误等异常情况,这时需要有相应的机制来进行调试及问题定位,特别是面对大量的日志信息,合理的调试处理机制对用户来说是一件非常重要的事情。以下将着重为大家介绍调试日志。
一,开启调试日志:
要开启调试日志,首先需要在配置Nginx时打开调试功能,然后编译:
- ./configure --with-debug ...
然后在配置文件中设置error_log的级别为:
- error_log /path/to/log debug;
Nginx的Windows二进制版本总是将调试日志开启的,因此只需要设置debug的日志级别即可。
二,日志级别分析:
在此,我们通过分析Nginx源码了解下Nginx将日志分为几个等级及不同日志等级之间的相互关系:
Ngx_log.h代码
- #define NGX_LOG_STDERR 0
- #define NGX_LOG_EMERG 1
- #define NGX_LOG_ALERT 2
- #define NGX_LOG_CRIT 3
- #define NGX_LOG_ERR 4
- #define NGX_LOG_WARN 5
- #define NGX_LOG_NOTICE 6
- #define NGX_LOG_INFO 7
- #define NGX_LOG_DEBUG 8
- #define NGX_LOG_DEBUG_CORE 0x010
- #define NGX_LOG_DEBUG_ALLOC 0x020
- #define NGX_LOG_DEBUG_MUTEX 0x040
- #define NGX_LOG_DEBUG_EVENT 0x080
- #define NGX_LOG_DEBUG_HTTP 0x100
- #define NGX_LOG_DEBUG_MAIL 0x200
- #define NGX_LOG_DEBUG_MYSQL 0x400
- #define NGX_LOG_DEBUG_FIRST NGX_LOG_DEBUG_CORE
- #define NGX_LOG_DEBUG_LAST NGX_LOG_DEBUG_MYSQL
- #define NGX_LOG_DEBUG_CONNECTION 0x80000000
- #define NGX_LOG_DEBUG_ALL 0x7ffffff0
其中默认有效的第一级别日志是”stderr”,”emerg”,”alert”,”crit”,”error”,”warn”,”notice”,”info”,”debug”。 而Ngx_log.h内列出的其他debug第二级别日志:”debug_core”,”debug_alloc”,”debug_mutex”,”debug_event”,”debug_http”,”debug_mail”,”debug_mysql”等则需要在配置Nginx时启动调试日志功能才能使用,并且用户可以通过修改Ngx_log.h及Ngx_log.c源码来更新debug第二级别。
我们再通过Ngx_log.c的部分代码分析下可以如何使用这些日志级别:
Ngx_log.c代码
- char *
- ngx_log_set_levels(ngx_conf_t *cf, ngx_log_t *log)
- {
- ...
- for (n = 1; n <= NGX_LOG_DEBUG; n++) {
- if (ngx_strcmp(value[i].data, err_levels[n].data) == 0) {
- if (log->log_level != 0) {
- ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
- "duplicate log level \"%V\"",
- &value[i]);
- return NGX_CONF_ERROR;
- }
- log->log_level = n;
- found = 1;
- break;
- }
- }
- for (n = 0, d = NGX_LOG_DEBUG_FIRST; d <= NGX_LOG_DEBUG_LAST; d <<= 1) {
- if (ngx_strcmp(value[i].data, debug_levels[n++]) == 0) {
- if (log->log_level & ~NGX_LOG_DEBUG_ALL) {
- ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
- "invalid log level \"%V\"",
- &value[i]);
- return NGX_CONF_ERROR;
- }
- log->log_level |= d;
- found = 1;
- break;
- }
- }
- ...
- if (log->log_level == NGX_LOG_DEBUG) {
- log->log_level = NGX_LOG_DEBUG_ALL;
- }
- ...
- }
按照以上代码逻辑,我们可以得出以下结论:
- 第一级别日志之间是互斥的,如果配置文件内加入如下配置项:
- error_log path/logs/error.log warn;
- error_log path/logs/error.log info;
那么启动Nginx将报错如下:
- [emerg]: duplicate log level "info" in /path/conf/nginx.conf:XX
但是需要注意的是,在配置文件不同block中是允许重新定义错误日志的。但是当用户在重新定义错误日志时,如果没有指定相应的日志级别,那么调试日志将会被屏蔽。下面的例子里,在server层中重新定义的日志就屏蔽了这个虚拟主机的调试日志:
- error_log /path/to/log debug;
- http {
- server {
- error_log /path/to/log;
- ...
为了避免这个问题,可以注释这行重新定义日志的配置,或者也给日志指定debug级别:
- error_log /path/to/log debug;
- http {
- server {
- error_log /path/to/log debug;
- ...
- 第二级别日志是多选的,用户可以根据项目需要配置多个第二级别日志:
- error_log logs/error.log debug_mysql;
- error_log logs/error.log debug_core;
- 在第一级别日志与第二级别日志组合配置时,仅有在第一级别日志为”debug”时才可以有第二级别的配置,其他第一级别日志的情况下指定第二级别日志将无法启动Nginx,如:
- error_log logs/error.log error;
- error_log logs/error.log debug_core;
启动Nginx将获得如下错误信息:
- [emerg]: invalid log level “debug_http” in /path/conf/nginx.conf:XX
当用户开启debug级别日志时,会输出所有debug_开头的调试信息,因此可以通过上面组合debug_core|debug_http的形式来获取用户所需要的调试信息。
三,日志格式设置:
用户在使用Nginx提供web服务的时候,可能会有很多场景需要记录日志,如打点日志,访问日志,数据统计日志,性能分析日志等。为了更加方便的对日志进行分析,我们可以通过设置日志格式的方式来要求Nginx按照用户要求进行日志的展现。
控制nginx日志输出的指令如下:
- log_format customLog "$remote_addr^A$remote_user^A$time_local^A$request_method^A$uri^A$args^A$server_protocol"
- "^A$status^A$body_bytes_sent^A$http_referer"
- "^A$http_user_agent";
- access_log /path/logs/access.log customLog;
上面例子中通过使用特殊字符(^A)来作为日志字段的分隔符,用户后续可以使用sort和grep之类的工具对特定url做分析,如统计各url请求量倒排取前50个:
- awk -F^A '{print $5}' /path/logs/access.log | sort | uniq -c | sort -nr | head -50
类似上面的日志定制化设置,可以让用户在调试日志的过程中随心所欲,如鱼得水。 详细的log_format指令和access_log指令,用户可以访问Nginx官网的HttpLog模块 http://wiki.nginx.org/HttpLogModule 。
四,调试日志的几个注意点:
- 勘误:在Nginx Wiki里面error log相关部分(http://wiki.nginx.org/NginxHttpMainModule#error_log )的介绍中提到
- Default values for the error level:
- in the main section - error
- in the HTTP section - crit
- in the server section - crit
但是,我们从源码上看:
- static char *
- ngx_error_log(ngx_conf_t *cf, ngx_command_t *cmd, void *conf)
- {
- ...
- if (cf->args->nelts == 2) {
- cf->cycle->new_log.log_level = NGX_LOG_ERR;
- return NGX_CONF_OK;
- }
- ...
- }
当error_log 的日志级别选项为配置时,默认日志级别为error,无上面提及的三个section的区别。故特在此勘误。
- 配置error_log off并不能关闭日志记录——日志信息会被写入到文件名为off的文件当中。如果要关闭日志记录,用户可以做如下配置:
- error_log /dev/null crit;
- 如果nginx进程没有权限将日志信息写入指定的log地址,那么nginx会在启动是报错:
- [alert]: could not open error log file: open() "/path/log/nginx/error.log" failed (13: Permission denied)
- 通过debug_connection配置项,用户可以针对某些地址开启调试日志:
- error_log /path/to/log;
- events {
- debug_connection 10.232.10.1;
- debug_connection 10.232.10.0/24;
- }