Nginx+Apache2+PHP+MySQL｜關於大型論壇系統環境搭建(20萬日IP負載均衡實戰)

測試環境:理想論壇(55188).
理想論壇為國內人氣最旺的股票論壇，注冊會員已超過100萬，並以每月60000人的速度穩定遞增，每日頁面訪問量超過200萬，並保持穩定增長的趨勢,60分鐘在線平均約2萬多人，最高記錄3萬3千多。 目前主題超過30萬，帖子接近1千萬，數據庫大小5.8GB，附件總大小大約150GB
之前理想論壇有三台服務器，兩台WEB服務器以及一台數據庫服務器，訪問已經漸漸出現瓶頸，在豬頭的建議下，站長決定增加一台服務器放數據庫，另外三台做WEB，並且對原有的服務器的操作系統進行升級。
硬件具體情況
MySQL服務器： DualXeon 5335/8GB內存/73G SAS硬盤（RAID0+1）/CentOS5.1-x86_64/MySQL5
三台WEB服務器如下：
N1. Dual Xeon 3.0 2GB 內存
N1. Dual Xeon 3.0 4GB 內存
N1. Dual Xeon 3.0(雙核) 4G內存
另外有三塊300G的SCSI硬盤准備做RAID5，用來存放附件,四台機器通過內網連接

豬頭考慮過的解決方案如下:
1. ZEUS + PHP5 + eAccelerator
2. squid + Apache2 + PHP + eAccelerator
3. nginx + PHP(fastcgi) + eAccelerator
4. nginx + Apache2 + PHP + eAccelerator

第一個方案，屬於比較完美的，而且很穩定，但是最大的問題是ZEUS是收費軟件，用盜版總會受良心責備的,所以暫時押後做候補方案
第二個方案，squid轉發請求給Apache2，很多網站都采用這種方式，而且效率也非常高，豬頭也測試了一下，但是問題非常嚴重，因為squid是把文件緩存起來的，所以每一個訪問過的文件，squid都要把它打開，理想論壇擁有150G的附件，而且訪問量巨大，這種情況下只有打開squid，機器很快就會因為打開文件過多而拒絕響應任何請求了,看來也不適合,只適合緩存文件只有幾百M以內的網站.
第三個方案，豬頭對第三個方案的測試結果是訪問量大的時候，PHP經常會出現bad gateway，看來通過TCP連接Fastcgi執行PHP的方法不夠穩定，豬頭也測試了通過Unix Socket連接執行PHP，同樣還是不穩定.

Apache2的安裝。
(由於服務器采用FreeBSD7，所以大部分軟件將會通過ports安裝)
由於Apache2只需要處理PHP請求，所以其他模塊基本上都不需要，所以不要選擇安裝其他模塊，即使rewrite也不需要，因為rewrite將會在nginx上面實現，如果熟悉，還可以修改Makefile刪掉不需要的部分，這樣經過優化之後，apache將會以最穩定最高效的方式處理PHP請求

cd /usr/ports/www/apache20
make install clean

修改httpd.conf(這裡僅列出要修改/增加的部分)
vi /usr/local/etc/apache2/httpd.conf
把KeepAlive On修改為KeepAlive Off，在下面添加
ServerLimit 2048
MaxClients增加到512
Listen 127.0.0.1:81 #由於httpd服務器不需要對外開放，僅僅處理nginx轉發過來的PHP請求，所以僅僅需要監聽本地的端口.
另外增加對PHP的支持
AddType application/x-httpd-php .php
AddType application/x-httpd-php-source .phps
至於添加虛擬主機的部分將不再羅嗦，注意虛擬主機也監聽本地81端口就可以了

PHP5的安裝(GD庫等模塊請提前裝好)
cd /usr/ports/lang/php5
修改一下Makefile，把需要的東西加上去吧
本來應該有這樣一段的

CONFIGURE_ARGS= \
–with-layout=GNU \
–with-config-file-scan-dir=${PREFIX}/etc/php \
–disable-all \
–enable-libxml \
–with-libxml-dir=${LOCALBASE} \
–enable-reflection \
–program-prefix=」」

我們要把它修改成

CONFIGURE_ARGS= \
–with-layout=GNU \
–with-config-file-scan-dir=${PREFIX}/etc/php \
–disable-all \
–enable-libxml \
–with-libxml-dir=${LOCALBASE} \
–enable-reflection \
–program-prefix=」」 \
–with-config-file-path=/etc –enable-mbstring –enable-ftp –with-gd –with-jpeg-dir=/usr/local –with-png-dir=/usr/local –enable-magic-quotes –with-mysql=/usr/local –with-pear –enable-sockets –with-ttf –with-freetype-dir=/usr/local –enable-gd-native-ttf –with-zlib –enable-sysvsem –enable-sysvshm –with-libxml-dir=/usr/local –with-pcre-regex –enable-xml

make install clean
cp work/php-5.2.5/php.ini-dist /etc/php.ini

安裝eAccelerator
cd /usr/ports/www/eaccelerator
make install clean
把以下部分添加到php.ini尾端:

extension_dir=」/usr/local/lib/php/20060613/」
extension=」eaccelerator.so」
eaccelerator.cache_dir=」/tmp/eaccelerator」
eaccelerator.shm_size=」64〞
eaccelerator.enable=」1〞
eaccelerator.optimizer=」1〞
eaccelerator.check_mtime=」1〞
eaccelerator.debug=」0〞
eaccelerator.filter=」」
eaccelerator.shm_max=」0〞
eaccelerator.shm_ttl=」60〞
eaccelerator.shm_prune_period=」60〞
eaccelerator.shm_only=」0〞
eaccelerator.compress=」1〞
eaccelerator.compress_level=」9〞
eaccelerator.keys=」shm_and_disk」
eaccelerator.sessions=」shm_and_disk」
eaccelerator.content=」shm_and_disk」

建立緩存目錄以及修改權限

mkdir /tmp/eaccelerator
chmod 777 /tmp/eaccelerator
chown nobody:nobody /tmp/eaccelerator

nginx的安裝以及配置

cd /usr/ports/www/nginx
make install

有幾個module是我們需要的，要選上

HTTP module
http_addition module
http_rewrite module
http_realip module
http_stub_status module

其他的看自己需要了
修改配置文件
vi /usr/local/etc/nginx/nginx.conf

user nobody nobody;
worker_processes 4;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid /var/log/nginx.pid;
events {
worker_connections 10240;
}
http {
include mime.types;
default_type application/octet-stream;
limit_zone one $binary_remote_addr 10m;
#log_format main 『$remote_addr – $remote_user [$time_local] $request 『
# 『」$status」 $body_bytes_sent 「$http_referer」 『
# 『」$http_user_agent」 「$http_x_forwarded_for」『;
sendfile off;
tcp_nopush off;
#keepalive_timeout 0;
keepalive_timeout 10;
gzip off;

server {
listen 80;
server_name www.55188.net www.55188.com www1.55188.com www2.55188.com 55188.com 55188.net www.55188.cn 55188.cn bbs.55188.net bbs.55188.com bbs.55188.cn;
index index.html index.htm index.php;
root /home/www;
access_log /dev/null combined;
limit_conn one 5;#限制一個IP並發連接數為五個
error_page 404 /404.html;
error_page 403 /403.html;
location /status {
stub_status on;
access_log off;
auth_basic 「NginxStatus」;
auth_basic_user_file conf/htpasswd;
}

#在根目錄使用Discuz6.0 rewrite規則,如果你的論壇在二級目錄下面,則要相應修改location
location / {
rewrite ^/archiver/((fid|tid)-[\w\-]+\.html)$ /archiver/index.php?$1 last;
rewrite ^/forum-([0-9]+)-([0-9]+)\.html$ /forumdisplay.php?fid=$1&page=$2 last;
rewrite ^/thread-([0-9]+)-([0-9]+)-([0-9]+)\.html$ /viewthread.php?tid=$1&extra=page\%3D$3&page=$2 last;
rewrite ^/space-(username|uid)-(.+)\.html$ /space.php?$1=$2 last;
rewrite ^/tag-(.+)\.html$ /tag.php?name=$1 last;
break;
error_page 404 /404.html;
error_page 403 /403.html;
}

#對附件做防盜鏈,沒有正確的referer將會返回403頁面
location ~* ^.+\.(gif|jpg|png|swf|flv|rar|zip|doc|pdf|gz|bz2|jpeg|bmp|xls)$ {
valid_referers none blocked server_names *.55188.net *.55188.com;
if ($invalid_referer) {
rewrite ^/ http://www.55188.com/403.html;
}
}

#轉發PHP請求到本地的81端口,讓Apache處理.
location ~ \.php$ {
proxy_pass http://127.0.0.1:81;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_hide_header Content-Type;
}
}

}

測試一下你的配置文件是否都正確

/usr/local/sbin/apachectl configtest
/usr/local/sbin/nginx -t

都沒問題的話就啟動服務器吧

/usr/local/sbin/apachectl start
/usr/local/sbin/nginx -c /usr/local/etc/nginx/nginx.conf

瀏覽一下主頁，應該正常了

後繼討論，
1.數據庫.
數據庫的編譯安裝不再重復討論，僅僅討論環境，由於理想論壇的數據庫比較大，而且發展比較快，所以要作比較前一點的預算，硬盤需要使用15K RPM的SAS硬盤做RAID0+1，操作系統需要使用64位版本，因為服務器需要8GB內存，要注意的時，使用了64位系統之後部分比較老的軟件可能你無法找到64位的版本，這台機器就專門做MySQL服務器吧，如果數據庫超過10G，應該考慮MySQL_Cluster

2.附件.
因為有三台服務器做WEB，所以附件要使用nfs的方式通過內網進行共享，至於如何設置nfs這裡不再討論，如果有不明白的請將學費交給Google

3.WEB.
由於三台機器硬件配置不一致,所以有必要考慮一下負載平衡的問題,nginx本身附帶有負載平衡的功能,但是如果啟用負載平衡的功能的話,每台機器都將會把客戶端請求的數據緩存到本機,這樣增加了硬盤的IO,對於理想論壇的訪問量來說,這是個不小的開銷,最後我們是使用DNS查詢的方式來分配流量, 通過不同的A記錄,配置好點的機器，多分一條A記錄，配置差的就少一條A記錄，這樣從整體上看，流量分配應該比較平衡.

4.關於nginx並發連接
豬頭給nginx限制了每個IP的並發連接，因為對於大論壇來說，總是比較出名的，不說人家攻擊你什麼的.采集都特別多,如果不限制,很容易出問題,經常會導致PHP罷工.

以上只是豬頭愚見，如果有其他進展，豬頭會更新本貼，如有疑問或者不同見解，歡迎提出討論

當然還有很多很瘋狂的方法，例如說把WEB文件(附件除外)全部放內存裡面，MYSQL如果小於5G，也可以全部放內存裡面，不過這些方法都是太極端的了，優化效果須然好，但是風險很大。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

優化之後的效果
由於還有兩台機器升級沒完成，只帖一下其中一台WEB的狀況了。目前
Active connections: 1143
server accepts handled requests
1211445 1211445 6221785
Reading: 67 Writing: 136 Waiting: 940

Apache最優化要關閉不用的模塊，因為httpd請求全部讓nginx處理了，Apache僅僅需要處理PHP就可以了，目前我開啟的模塊
LoadModule access_module libexec/apache2/mod_access.so
LoadModule setenvif_module libexec/apache2/mod_setenvif.so
LoadModule mime_module libexec/apache2/mod_mime.so
LoadModule autoindex_module libexec/apache2/mod_autoindex.so
LoadModule negotiation_module libexec/apache2/mod_negotiation.so
LoadModule alias_module libexec/apache2/mod_alias.so
LoadModule rewrite_module libexec/apache2/mod_rewrite.so
LoadModule php5_module libexec/apache2/libphp5.so

autoindex negotiation以及rewrite這些應該都關閉的，但是要做相應的修改.目前跑起來絕對比Fastcgi要好

作者:豬頭
版權沒有，歡迎轉載，轉載請勿注明出處
（本文只針對Discuz論壇系統討論，由於軟件包更新速度比較快，你看本貼的時候可能已經是使用新版本的軟件包了，安裝方法可能不一致，詳細請查看軟件包的README文件）