C1G军火库

NCACHE 是基于 NGINX 的 WEB 服务器模型构件起来的缓存系统, 是SINA公司的开源产品.

起初的目的是为了提升缓存响应速度而开发的,因为SQUID实在比较慢, 而NGINX的优势就在于网络服务上,所以NCACHE计划也就诞生了.

NCACHE最早的时候是作为NGINX的一个HTTP模块进行开发的,因为当时希望做到更好的兼容性和可扩展性,作为独立模块,可以被更好的推广和使用,安装也会很方便.但后来发现随着代码量的增加,功能的扩充,NGINX的原有模块框架已经不能很好的满足我们了,因此,我们提取了NGINX的内核代码,并把CACHE部分欠入其中,形成了今天的NCACHE

NCACHE本身功能并不强大,且不具备像SQUID般完善的功能和开发框架,甚至不能支持RFC中关于CACHE部分的描述. NCACHE完全是一套定制化的产品,可以满足像我们一样需要快速部署,简单易用,大并发量,大存储量的朋友们的需求,它不需要复杂的配置,不需要冗余的复杂代码,并使用最先进的技术组合.

NCACHE 2.0版本，是作为一个完整的NGINX 模块进行发布和使用的，从原有的NCACHE内核中进行了剥离，更方便开发者的安装和配置

http://code.google.com/p/ncache/

下载后重新编译nginx

配制文件检查无错；
生成cache目录;
nginx在80,使用apache在8080做后台;
产生max-age;

time_count:1583 request_count:29 shoot_count:0 disk_writes:4 store_files:10 upstream_count:2 free_index:16777215

expires有效，防盗链失效
location ~* ^.+\.(jpg|jpeg|gif|png|css|js|swf)$ {
access_log off;
root /opt/htdocs/career;
expires 1h;
#break;
}

location ~* ^.+\.(jpg|jpeg|gif|png|swf|rar|zip)$ {
valid_referers none blocked *.c1gstudio.com;
if ($invalid_referer) {
rewrite ^/ http://leech.c1gstudio.com/leech.gif;
return 412;
}
}


只有js和css的expire有效，防盗链有效

location ~* ^.+\.(jpg|jpeg|gif|png|swf|rar|zip)$ {
valid_referers none blocked *.c1gstudio.com;
if ($invalid_referer) {
rewrite ^/ http://leech.c1gstudio.com/leech.gif;
return 412;
}
}
location ~* ^.+\.(jpg|jpeg|gif|png|css|js|swf)$ {
access_log off;
root /opt/htdocs/career;
expires 1h;
#break;
}

让expire和防盗链都有效

location ~* ^.+\.(jpg|jpeg|gif|png|swf|rar|zip|css|js)$ {
valid_referers none blocked *.c1gstudio.com;
if ($invalid_referer) {
rewrite ^/ http://leech.c1gstudio.com/leech.gif;
return 412;
}
access_log off;
root /opt/htdocs/career;
expires 1h;
break;

}


使用nginx架构的php应用负载5以下达到了日pv三百五十万，平均连接数六千多，并且保持了不错的响应速度。
具体安装:
nginx+php(FCGI)+xcache+mysql on as4

以下为awstats一天的详细统计数据

广告系统（简单php+js)

sns(一般复杂php+mysql)

文章(简单php+mysql)

discuz6(php+mysql)

一般复杂php+mysql

商店(简单php+mysql)

软件
os:as4
app:nginx 0.62+php5.26(fcgi)+mysql5.16+xcache+postfix
nginx:4

keepalive_timeout 60

phpcgi:50
mysql:

key_buffer_size = 160M
query_cache_size = 64M
query_cache_limit = 2M #default=1M
query_cache_min_res_unit = 2k #default=4K

max_allowed_packet = 16M
table_cache = 768

tmp_table_size = 128M #default=16M
max_heap_table_size = 128M #default=16M

read_buffer_size = 2M
read_rnd_buffer_size = 8M

sort_buffer_size = 32M
join_buffer_size = 4M
myisam_sort_buffer_size = 64M
thread_cache_size = 80 #default=0
thread_stack = 192K #default=192K

thread_concurrency = 8 #default=10
max_connection = 100
max_connect_errors = 100
wait_timeout = 10

硬件
cpu :2颗双核至强 1.60GHz
mem:1G*2
harddisk:scsi 74G*1

负载
主要应用为discuz ，六十万会员，每日1.5万贴，db大小为三百多兆,其中php的javascript缓存占了大部分。
论坛平均一小时在线五千多人,高峰为七千.

nginx status
Active connections: 6845
server accepts handled requests
 14859839 14859839 56220725
Reading: 12 Writing: 15 Waiting: 6818
高峰时同时连接达八千多

top(高峰时load可达十几)

top - 14:45:37 up 35 days, 21:51,  1 user,  load average: 3.82, 3.78, 
Tasks: 202 total,   1 running, 201 sleeping,   0 stopped,   0 zombie
Cpu(s): 21.6% us,  4.1% sy,  0.0% ni, 70.5% id,  3.7% wa,  0.1% hi,  0
Mem:   2073976k total,  1985372k used,    88604k free,    83884k buffe
Swap:  2040244k total,     4336k used,  2035908k free,  1267284k cache
 

mysql统计

服务器已经运行了 0 天 2 小时，23 分 55 秒
连接   ø 每小时   %
max. concurrent connections  65  ---  ---
尝试失败  46  18.55  0.02%(firefox每次刷新都会加2，不明白)
中止  1,699  685.08  0.83%
统计  206 k  82.97 k  100.00%

2008-10-10
去掉广告系统。

修改expire增加到3天，来降低http连接(参考discuz.net的10天)
日志不记录图片的请求
效果：Active connections降低一半多。负载降低了四分之一左右。

论坛共 7196 人在线 - 最高记录是 11012 于 2008-10-12.

Active connections: 3195
server accepts handled requests
 495784 495784 1917665
Reading: 16 Writing: 35 Waiting: 3144
top - 10:55:43 up 39 days, 18:01,  1 user,  load average: 2.89, 3.06, 
Tasks: 174 total,   1 running, 173 sleeping,   0 stopped,   0 zombie
Cpu(s): 23.6% us,  4.2% sy,  0.0% ni, 63.7% id,  8.5% wa,  0.1% hi,  0
Mem:   2073976k total,  1958516k used,   115460k free,   117848k buffe
Swap:  2040244k total,      188k used,  2040056k free,  1313148k cache

mem < 2G, swap = 2G
mem > 2G, mem < 8G, swap=mem
mem > 8G, swap=8G

不装oracle时2Gswap就可以了

用nmap扫了下服务器发现631端口是打开的。

631/tcp open ipp

//先检查下
#ps aux|grep cups

//关闭服务
#service cups stop

//查看自启动
#chkconfig –list cups
cups            0:关闭  1:关闭  2:启用  3:启用  4:启用  5:启用  6:关闭

//关闭自启动服务
#chkconfig –level 2345 cups off

//再检查下
#chkconfig –list cups
cups            0:关闭  1:关闭  2:关闭  3:关闭  4:关闭  5:关闭  6:关闭

============================我是分割线===================

8009/tcp  open     ajp13

8009端口是tomcat和apache的mod_proxy_ajp,mod_jk沟通的端口，我这里apache纯做代理所以可以关闭。

tomcatpath/conf/server.xml 中的这段注释掉
 <!–
    <Connector port=”8009″ protocol=”AJP/1.3″ redirectPort=”8443″ />
    –>

重启tomcat

收工~