描述
云查杀平台以nginx作为反向代理服务器，作为安全终端与云查询服务的桥梁。当安全终端需要查询黑文件时，HTTP请求及其响应都会经过nginx，为了获取并统计一天24小时查询的黑文件数量，就得先截获经过nginx的HTTP响应，再做数据分析。截获HTTP数据流有多种方法，为了简单高效，这里使用了挂接HTTP过滤模块的方法，另外为了不影响nginx本身的IO处理，将HTTP响应实体发送到另一个进程即统计服务，由统计服务来接收并分析HTTP响应，架构如下图
统计服务由1个接收线程和1个存储线程构成，其中接收线程负责接收从nginx过滤模块发来的HTTP响应实体，解析它并提取黑文件MD5，加入共享环形队列；而存储线程从共享环形队列移出黑文件MD5，插入到临时内存映射文件，于每天定时同步到磁盘文件。
特点
这种架构减少了nginx IO延迟，保证了nginx的稳定高效运行，从而不影响用户的业务运行；本地连接为非阻塞的，支持了统计服务的独立运行与升级。
实现
nginx过滤模块
该流程运行在nginx工作进程。
由于nginx采用了异步IO机制，因此仅当截获到HTTP响应实体也就是有数据经过时，才有后面的操作；若没有数据，则什么也不用做。这里每次发送前先判断是否连接了统计服务，是为了支持统计服务的独立运行与升级，换句话说，不管统计服务是否运行或崩溃，都不影响nginx的运行。
统计服务
接收线程
这里的接收线程也就是主线程。
存储线程
存储线程为另一个工作线程。
同步文件定时器的时间间隔要比新建文件定时器的短，由于定时器到期的事件处理是一种异步执行流，所以将它们当做并行，与“从q头移出黑文件MD5”操作画在了同一水平方向。
posted on 2016-08-25 11:10
春秋十二月 阅读(1071)
评论(0) 编辑 收藏 引用 所属分类:
Opensrc