小明思考

高性能服务器端计算
posts - 70, comments - 428, trackbacks - 0, articles - 0
  C++博客 :: 首页 :: 新随笔 :: 联系 :: 聚合  :: 管理

IOCP Tips

Posted on 2008-03-12 11:51 小明 阅读(6950) 评论(7)  编辑 收藏 引用 所属分类: Win32Network/ACE

Tip 1 : 使用WSASend/WSARecv来收发数据,而不是使用ReadFile/WriteFile
一句话,前者具有更好的性能

Tip 2:  理解IOCP的最大并发线程数和工作线程数
应该让工作线程数(调用GetQueuedCompletionStatus那些线程)大于等于在CreateIoCompletionPort 指定的NumberOfConcurrentThreads数。
标准做法是永远设置NumberOfConcurrentThreads=0

Tip 3: 利用GetQueuedCompletionStatus的completion key和overlapped structure参数在异步操作中来传递信息
通常completion key用来传递和handle/socket/session的信息
而overlapped structure用来传递每次异步I/O的一些信息,通常的做法是会定义一个structure来派生于OVERLAPPED
struct MY_IO_DATA : public OVERLAPPED

Tip 4: 理解IOCP的完成包的排队行为
从GetQueuedCompletionStatus得到完成包的次序可能跟调用WSASend/WSARecv的次序不一样。
微软唯一保证是如果调用WSASend/WSARecv得到SUCCESS或者IO_PENDING,就一定会有一个完成包出现在IOCP的队列上,不管这个socket是否关闭了。
如果关闭socket,那么之后的WSASend/WSARecv调用就一定返回失败的结果。

关于IOCP包可能次序错乱和解决方法,有一篇文章可以参考: http://www.codeproject.com/KB/IP/reusablesocketserver4.aspx
我的做法是避免多次调用WSARecv


Tip 5: IOCP的清除
最重要的一点是,在I/O完成之前,不要释放overlapped structure。可以用HasOverlappedIoCompleted来监测OV是否完成。

通常的做法是
1) 调用PostQueueCompletionStatus N次(N=工作线程数),来传递特殊的退出信息给所有的工作线程
2) 关闭所有的socket,如果很在意处理完未完成的数据包,需要使用一个计数器来跟踪异步I/O事件,直到计数器为0,才关闭相应的socket
3) 关闭completion port

Feedback

# re: IOCP Tips  回复  更多评论   

2008-03-12 12:35 by 李侃
应该把OVERLAPPED 结构(一个或多个)绑定到你的session上去,避免OVERLAPPED 被多个用户共用,会减少很多“不必要”的麻烦,另外一个OVERLAPPED 做完一件事情之前,不要让它再去做另外一件事情,这两点是我比较深刻的体会,

# re: IOCP Tips  回复  更多评论   

2008-03-12 15:13 by 请输入你的姓名
Happy birthday.

# re: IOCP Tips  回复  更多评论   

2008-03-12 16:58 by 爱上龙卷风
"标准做法是永远设置NumberOfConcurrentThreads=0"
这个应该和cpu的数量相一致,而不是永远为0

# re: IOCP Tips  回复  更多评论   

2008-03-12 17:12 by 小明
@爱上龙卷风
From MSDN:
NumberOfConcurrentThreads
If this parameter is zero, the system allows as many concurrently running threads as there are processors in the system.

# re: IOCP Tips  回复  更多评论   

2008-03-13 12:33 by 饭中淹
NumberOfConcurrentThreads是指定系统同时调度的工作线程数.
如果你的工作线程的工作量很大,一定要把数量提升到比这个大.
这里的数量,最好和cpu的个数保持一个关系,这样可以达到最高性能的调度。
比如等于cpu数量这样一个选择。

IOCP的工作线程的概念就是提供给系统一个可调度的完成操作所需的线程,这样系统在获取队列的那个等待函数里面,就可以在内核中对所有调用这个函数的工作线程进行调度,在这些工作线程进入内核的部分处理完成队列中的未完成操作,从而实现高性能的io。

明白了这个原理,就可以根据这个原理来合理的配置每个iocp需要的参数了。当然,一个要注意的是,在获取完成状态的线程一定要大于等于你设置的这个同时调度的工作线程的个数的值,才能获得最高的性能。

# re: IOCP Tips  回复  更多评论   

2008-03-14 19:32 by 追梦时代
我关于避免多次调用WSARecv的做法是使用引用计数. 不知道大家是怎么做的

# re: IOCP Tips  回复  更多评论   

2008-12-16 16:04 by 飞鸽传书
IOCP,的确很不错。

只有注册用户登录后才能发表评论。
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理