类似网页爬行的程序，高速请求网页，一天可能要请求千万级别的程序，反正就是越快越好。假设电脑速度非常快，假设网络速度也非常快。i7cpu 16g内存，100m光纤独享等等。当然，如果不能提供这样的条件也要能跑。
有几个要求，第一要使用c# 写程序，如果要用其它语言，也只能把它做成模块让c#调用。第二，要稳定，不能自动退出，这程序要24小时运行。第三，要考虑请求的网页有各种问题，404，500错误，超时等等。
小的功力不够，使用System.Net下的 WebRequest ，加多线程，速度感觉不是很给力。容易闪退，不知道是为什么，另外速度也不够快，平均一分钟只能请求500个网页。有一些其它的工具远超过这个数。不知道他们是怎么做到。除了C或C++写的这个优势外，感觉还是有很多网络知识没精通。在这里肯请高手们赐教。
请赐教！