C10K问题

问题

C10K是探讨如何优化sockets处理以便能够同时处理大量客户请求的问题。

C10K就是指的并发处理10K个连接。

注意,这里的并发连接和qps的概念是不同的,尽管它们有些相似。qps需要很高的吞吐量(能够很快地处理请求),而大量的并发连接需要高效的连接调度和管理。换句话说,高qps要求的是处理请求的速度,而同时处理大量连接的能力并不需要一个快的系统,只需要在有限的时间(不一定是固定的时间)内给出一个响应即可。

对于如何优化socket server已经有了大量的研究,因为如何支持大量的客户端需要考虑许多因素。需要综合考虑操作系统限制和软件限制。

综合考虑我们要提供服务的范围(I/O密集型或CPU密集型),操作系统的能力,以及具备多处理器能力的硬件因素,我们可以选择多线程模型或单线程模型。

同时,我们还需要考虑内存管理(通常与操作系统相关)和I/O管理方面的因素。

历史

C10K这个词最早由Dan Kegel于1999年提出,从一个FTP服务器cdrom.com引出来 ,在一个1G的网卡上同时服务10,000个客户端.之后,这个术语就用来代表解决大量客户端的问题,与之类似的,2010年提出了”C10M”问题。

2010年初,在一个服务器上提供百万级别的连接成为可能:

超过2百万的连接(WhatsAPP,12核心,在FreeBSD上用Erlang开发)

10-12百万连接(MigratoryData,12核心,在Linux使用JAVA开发).

常见的提供大量连接的程序包括pub/sub服务,聊天,文件服务器,web服务器和SDN。

关于C10K问题,后续将会带来如下话题的讨论:

  • Nginx如何解决c10K问题

  • 负载均衡

  • 事件驱动架构

  • 事件驱动编程

  • reactor模式

结尾,分享一本大牛关于并行编程的免费电子书<<深入理解并行编程>>

https://mirrors.edge.kernel.org/pub/linux/kernel/people/paulmck/perfbook/perfbook.2017.11.22a.pdf