服务器性能和可伸缩性杀手
George V. Reilly
微软公司
2月22, 1999
目录
序言
应用程序服务器
IIS的灵活性和性能
扼杀服务器性能的十条戒律
结论
--------------------------------------------------------------------------------
序言
现在，服务器性能问题是许多书写桌面应用程序的人所要面对的问题。组件对象模型（Component Object Model，COM）和Component ware的成功产生了一个意想不到的结果，这就是如果使用像ASP（IIS的一个扩展）这样的应用程序服务器，就不用编写主机代码了，其实以前的主机代码都不是在真正的服务器环境下编写的。桌面环境和服务器环境之间有许多重要的不同，这些不同会在性能上产生不可预测的影响。
桌面应用程序服务器
影响桌面应用程序性能的因素是众所周知的。长指令路径意味着更慢的代码，这是性能方面的一个主要缺陷。使用大量资源会使应用程序变得更加臃肿，这样系统中的其他应用程序可用的资源就会更少。减慢启动时间会激怒用户。太多的运行设置会使机器的页错误率增高，使它们变慢而且反映迟钝。服务器应用程序也常受到这些因素影响，另外还有一些其他因素介绍如下：
通常，服务器应用程序同时处理的客户没有几百也有几十。对桌面应用程序来说，如果能在1/10秒内对用户做出反应就算是很快的了。假设一个操作需要整整100ms的话，那么这个应用程序在一秒中只能进行10个操作。大多数服务器应用程序需要比每秒钟十次请求大得多的通量。高延迟时间网络（延迟时间=消息的传输时间）加长了反应时间，这就需要服务器的反应更快以满足要求。
服务器应用程序经常处理大量的数据设置。效率低下的，尤其是那些浪费运行时间的方法，是不能用于处理上百万条数据的。
服务器机器比桌面机器更强大。服务器机器有更多的内存，更大的磁盘，更快的CPUs，并且通常有多个处理器。但是这些仍然不够。桌面机器处理的是零星的突发性业务，大部分时间是空闲的，而服务器的负载是连续不断的。服务器机器很昂贵，必须运行得很好才行。
服务器应用程序需要具有以月计算的正常运行时间。过了一段时间后，服务器的性能必须不会由于资源泄露或 cruft（一种需要周期性清除的数据结构和统计结果）的积聚而降低。
大多数服务器应用程序都需要采用多线程结构。考虑一个一次只处理一个请求。而将大部分时间都化在I/O上的单线程服务器，这样的性能是很难让人接受的。线程池可以利用其他空闲的处理器时钟周期同时处理几个请求。为了充分利用多处理器系统，服务器应用程序必须是多线程的。不幸的是，多线程应用程序很难编写，很难调试，而且很难运行得好，尤其是在多处理器系统中。但是一旦正确地得到它，其性能会远远超过同样的单线程应用程序，从这一点来说，使用多线程应用程序还是值得的。
单线程应用程序相对简单，很容易理解：程序中某一时刻只有一个事件发生。在多
线程应用程序中，并发行为导致复杂的相互作用，其影响很难预测。另外，这些相
互作用，不管是否是灾难性的，都很难再生。桌面应用程序很少有多于一个线程
的，即使有，这些线程也只是用于分立的后台业务，例如打印。
IIS的灵活性和性能
Internet Information Server（IIS）是一个应用程序服务器。在很多方面，它像是一个虚拟操作系统，因为有许多ASP和ISAPI应用程序在处理间隔中运行。
IIS使用一个I/O线程池来处理所有到来的请求。对静态文件（.htm，.jpg等文件）的请求会马上得到满足，而对动态内容的请求被分派到适当的ISAPI扩展动态连接库。ASP扩展利用一个工人线程池运行ASP页。因为ASP是基于COM的，所以所有组件都是在我们的处理过程中执行的。这是一个好坏掺半的事情。它对开发者来说是好极了，因为它允许组件的简单重用，使ASP非常灵活，因此使ASP和IIS非常成功。但是，这个灵活性导致了性能问题。因为许多组件是为桌面系统编写的，并且许多专门为ASP创建的组件是由那些不是十分会写高性能服务器组件的人编写的。
对ISAPI扩展和过滤器也是一样。不同组件之间及同一组件的不同实例中都存在着严重的相互影响。
下面的所有说明都适用于IIS，其中的大多数也适用于其他服务器应用程序。
扼杀服务器性能的10条戒律
下面的每一条戒律都将有效地影响代码的性能和可伸缩性。换句话说，尽可能不要照着戒律去做!下面，我将解释如何破坏他们以便提高性能和可伸缩性。
应该分配和释放多个对象
你应该尽量避免过量分配内存，因为内存分配可能是代价高昂的。释放内存块可能更昂贵，因为大多数分配算符总是企图连接临近的已释放的内存块成为更大的块。直到Windows NT? 4.0 service pack 4.0，在多线程处理中，系统堆通常都运行得很糟。堆被一个全局锁保护，并且在多处理器系统上是不可扩展的。
不应该考虑使用处理器高速缓存
大多数人都知道由虚拟内存子系统导致的hard 页错误代价很高，最好避免。但是许多人认为其他内存访问方法没有什么区别。自从80486以后，这一观点就不对了。现代的CPUs比RAM要快得多，RAM至少需要两级内存缓存 ，高速L1 缓存能保存8KB数据和8KB指令，而较慢的L2 缓存能保存几百KB的数据和代码，这些数据和代码混合在一起。L1 缓存中内存区域的一个引用需要一个时钟周期，L2 缓存的引用需要4到7个时钟周期，而主内存的引用需要许多个处理器时钟周期。后一数字不久将会超过100个时钟周期。在许多方面，缓存像一个小型的，高速的，虚拟内存系统。
至于和缓存有关的基本内存单元不是字节而是缓存列。Pentium 缓存列有32个字节宽。Alpha 缓存列有64个字节宽。这意味着在L1 缓存中只有512个slot给代码和数据。如果多个数据一起使用（时间位置）而并不存储在一起（空间位置），性能会很差。数组的空间位置很好，而相互连接的列表和其他基于指针的数据结构的位置往往很差。
把数据打包到同一个缓存列中通常会有利于提高性能，但是它也会破坏多处理器系统的性能。内存子系统很难协调处理器间的缓存。如果一个被所有处理器使用的只读数据，和一个由一个处理器使用并频繁更新的数据共享一个缓存 列，那么缓存将会花费很长时间更新这个缓存列的拷贝。这个Ping-Pong高速游戏通常被称为"缓存 sloshing"。如果只读数据在一个不同的缓存 列中，就可以避免sloshing。
对代码进行空间优化比进行速度优化效率更高。代码越少，代码所占的页也越少，这样需要的运行设置和产生的页错误也会更少，同时占据的缓存 列也会更少。然而，某些核心函数应该进行速度优化。可以利用profiler去识别这些函数。
决不要缓存频繁使用的数据。
软件缓存可以被各种应用程序使用。当一个计算代价很高时，你会保存结果的一个拷贝。这是一个典型的时空折中方法：牺牲一些存储空间以节省时间。如果做得好，这种方法可能非常有效。
你必须正确地进行缓存。如果缓存了错误数据，就会浪费存储空间。如果缓存得太多，其他操作可以使用的内存将会很少。如果缓存得太少，效率又会很低，因为你必须重新计算被缓存 遗漏的数据。如果将时间敏感数据缓存得时间过长，这些数据将会过时。一般，服务器更关心的是速度而不是空间，所以他们要比桌面系统进行更多的缓存。一定要定期去除不用的缓存，否则将会有运行设置问题。
应该创建多个线程，越多越好。
调整服务器中起作用的线程数目是很重要的。如果线程是I/O-bound的，将会花费很多时间用来等待I/O的完成-一个被阻塞的线程就是一个不做任何有用工作的线程。加入额外的线程可以增加通量，但是加入过多的线程将会降低服务器的性能，因为上下文交换将会成为一个重大的overhead。上下文交换速度应该低的原因有三个：上下文交换是单纯的overhead，对应用程序的工作没有任何益处；上下文交换用尽了宝贵的时钟周期；最糟的是，上下文交换将处理器的缓存填满了没用的数据，替换这些数据是代价高昂的。
有很多事情是依靠你的线程化结构的。每个客户端一个线程是绝对不合适的。因为对于大量用户端，它的扩展性不好。上下文交换变得难以忍受，Windows NT用尽了资源。线程池模型会工作得更好，在这种方法中一个工人线程池将处理一条请求列，因为Windows 2000提供了相应的APIs，如QueueUserWorkItem。
应该对数据结构使用全局锁
使数据线程安全的最简单方法是把它套上一把大锁。为简单起见，所有的东西都用同一把锁。这种方法会有一个问题：序列化。为了得到锁，每一个要处理数据的线程都必须排队等候。如果线程被一把锁阻塞，它没有在做任何有用的事。当服务器的负载较轻时，这个问题并不常见，因为一次可能只有一个线程需要锁。在负载很重的情况下，对锁的激烈争夺可能就会成为一个大问题。
设想在多车道高速公路上发生了一个意外事故，这条高速公路上的所有车辆都被转向一条狭窄的道路。如果车辆很少，这一转换对交通流的速率的影响可以忽略。如果车辆很多，当车辆慢慢并入那条单通道时，交通阻塞会延伸几英里。
有几种技术能够减少锁竞争。
· 不要过分保护，也就是说，不是非常必要不要锁住数据。只有需要时才去持有锁，而且时间不要过长。不要在大段代码周围或频繁执行的代码中没必要地使用锁，这一点很重要。
· 对数据进行分割，使它能够用一套独立的锁保护。例如，一个符号表可以按标识符的第一个字母分割，这样在修改名字以Q开头的符号的值时，就不会去读名字以H开头的符号的值。
· 使用APIs的Interlocked 系列（InterlockedIncrement，InterlockedCompareExchangePointer等）自动修改数据而不需要锁。
· 当数据不是经常被修改时可以使用多读者/单作者（multi-reader/single-writer）锁。你将获得更好的并发性，尽管锁操作的代价将更高并且你可能会冒饿死作者的危险。
· 在关键部分使用循环计数器。参见Windows NT 4.0 service pack 3中的SetCriticalSectionSpinCount API。
· 如果你不能得到锁，使用TryEnterCriticalSection并做一些其他的有用的工作。
高竞争导致serialization，serialization导致降低CPU的利用率，这促使用户加入更多的线程，结果事情变得更糟。
不必注意多处理器机器
你的代码在多处理器系统上比在单处理器系统上运行得还要糟，这可能是件令人恶心的事。一个很自然的想法是，在一个N维系统上运行N次会更好。性能很差的原因是竞争：锁竞争，总线竞争，和/或缓存列竞争。处理器都在是争夺共享资源的所有权，而不是做更多的工作。
如果你一定要编写多线程应用程序的话，你应该在多处理器盒上对你的应用程序进行强度测试和性能测试。单处理器系统通过时间分片地执行线程而提供一个并发性的假象。多处理器盒具有真正的并发性，竞争环境和竞争更容易发生。
应该始终使用模块化调用；他们很有趣。
利用同步模块化调用来执行I/O操作对大多数桌面应用程序来说是合适的。但是，他们不是使用服务器上的CPU（s）的好方法。I/O操作要花费上百万个时钟周期来完成，这些时钟周期本来可以被更好地利用。利用异步I/O你能得到显著提高的用户请求率和I/O通量，不过增加了额外的复杂性。
如果你有需要花费很长时间的模块化调用或I/O操作，你应该考调拨多少资源给他们。你想使用所有的线程还是有个限制？一般地，使用有限的几个线程要好些。构建一个小的线程池和队列，利用队列来安排线程的工作完成模块化调用。这样，其他线程就可以拾取和处理你的非模块化的请求。
不要进行测量
当你能够测量你所谈论的事情并用数字表达它时，这就表示你对他有了一定的了解；但是如果你不能用数字表达时，你的知识是贫瘠的不能令人满意的；这可能是知识的开始，但这时你简直不可能将你的思想提高到科学的水平。
- Lord Kelvin (William Thomson)
如果不测量你就不能了解应用程序的特性。你在黑暗中摸索，一半是靠猜测。如果不识别性能问题，你就不能做任何改进或做出工作量计划。
测量包括黑匣子测量和profiling。黑匣子测量的意思是收集由性能计数器（内存使用，上下文交换，CPU利用等）和外部检测工具（通量，反映时间等）所显示的数据。为了profile你的代码，你编译代码的一个工具版，然后在各种条件下运行它，并收集关于执行时间和过程调用频率的统计数据。
测量如果不用于分析的话就一点用都没有。测量将不仅告诉你有问题，而且甚至能帮助你找到问题发生在哪，但它不能告诉你为什么会有问题。对问题进行分析以便你能正确地改正他们。要从根本上解决问题而不是停留在表面现象。
当你进行改动后，要重新测量。你要知道你的改动是否有效。改动也可能会暴露其他性能问题，测量-分析-改正-再测量的循环就会重新开始。你也必须要有规律地进行测量，以便发现性能衰退问题。
应该使用单一用户，单一请求的测试方法。
书写ASP和ISAPI应用程序的一个通病是只用一个浏览器去测试应用程序。当他们在Internet上应用他们的程序时，他们才发现他们的应用程序不能处理高负载，并且通量和反应时间另人可怜。
用一个浏览器测试是必要的但是不够的。如果浏览器反应得不够快，你就知道你有麻烦了。但即使它在使用一个浏览器时很快，你也不知道它处理负载的能力如何。如果十几个用户同时请求会发生什么事？一百个呢？你的应用程序能容忍什么样的通量？它能提供什么样的反应时间？在轻载时这些数字会怎样？中等负载呢？重载呢？在多处理器机器上你的应用程序会如何？对你的应用程序进行强度测试，这对于找出bugs发现性能问题来说是基本的。
类似的负载测试考虑适用于所有的服务器应用程序。
不应使用实际环境。
人们往往只在几个特定的，人工的环境（如下benchmarks）下调整应用程序。选择和实际情况相对应的各种情况，并为针对各种操作进行优化，这一点很重要。如果你不这样做，你的用户和评论家一定会这样做，并且他们将依此来评判你的应用程序的好坏。
结论
自从我们开始开发IIS以来，我们已经对扼杀服务器性能和伸缩性有了一定的了解。书写高性能的服务器应用程序是不容易的。除了在书写桌面应用程序时遇到的传统问题外，你必须特别注意内存分配，缓存列，缓存数据，线程原型化，加锁策略，多处理器机器，模块化调用，测量和分析，多用户测试，和实际环境的问题。这些问题可能会造就你也可能毁了你。
祝你好运!
George V. Reilly在IIS开发小组工作，他负责IIS和ASP的性能问题。自从1982年他在本国Ireland的Dublin发明BBC Micro后，他一直在致力于编写严禁的代码。回想起来，他几乎不相信自己有足够的时间合写了Beginning ATL COM Programming ，Wrox Press, 1998。
本文是受我的同事Murali R. Krishnan的Top Ten Killers of Server Performance列表启发而写成的。
……