摘要

《图解HTTP》第5-6章笔记，特此记录重要部分。

第5章 与HTTP协作的Web服务器

一台Web服务器可搭建多个独立域名的Web网站，也可作为通信路径上的中转服务器提升传输效率。

5.1 用单台虚拟主机实现多个域名

HTTP/1.1规范允许一台HTTP服务器搭建多个Web站点。

在互联网上，域名通过DNS服务映射到IP地址(域名解析)之后访问目标网站。可见，当请求发送到服务器时，已经是以IP地址形式访问了。

5.2 通信数据转发程序：代理、网管、隧道

• 代理：代理是一种有转发功能的应用程序。

• 网关：网关是转发其他服务器通信数据的服务器，接收从客户端发送来的请求时，它就像自己拥有资源的源服务器一样对请求进行处理。

• 隧道：隧道是在相隔甚远的客户端和服务器两者之间进行中转，并保持双方通信连接的应用程序。

5.2.1 代理

使用代理服务器的理由有：利用缓存技术减少网络带宽的流量，组织内部针对特定网站的访问控制，以获取访问日志为主要目的等等。

代理按两种基准分类。一种是是否使用缓存，另一种是是否会修改报文。

• 缓存代理：代理转发响应时，缓存代理(Caching Proxy)会预先将资源的副本(缓存)保存在代理服务器上。当代理再次接收到对相同资源的请求时，就可以不从源服务器那里获取资源，而是将之前缓存的资源作为响应返回。

• 透明代理：转发请求或响应时，不对报文做任何加工的代理类型被称为透明代理(Transparent Proxy)。反之，对报文内容进行加工的代理被称为非透明代理。

5.2.2 网关

利用网关能提高通信的安全性，因为可以在客户端与网关之间的通信线路上加密以确保连接的安全。

5.2.3 隧道

隧道可按要求建立起一条与其他服务器的通信线路，届时使用SSL等加密手段进行通信。

隧道本身不会去解析HTTP请求。请求保持原样中转给之后的服务器。隧道会在通信双方断开连接时结束。

5.3 保存资源的缓存

缓存是指代理服务器或客户端本地磁盘内保存的资源副本。

缓存服务器是代理服务器的一种，并归类在缓存代理类型中。

5.3.1 缓存的有效期限

即使存在缓存，也会因为客户端的要求、缓存的有效期等因素，向源服务器确认资源的有效性。

5.3.2 客户端的缓存

缓存不仅可以存在于缓存服务器中，还可以存在客户端浏览器中。以Internet Explorer程序为例，把客户端缓存称为临时网络文件(Temporary Internet File)。

浏览器缓存如果有效，就不必再向服务器请求相同的资源了，可以直接从本地磁盘内读取。

第6章 HTTP首部

6.1 HTTP报文首部

HTTP请求报文：由方法、URI、HTTP版本、HTTP首部字段(请求首部字段、通用首部字段、实体首部字段)等部分构成。

HTTP响应报文：由HTTP版本、状态码(数字和原因短语)、HTTP首部字段(响应首部字段、通用首部字段、实体首部字段)等部分构成。

6.2 HTTP首部字段

6.2.2 HTTP首部字段结构

首部字段名：字段值

1
2

Content-Type:text/html
Content-Type：表示报文主体的对象类型。

字段值也可以对应单个HTTP首部字段可以由多个值

1

Keep-Alive:timeout=15,max=100

6.2.3 4种HTTP首部字段类型

1. 通用首部字段：请求报文和响应报文两方都会使用的首部。

2. 请求首部字段：从客户端向服务器端发送请求报文时使用的首部。

3. 响应首部字段：从服务器端向客户端返回响应报文时使用的首部。

4. 实体首部字段：针对请求报文和响应报文的实体部分使用的首部。

6.2.4 HTTP/1.1 首部字段一览

1.通用首部字段

1
2
3
4
5
6
7
8
9

Cache-Control：控制缓存的行为
Connection：逐跳首部、连接的管理
Date：创建报文的日期时间
Pragma：报文指令
Trailer：报文末端的首部一览
Trasfer-Encoding：指定报文主题的传输编码方式
Upgrade：升级为其他协议
Via：代理服务器的相关信息
Warning：错误通知

2.请求首部字段

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

Accept：用户代理可处理的媒体类型
Accept-Charset：优先的字符集
Accept-Encoding：优先的内容编码
Accept-Language：优先的语言(自然语言)
Authorization：Web认证信息
Expect：期待服务器的特定行为
From：用户的电子邮箱地址
Host：请求资源所在服务器
If-Match：比较实体标记(ETag)
If-Modified-Since：比较资源的更新时间
If-None-Match：比较实体标记(与If-Match相反)
If-Range：资源未更新时发送实体Byte的范围请求
If-Unmodified-Since：比较资源的更新时间(与If-Modified-Since相反)
Max-Forwads：最大传输逐跳数
Proxy-Authorization：代理服务器要求客户端的认证信息
Range：实体的字节范围请求
Referer：对请求中URI的原始获取方
TE：传输编码的优先级
User-Agent：HTTP客户端程序的信息

3.响应首部字段

1
2
3
4
5
6
7
8
9

Accept-Ranges：是否接受字节范围请求
Age：推算资源创建经过时间
ETag：资源的匹配信息
Location：令客户端重定向至指定URI
Proxy-Authenticate：代理服务器对客户端的认证信息
Retry-After：对再次发起请求的时机要求
Server：HTTP服务器的安装信息
Vary：代码服务器缓存的管理信息
WWW-Authenticate：服务器对客户端的认证信息

4.实体首部字段

1
2
3
4
5
6
7
8
9
10

Allow：资源可支持的HTTP方法
Content-Encoding：实体主体适用的编码方式
Content-Language：实体主体的自然语言
Content-Length：实体主体的大小(单位：字节)
Content-Location：替代对应资源的URI
Content-MD5：实体主体的报文摘要
Content-Range：实体主体的位置范围
Content-Type：实体主体的媒体类型
Expires：实体主体过期的日期时间
Last-Modified：资源最后修改日期时间

6.2.5 非HTTP/1.1首部字段

非正式的首部字段统一归纳在RFC4229 HTTP Header Field Registrations中，如

Cookie、Set-Cookie、Content-Disposition

6.2.6 End-to-end首部和Hop-by-hop首部

HTTP首部字段将定义成缓存代理和非缓存代理的行为，分为2种类型。

• 端到端首部(end-to-end header)：分在此类别中的首部会转发给请求/响应对应的最终接收目标，且必须保存在由缓存生成的响应中，另外规定它必须被转发。

• 逐跳首部(hop-by-hop header)：分在此类别中的首部只对单次转发有效，会因通过缓存或代理而不再转发。HTTP/1.1和之后的版本中，如果要使用hop-by-hop首部，需提供Connection首部字段。

除以下8个首部字段之外，其他所有字段都属于端到端首部(end-to-end header)。

• Connection
• Keep-Alive
• Proxy-Authenticate
• Proxy-Authorization
• Trailer
• TE
• Transfer-Encoding
• Upgrade

6.3 HTTP/1.1通用首部字段

6.3.1 Cache-Control

操作缓存的工作机制。

指令的参数是可选的，多个指令之间通过“，”分隔。

Cache-Control:private,max-age=0,no-cache

1.缓存请求指令

2.缓存响应指令

public指令(缓存响应指令)

Cache-Control:public

当指定使用public时，则明确表明其他用户也可利用缓存。

private指令(缓存响应指令)

Cache-Control:private

当指定private指令后，响应只以特定的用户作为对象，这与public指令的行为相反。

缓存服务器会对该特定用户提供资源缓存的服务，对于其他用户发送过来的请求，代理服务器则不会返回缓存。

no-cache指令(缓存请求/响应指令)

Cache-Control:no-cache

客户端发送的请求中包含no-cache指令，则表示客户端将不会接收缓存过的响应。

服务器返回的响应中包含no-cache指令，那么缓存服务器不能对资源进行缓存。源服务器以后也将不再对缓存服务器请求中提出的资源有效性进行确认，且禁止其对响应资源进行缓存操作。

Cache-Control:no-cache=Location

由服务器返回的响应中，若报文首部字段Cache-Control中对no-cache字段名具体指定参数值，那么客户端在接收到这个被指定参数值的首部字段对应的响应报文后，就不能使用缓存。换言之，无参数值的首部字段可以使用缓存。

no-store指令(缓存请求/响应指令)

Cache-Control:no-store

no-store指令才是真正地不进行缓存。

s-maxage指令(缓存响应指令)

Cache-Control:s-maxage=604800(单位：秒)

s-maxage指令的功能和max-age指令的相同，它们的不同点是s-maxage指令只适用于供多为用户使用的公共缓存服务器(这里一般指代理)。也就是说，对于向同一用户重复返回响应的服务器来说，这个指令没有任何作用。

另外，当使用s-maxage指令后，则直接忽略对Expires首部字段及max-age指令的处理。

max-age指令(缓存请求/响应指令)

Cache-Control:max-age=604800(单位：秒)

当客户端发送的请求中包含max-age指令时，如果判定缓存资源的缓存时间数值比指定时间的数值更小，那么客户端就接收缓存的资源。另外，当指令max-age值为0，那么缓存服务器通常需要将请求转发给源服务器。

当服务器返回的响应中包含max-age指令时，缓存服务器将不对资源的有效性再作确认，而max-age数值代表资源保存为缓存的最长时间。

应用HTTP/1.1版本的缓存服务器遇到同事存在Expires首部字段的情况时，会优先处理max-age指令，而忽略掉Expires首部字段。而HTTP/1.0版本的缓存服务器的情况却相反，max-age指令会被忽略掉。

min-fresh指令(缓存请求指令)

Cache-Control:min-fresh=60(单位：秒)

min-fresh指令要求缓存服务器返回至少还未过指定时间的缓存资源。

max-stale指令(缓存请求指令)

Cache-Control:max-stale=3600(单位：秒)

使用max-stale可指示缓存资源，即使过期也照常接收。

如果指令未指定参数值，那么无论经过多久，客户端都会接收响应；如果指令中指定了具体数值，那么即使过期，只要仍处于max-stale指定的之间内，仍旧会被客户端接收。

only-if-cached指令(缓存请求指令)

Cache-Control:only-if-cached

使用only-if-cached指令表示客户端仅在缓存服务器本地缓存目标资源的情况下才会要求其返回。换言之，该指令要求缓存服务器不重新加载响应，也不会再次确认资源有效性。若发生请求缓存服务器本地缓存无响应，则返回状态码504 Gateway Timeout。

must-revalidate指令(缓存响应指令)

Cache-Control:must-revalidate

使用must-revalidate指令，代理会向源服务器再次验证即将返回的响应缓存目前是否仍然有效。

若代理无法连通源服务器再次获取有效资源的话，缓存必须给客户端一条504(Gateway Timeout)状态码。

另外，使用must-revalidate指令会忽略请求的max-stale指令(即使已经在首部使用了max-stale，也不会再有效果)。

proxy-revalidate指令(缓存响应指令)

Cache-Control:proxy-revalidate

proxy-revalidate指令要求所有的缓存服务器在接收到客户端带有该指令的请求返回响应之前，必须再次验证缓存的有效性。

no-transform指令(缓存请求/响应指令)

Cache-Control:no-transform

使用no-transform指令无论是在请求还是在响应中，缓存都不能改变实体主体的媒体类型。这样可以防止缓存或代理压缩图片等类似操作。

cache-extension token

Cache-Control:private,community="UCI"

通过cache-extension标记(token)，可扩展Cache-Control首部字段内的指令。

如上例，Cache-Control首部字段本身没有community这个指令。借助extension token实现了该指令的添加。如果缓存服务器不能理解community这个新指令，则会直接忽略。因此，extension token仅对能理解它的缓存服务器来说是有意义的。

6.3.2 Connection

Connection首部字段具备如下两个作用。

• 控制不再转发给代理的首部字段
• 管理持久连接

1.控制不再转发给代理的首部字段

Connection：不再转发的首部字段名

在客户端发送请求和服务器返回响应内，使用Connection首部字段，可控制不再转发给代理的首部字段(即hop-by-hop首部)。

2.管理持久连接

Connection:close

HTTP/1.1版本的默认连接都是持久连接。为此，客户端会在持久连接上连续发送请求。当服务器端向明确断开连接时，则指定Connection首部字段值为close。

Connection:Keep-Alive

HTTP/1.1之前的HTTP版本的默认连接都是非持久连接。为此，如果想在旧版本的HTTP协议上维持持续连接，则需要指定Connection首部字段的值为Keep-Alive。

6.3.3 Date

首部字段Date表明创建HTTP报文的日期和时间。

6.3.4 Pragma

Pragma是HTTP/1.1之前版本的历史遗留字段，仅作为与HTTP/1.0的向后兼容而定义。

规范定义的形式唯一，如下

Pragma:no-cache

该首部字段属于通用首部字段，但只用在客户端发送的请求中。客户端会要求所有的中间服务器不返回缓存的资源。

6.3.5 Trailer

首部字段Trailer会事先说明在报文主题后记录了哪些首部字段。该首部字段可应用在HTTP/1.1版本分块传输编码时。

6.3.6 Transfer-Encoding

首部字段Transfer-Encoding规定了传输报文主体时采用的编码方式。

HTTP/1.1的传输编码方式仅对分块传输编码有效。

6.3.7 Upgrade

首部字段Upgrade用于检测HTTP协议及其他协议是否可使用更高的版本进行通信，其参数值可以用来指定一个完全不同的通信协议。

请求：

1
2
3

GET /index.htm HTTP/1.1
Upgrade:TSL/1.0
Connection:Upgrade

响应：

1
2
3

HTTP/1.1 101 Switching Protocols
Upgrade:TSL/1.0 HTTP/1.1
Connection:Upgrade

上例中首部字段Upgrade指定的值为TSL/1.0。请注意此处两个字段首部的对应关系，Connection的值被指定为Upgrade。Upgrade首部字段产生作用的Upgrade对象仅限于客户端和邻接服务器之间。因此，使用首部字段Upgrade时，还需要额外指定Connection：Upgrade。

6.3.8 Via

使用首部字段Via是为了追踪客户端与服务器之间的请求和响应报文的传输路径。

报文经过代理或网关时，会现在首部字段Via中附加该服务器的信息，然后再进行转发。

首部字段Via不仅用于追踪报文的转发，还可避免请求回环的发生。

6.3.9 Warning

HTTP/1.1的Warning首部是从HTTP/1.0的响应首部(Retry-After)演变过来的。该首部通常会告知用户一些与缓存相关的问题的警告。

6.4 请求首部字段

6.4.1 Accept

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept首部字段可通知服务器，用户代理能够处理的媒体类型及媒体类型的相对优先级。

可使用type/subtype这种形式，一次指定多种媒体类型。

若想要给显示的媒体类型增加优先级，则使用q=来额外表示权重值，用分号(;)进行分隔。权重值q的范围是0~1(可精确到小数点后3位)，且1为最大值。不指定权重q值时，默认权重为q=1.0。

当服务器提供多种内容时，将会首先返回权重值最高的媒体类型。

6.4.2 Accept-Charset

Accept-Charset:iso-8859-5,unicode-1-1;q=0.8

Accept-Charset首部字段可用来通知服务器用户代理支持的字符集及字符集的相对优先顺序。另外，可一次性指定多种字符集。

可用权重q值来表示相对优先级。

6.4.3 Accept-Encoding

Accept-Encoding:gzip,deflate

首部字段Host和以单台服务器分配多个域名的虚拟主机的工作机制有很密切的联系。

请求被发送至服务器时，请求中的主机名会用IP地址直接替换解决。但如果这时，相同的IP地址下部署运行着多个域名，那么服务器就会无法理解究竟是哪个应对应的请求。因此，就需要使用首部字段Host来明确指出请求的主机名。若服务器未设定主机名，那直接发送一个空值即可。

6.4.9 If-Match

If-Match:"123456"

首部字段If-Match，属附带条件之一，它会告知服务器匹配资源所用的实体标记(ETag)的值。这时的服务器无法使用弱ETag值。

服务器会比对If-Match的字段值和资源的ETag值，仅当两者一致时，才会执行请求。反之，则返回状态码412 Precondition Failed的响应。

还可以使用星号(*)指定If-Match的字段值。针对这种情况，服务器将会忽略ETag的值，只要资源存在就处理请求。

6.4.10 If-Modified-Since

GET /index.htm If-Modified-Since:Thu,15 Apr 2004 00:00:00 GMT

If-Modified-Since用于确认代理或客户端拥有的本地资源的有效性。获取资源的更新日期，可通过确认首部字段Last-Modified来确定。

6.4.11 If-None-Match

首部字段If-None-Match属于附带条件之一。它和首部字段If-Match作用相反。用于指定If-None-Match字段值的实体标记(ETag)值与请求资源的ETag不一致时，它就告知服务器处理该请求。

在GET或HEAD方法中使用首部字段If-None-Match可获取最新的资源。

6.4.12 If-Range

首部字段If-Range属于附带条件之一。它告知服务器若指定的If-Range字段值(ETag值或者时间)和请求资源的ETag值或时间相一致时，则作为范围请求处理。反之，则返回全体资源。

如果不使用首部字段If-Range则需要进行两次处理。1.用状态码412 Precondition Failed作为响应返回，其目的是催促客户端再次发送请求。2.再次请求。

6.4.13 If-Unmodified-Since

作用是告知服务器，指定的请求资源只有在字段值内指定的日期时间之后，未发生更新的情况下，才能处理请求。如果在指定日期时间后发生了更新，则以状态码412 Precondition Failed作为响应返回。

6.4.14 Max-Forwards

Max-Forwards:10

通过TRACE方法或OPTIONS方法，发送包含首部字段Max-Forwards的请求时，该字段以十进制整数形式指定可经过的服务器最大数目。服务器在往下一个服务器转发请求之前，Max-Forwards的值减1后重新赋值。当服务器收到Max-Forwards值为0的请求时，则不再进行转发，而是直接返回响应。

使用HTTP协议通信时，请求可能会经过代理等多台服务器。途中，如果代理服务器由于某些原因导致请求转发失败，客户端也就等不到服务器返回的响应了。因此我们可以灵活使用首部字段Max-Forwards。由于当Max-Forwards字段值为0时，服务器就会立即返回响应，由此我们至少可以对以那台服务器为终点的传输路径的通信情况有所把握。

6.4.15 Proxy-Authorization

Proxy-Authorization:Basic dGlwOjkpNLAGfFY5

接收到从代理服务器发来的认证质询时，客户端会发送包含首部字段Proxy-Authorization的请求，以告知服务器认证所需要的信息。

认证行为发生在客户端与代理之间。

客户端与服务器之间的认证，使用首部字段Authorization可起到相同作用。

6.4.16 Range

对于只需获取部分资源的范围请求，包含首部字段Range即可告知服务器资源的指定范围。

接收到附带Range首部字段请求的服务器，会在处理请求之后返回状态码为206 Partial Content的响应。无法处理该范围请求时，则会返回状态码200 OK的响应及全部资源。

6.4.17 Referer

Referer:http://www.hackr.jp/index.htm

首部字段Referer会告知服务器请求的原始资源的URI。

客户端一般都会发送Referer首部字段给服务器。但当直接在浏览器的地址栏输入URI，或处于安全性的考虑时，也可以不发送该首部字段。

因为原始资源的URI中的查询字符串可能包含有ID和密码等保密信息，要是写进Referer转发给其他服务器，则有可能导致保密信息的泄露。

6.4.18 TE

TE:gzip,deflate;q=0.5

6.5.3 ETag

ETag:"82e22293907ce....."

对报文主体执行MD5算法获得的128位二进制数，再通过Base64编码后将结果写入Content-MD5字段值。由于HTTP首部无法记录二进制值，所以要通过Base64编码处理。为确保报文的有效性，作为接收方的客户端会对报文主体再执行一次相同的MD5算法。

采用这种方式，对内容上的偶发性改变是无从查证的，也无法检测出恶意篡改。

6.6.7 Content-Range

Content-Range:bytes 50001-10000/10000

针对范围请求，返回响应时使用的首部字段Content-Range，能告知客户端作为响应返回的实体的哪个部分符合范围的骑牛。字段值以字节为单位，表示当前发送部分及整个实体大小。

6.6.8 Content-Type

Content-Type:text/html;charset=UTF-8

首部字段Content-Type说明了实体主体内对象的媒体类型。和首部字段Accept一样，字段值用type/subtype形式赋值。

参数charset使用iso-8859-1或euc-jp等字符集进行赋值。

6.6.9 Expires

Expires:Wed,04 Jul 2012 08:26:05 GMT

首部字段Expires会将资源失效的日期告知客户端。缓存服务器在接收到含有首部字段Expires的响应后，会以缓存来应答请求，在Expires字段值指定的时间之前，响应的副本会一直被保存。当超过指定的时间后，缓存服务器在请求发送过来时，会转向源服务器请求资源。

6.6.10 Last-Modified

首部字段Last-Modified指定资源最终修改的时间。

其他

Accept-Encoding 和 Content-Encoding

HTTP 协议中的 Content-Encoding

Accept-Encoding 和 Content-Encoding 是 HTTP 中用来对「采用何种编码格式传输正文」进行协定的一对头部字段。它的工作原理是这样：浏览器发送请求时，通过 Accept-Encoding 带上自己支持的内容编码格式列表；服务端从中挑选一种用来对正文进行编码，并通过 Content-Encoding 响应头指明选定的格式；浏览器拿到响应正文后，依据 Content-Encoding 进行解压。当然，服务端也可以返回未压缩的正文，但这种情况不允许返回 Content-Encoding。这个过程就是 HTTP 的内容编码机制。

Transfer-Encoding

HTTP 协议中的 Transfer-Encoding