squid内部结构及实现剖析
2013-04-02 11:09
204 查看
http://blog.sina.com.cn/s/blog_68d83f050100m5qt.html
前几天要做一个较大的项目,这要建立在对squid 结构充分调研及熟悉的基础上,于是便对squid 代码重新梳理了一遍,整理了一下squid的整个结构图。废话少说,就先上图啦。
squid内部结构与实现详细剖析
针对上图做一个简要的说明,中间的大圆圈圈住的部分,属于squid 代码中涉及到的几个核心的数据结构,clientHttpRequest、StoreEntry、storeClient、connStateData、httpStateData、MemObject、StoreIoState。其中connStateData是关于与客户端连接的信息,这里包含接受客户端的请求,以及向客户端发送数据的fd,十分关键。clientHttpRequest是针对一个特定的http请求的,当然如果是长连接的话,一个连接可以对应多个请求,所以connStateData和clientHttpRequest是1
VS N的关系。 httpStateData 是另外一个比较核心的数据结构,这个结构中保存了squid和源站之间的连接信息,包括squid 和 server 端得连接fd,用于向源站转发请求以及接受源站给与的数据。
StoreEntry是squid中无处不在的一个结构体,通常情况下,一个storeEntry 和一个url 相对应,对对应本地磁盘上存储的一个文件。MemObject结构式StoreEntry中的一个buf 结构,用于维护当前storeEtnry的内容。storeClient是指一个特定的客户端,squid 用这种 抽象的形式来处理用户请求,每次要往客户端发数据,只要发送到storeClient中的buf 即可。storeClient 是直接挂在storeEntry中的MemObject上,一个MemObject可以挂多个storeClient,squid
将要发给客户端的内容都会保存在MemObject中,然后从MemObject中向storeclient结构buf 中copy ,storeClient中再调用相应的回调来完成数据向客户端的发送。
storeIoState结构是与文件系统交互的一个结构,当客户请求的内容miss的时候,就要把从源站发过来的内容在squid 中保存,squid 将其存入文件,这时候的storeIostate,就属于一个往磁盘相应文件写数据的结构。当客户请求内容Hit的时候,就要从磁盘把内容读出来发给客户而不必回源,这时候storeIoState对应的结构就是从磁盘相应文件读数据的结构。
上面介绍的是squid实现时涉及到的几个结构体,下面再简要介绍squid的主要处理流程。处理流程从clientProcessRequest说起,这里squid已经接受了客户端发来的请求,并对请求做了解析。
对请求的梳理,首先squid要判断,用户的此次请求时MIss还是HIT,他采用的方式就是调用storeGet...系列函数,根据一定的规则来找当前客户请求的数据是否在磁盘中,也就是在本地,如果是,就表明Hit, 否则就是MISS。
在MISS的时候,进入相应的MISS流程(图中是向右的分支,向左的分支是Hit流程),HIT的时候进入HIT流程。
因为在MISS的时候,表明用户请求的文件不在本地,也就没有相应的storeEntry,这时候调用clientCreateStoreEntry函数来创建StoreEntry,并创建相应的storeClient结构,将该storeClient和该StoreEntry绑定。调用storeClientCopyHeader来告诉squid ,现在要copy header给客户端,这样从源站到header数据时,就可以调用相应的回调,这里是clientSendHeaders,来发送header给客户端。然后squid开始往server端建联,这一部分在途中省略了,因为个人感觉其属于非主流。当建联成功后,squid开始构建发往server端的请求,包括请求的header信息,当请求构建完毕,就要调用httpSendRequest来向server端发送请求,当server端发来响应数据时,就要调用httpReadReply来处理这些数据了,处理这些数据无非就是处理header以及处理body。1,处理源站发来的header时,客户要解析header信息,squid自身调用httpProcessReplyHeader来处理header,自己解析完了,也会对header做响应处理,然后发给客户端,这时候调用InvokerHandler,InvokeHandler函数会调用storeClient当初注册的回调函数,这里就是clientSendHeaders了,来发送header给客户端。squid会判断这些信息能不能cache,如果能的话会调用storeSwapOutStart来写往磁盘中的某个文件。2、处理body信息也就是一个转发,保存两件事,不过这时候的转发函数不在是clientSendHeaders,而是clientSendMoreData。
下面再简要说一下,HIT流程。HIT流程中,squid 会首先调用storeClientCopyHeaders来往客户端发送header,因为是HIT的情况,所以此时,用户请求的内容就在本地,不用回源,所以就要读文件了,读文件第一次读出来的就只有header信息,读出来header后再对header进行解析处理,处理header的地方时在clientCacheHit函数中,在这个函数里会根据http协议的相关内容做一些判断文件是否过期等校验。如果需要要重新启动MISS流程的。一般情况下直接就进入clientProcessHit中来处理Hit的情况了,这时候会往客户端发header,发body,情况和MISS的时候差不多,只不过内容不从源站取,而是从文件中读而已。
上面是对squid流程的一个简单的梳理,其他的内容squid 是如何将各种操作串接起来的,还有squid中的epoll机制在这里并没有涉及。
前几天要做一个较大的项目,这要建立在对squid 结构充分调研及熟悉的基础上,于是便对squid 代码重新梳理了一遍,整理了一下squid的整个结构图。废话少说,就先上图啦。
squid内部结构与实现详细剖析
针对上图做一个简要的说明,中间的大圆圈圈住的部分,属于squid 代码中涉及到的几个核心的数据结构,clientHttpRequest、StoreEntry、storeClient、connStateData、httpStateData、MemObject、StoreIoState。其中connStateData是关于与客户端连接的信息,这里包含接受客户端的请求,以及向客户端发送数据的fd,十分关键。clientHttpRequest是针对一个特定的http请求的,当然如果是长连接的话,一个连接可以对应多个请求,所以connStateData和clientHttpRequest是1
VS N的关系。 httpStateData 是另外一个比较核心的数据结构,这个结构中保存了squid和源站之间的连接信息,包括squid 和 server 端得连接fd,用于向源站转发请求以及接受源站给与的数据。
StoreEntry是squid中无处不在的一个结构体,通常情况下,一个storeEntry 和一个url 相对应,对对应本地磁盘上存储的一个文件。MemObject结构式StoreEntry中的一个buf 结构,用于维护当前storeEtnry的内容。storeClient是指一个特定的客户端,squid 用这种 抽象的形式来处理用户请求,每次要往客户端发数据,只要发送到storeClient中的buf 即可。storeClient 是直接挂在storeEntry中的MemObject上,一个MemObject可以挂多个storeClient,squid
将要发给客户端的内容都会保存在MemObject中,然后从MemObject中向storeclient结构buf 中copy ,storeClient中再调用相应的回调来完成数据向客户端的发送。
storeIoState结构是与文件系统交互的一个结构,当客户请求的内容miss的时候,就要把从源站发过来的内容在squid 中保存,squid 将其存入文件,这时候的storeIostate,就属于一个往磁盘相应文件写数据的结构。当客户请求内容Hit的时候,就要从磁盘把内容读出来发给客户而不必回源,这时候storeIoState对应的结构就是从磁盘相应文件读数据的结构。
上面介绍的是squid实现时涉及到的几个结构体,下面再简要介绍squid的主要处理流程。处理流程从clientProcessRequest说起,这里squid已经接受了客户端发来的请求,并对请求做了解析。
对请求的梳理,首先squid要判断,用户的此次请求时MIss还是HIT,他采用的方式就是调用storeGet...系列函数,根据一定的规则来找当前客户请求的数据是否在磁盘中,也就是在本地,如果是,就表明Hit, 否则就是MISS。
在MISS的时候,进入相应的MISS流程(图中是向右的分支,向左的分支是Hit流程),HIT的时候进入HIT流程。
因为在MISS的时候,表明用户请求的文件不在本地,也就没有相应的storeEntry,这时候调用clientCreateStoreEntry函数来创建StoreEntry,并创建相应的storeClient结构,将该storeClient和该StoreEntry绑定。调用storeClientCopyHeader来告诉squid ,现在要copy header给客户端,这样从源站到header数据时,就可以调用相应的回调,这里是clientSendHeaders,来发送header给客户端。然后squid开始往server端建联,这一部分在途中省略了,因为个人感觉其属于非主流。当建联成功后,squid开始构建发往server端的请求,包括请求的header信息,当请求构建完毕,就要调用httpSendRequest来向server端发送请求,当server端发来响应数据时,就要调用httpReadReply来处理这些数据了,处理这些数据无非就是处理header以及处理body。1,处理源站发来的header时,客户要解析header信息,squid自身调用httpProcessReplyHeader来处理header,自己解析完了,也会对header做响应处理,然后发给客户端,这时候调用InvokerHandler,InvokeHandler函数会调用storeClient当初注册的回调函数,这里就是clientSendHeaders了,来发送header给客户端。squid会判断这些信息能不能cache,如果能的话会调用storeSwapOutStart来写往磁盘中的某个文件。2、处理body信息也就是一个转发,保存两件事,不过这时候的转发函数不在是clientSendHeaders,而是clientSendMoreData。
下面再简要说一下,HIT流程。HIT流程中,squid 会首先调用storeClientCopyHeaders来往客户端发送header,因为是HIT的情况,所以此时,用户请求的内容就在本地,不用回源,所以就要读文件了,读文件第一次读出来的就只有header信息,读出来header后再对header进行解析处理,处理header的地方时在clientCacheHit函数中,在这个函数里会根据http协议的相关内容做一些判断文件是否过期等校验。如果需要要重新启动MISS流程的。一般情况下直接就进入clientProcessHit中来处理Hit的情况了,这时候会往客户端发header,发body,情况和MISS的时候差不多,只不过内容不从源站取,而是从文件中读而已。
上面是对squid流程的一个简单的梳理,其他的内容squid 是如何将各种操作串接起来的,还有squid中的epoll机制在这里并没有涉及。
相关文章推荐
- 临界区的内部结构与实现
- 该文简要描述了DOM概念和内部逻辑结构,给出了DOM文档操作和XML文件互相转换java实现过程。
- [转]PHP7内核剖析之变量的内部实现
- 长短时记忆网络(LSTM)的内部结构详解以及基于python 的实现案例
- Object内存核心结构及实现完全剖析(MethodTable、EEClass与MethodDescChunk)
- 【数据结构与算法】c# Dictionary内部实现
- 操作系统 - Linux进程实现的内部结构
- 操作系统 - Linux进程实现的内部结构
- 数据结构实现之Table(符号表,内部存储key-value对)
- String的不可变性、以及涉及到的字符串常量池和字符串拼接内部实现的剖析
- 泛型实现内部链式栈存储结构
- webkit中的javascript(3)---javascript在webkit内部实现结构
- Object内存核心结构及实现完全剖析(MethodTable、EEClass与MethodDescChunk)
- 【源码学习】ThreadLocal 实现原理以及其内部存储结构(神奇的1640531527)
- MFC内部结构剖析
- 剖析虚函数的内部实现机制
- DNN内部结构剖析------DNN组注册和管理流程,顺序图
- 【数据结构与算法】内部排序之一:插入排序和希尔排序的N中实现(不断优化,附完整源码)
- 计算机的内部结构和启动过程剖析
- Object内存核心结构及实现完全剖析