Twemproxy源码分析之一 入口函数及启动过程

最近开始研究twemproxy先将其中的知识点归纳整理一下。作为一个系列的知识点。
一、Twemproxy简介

Twemproxy是memcache与redis的代理，由twitter公司开发并且目前已经开源。研究这个对于理解网络通信有很大的帮助。
亮点有以下：
1.twemproxy自己创建并维护和后端server（即reids实例）的长连接，保证长连接对于来自不同client但去向同一server的复用。
2.自动识别异常状态的server，保证之后的请求不会被转发到该异常server上。但如果此server恢复正常，twemproxy又能识别此server，并恢复正常访问。，
3.提供专门的状态监控端口供外部工具获取状态监控信息。
4.真正实现了多阶段处理多请求，其IO 模型值得学习，采用单线程收发包，基于epoll事件驱动模型。
5，支持Zero Copy技术，通过将消息指针在3个队列之间流转。


二、Twemproxy 入口main函数分析

Twemproxy是以c语言编写的，其整体入口在main函数中。

grep “main”，我们可以看到在文件nc.c中的main函数。开篇我们可以看到定义了一个变量，

struct instance nci;

下边我们看下这个instance的定义：

struct instance {
    struct context  *ctx;                        
    int             log_level;                   
    char            *log_filename;               
    char            *conf_filename;              
    uint16_t        stats_port;                  
    int             stats_interval;              
    char            *stats_addr;                 
    char            hostname[NC_MAXHOSTNAMELEN]; 
    size_t          mbuf_chunk_size;             
    pid_t           pid;                         
    char            *pid_filename;               
    unsigned        pidfile:1;                   
};

这个instance就相当于是一个twemproxy实例，一个twemproxy进程对应一个instance，后边整个程序的初始化很多都会用到。注意 这里面 一个instance对应于一个context，而一个context维护一个server pool列表。也就是说一个instance可以包含多个server
pool.
接下来就调用了nc_set_default_options（） 这个是用来设置上述instance实例nci的各项参数的默认值。
然后就是nc_get_options（），这个函数是读取命令行参数，如果有则覆盖上一个函数所设置的默认参数。

如果配置了-t选项 则nc_test_conf : 用于对配置文件做检查，以确保配置文件格式的正确。

之后调用nc_pre_run，启动之前做一些预处理，包括：初始化日志级别以及日志文件；设置是否后台运行；对信号做初始化处理；是否创建pid文件。

接下来调用nc_run开始启动proxy；这个函数完成的工作就是调用core_start创建context,然后进入死循环调用core_loop开始整个事件循环的处理，接受请求并处理。当然，core_start以及core_loop这两个函数里边还包含了大量的处理工作，包括，配置文件解析以及读取，相关组件(server_pool，conf,context)的初始化等等，这些后边详细讲述。
总体来说，启动流程就是这些步骤，如下图：

最近开始研究twemproxy先将其中的知识点归纳整理一下。作为一个系列的知识点。
一、Twemproxy简介

Twemproxy是memcache与redis的代理，由twitter公司开发并且目前已经开源。研究这个对于理解网络通信有很大的帮助。
亮点有以下：
1.twemproxy自己创建并维护和后端server（即reids实例）的长连接，保证长连接对于来自不同client但去向同一server的复用。
2.自动识别异常状态的server，保证之后的请求不会被转发到该异常server上。但如果此server恢复正常，twemproxy又能识别此server，并恢复正常访问。，
3.提供专门的状态监控端口供外部工具获取状态监控信息。
4.真正实现了多阶段处理多请求，其IO 模型值得学习，采用单线程收发包，基于epoll事件驱动模型。
5，支持Zero Copy技术，通过将消息指针在3个队列之间流转。


二、Twemproxy 入口main函数分析

Twemproxy是以c语言编写的，其整体入口在main函数中。

grep “main”，我们可以看到在文件nc.c中的main函数。开篇我们可以看到定义了一个变量，

struct instance nci;

下边我们看下这个instance的定义：

struct instance {
    struct context  *ctx;                        
    int             log_level;                   
    char            *log_filename;               
    char            *conf_filename;              
    uint16_t        stats_port;                  
    int             stats_interval;              
    char            *stats_addr;                 
    char            hostname[NC_MAXHOSTNAMELEN]; 
    size_t          mbuf_chunk_size;             
    pid_t           pid;                         
    char            *pid_filename;               
    unsigned        pidfile:1;                   
};

这个instance就相当于是一个twemproxy实例，一个twemproxy进程对应一个instance，后边整个程序的初始化很多都会用到。注意 这里面 一个instance对应于一个context，而一个context维护一个server pool列表。也就是说一个instance可以包含多个server
pool.
接下来就调用了nc_set_default_options（） 这个是用来设置上述instance实例nci的各项参数的默认值。
然后就是nc_get_options（），这个函数是读取命令行参数，如果有则覆盖上一个函数所设置的默认参数。

如果配置了-t选项 则nc_test_conf : 用于对配置文件做检查，以确保配置文件格式的正确。

之后调用nc_pre_run，启动之前做一些预处理，包括：初始化日志级别以及日志文件；设置是否后台运行；对信号做初始化处理；是否创建pid文件。

接下来调用nc_run开始启动proxy；这个函数完成的工作就是调用core_start创建context,然后进入死循环调用core_loop开始整个事件循环的处理，接受请求并处理。当然，core_start以及core_loop这两个函数里边还包含了大量的处理工作，包括，配置文件解析以及读取，相关组件(server_pool，conf,context)的初始化等等，这些后边详细讲述。
总体来说，启动流程就是这些步骤，如下图：





下一章将会着重分析nc_run下一章将会着重分析nc_run