docker-containerd 启动流程分析

一般在docker启动时，containerd的启动命令如下所示：

root      2090  0.0  0.1 292780 11008 ?        Ssl  10月22   0:12 docker-containerd -l unix:///var/run/docker/libcontainerd/docker-containerd.sock --shim docker-containerd-shim
--metrics-interval=0 --start-timeout 2m --state-dir /var/run/docker/libcontainerd/containerd --runtime docker-runc

　　

1、containerd/containerd/main.go

func daemon(context *cli.Context) error

（1）、首先调用:

sv, err := supervisor.New(

　　context.String("state-dir"),

　　context.String("runtime"),

　　context.String("shim"),

　　context.String("runtime-args"),

　　context.String("start-timeout"),

　　context.Int("retain-count"),

)

　　

（2）、for循环10次，调用w := supervisor.NewWorker(sv, wg)，再go w.Start()

（3）、调用sv.Start()，启动supervisor

（4）、调用server, err := startServer(listenParts[0], listenParts[1], sv)，启动grpc server

supervisor的数据结构定义如下所示：

// Supervisor represents a container supervisor

type Supervisor struct {

　　// stateDir is the directory on the system to store container runtime state information

　　stateDir　　　　string
　　// name of the OCI compatible runtime used to execute containers

　　runtime　　　　string
　　runtimeArgs　　[]string
　　shim　　　　　 string
　　containers　　　map[string]*containerInfo
　　startTasks　　　chan *startTask
　　// we need a lock around the subscribers map only because addtions and deletions from

　　// the map via the API so we cannot really control the currency

　　subscriberLock　sync.RWMutex
　　subscribers　　  map[chan Event]struct{}
　　machine　　　　Machine
　　tasks　　　　　  chan Task
　　monitor　　　　  *Monitor
　　eventLog　　　　[]Event
　　eventLock　　　  sync.Mutex
　　timeout　　　　　time.Duration
}

　　

2、containerd/supervisor/supervisor.go

// New returns an initialized Process supervisor

func New(stateDir string, runtimeName, shimName string, runtimeArgs []string, timeout time.Duration, retainCount int) (*Supervisor, error)

（1）、调用machine, err := CollectionMachineInformation()，获取当前宿主机的CPU数和RAM总量

（2）、调用monitor, err := NewMonitor()，启动并返回一个监视器

（3）、填充数据结构Supervisor：

s := &Supervisor{

　　stateDir:　　　　stateDir,

　　containers:　　　make(map[string]*ContainerInfo),
　　startTasks:　　　startTasks,
　　machine:　　　　machine,
　　subscriber:　　　make(map[chan Event]struct{}),

　　tasks:　　　　　 make(chan Task, defaultBufferSize),
　　monitor:　　　　monitor,
　　runtime:　　　　runtimeName,
　　runtimeArgs:　　runtimeArgs,
　　shim:　　　　　shimName,
　　timeout:　　　　timeout,
}

　　

（4）、调用setupEventLog(s, retainCount)设置event log

（5）、生成两个goroutine，s.exitHandler()和s.oomHandler()

（6）、最后，调用s.restore()，加载之前已经存在的容器

3、containerd/supervisor/supervisor.go

func (s *Supvervisor) restore() error

（1）、遍历目录s.stateDir（其实就是/var/run/docker/libcontainerd/containerd）

（2）、调用id := d.Name()获取容器id，再调用container, err := runtime.Load(s.stateDir, id, s.shim, s.timeout)，load的作用就是加载s.stateDir/id/state.json获取容器实例。之后，再遍历s.stateDir/id/下的pid 文件，加载容器中的process。

（3）、调用processes, err := container.Processes()，加载容器中的process，如果process的状态为running，则调用s.monitorProcess(p)对其进行监控，并对其中不在运行的process进行处理。

4、containerd/supervisor/supervisor.go

// Start is a non-blocking call that runs the supervisor for monitoring container processes and executing new containers

// This event loop is the only thing that is allowed to modify state of containers and processes, therefore it is save to do operations

// in the handlers that modify state of the system or state of the Supervisor

func (s *Supervisor) Start() error

该函数所做的工作很简单，就是启动一个goroutine，再for i := range s.tasks，调用s.handlerTask(i)

Task的数据结构如下所示：

// Task executes an action returning an error chan with either nil or the error from excuting the task

type Task interface {

　　// ErrorCh returns a channel used to report and error from an async task

　　ErrorCh() chan error

}

　　

5、containerd/supervisor/supervisor.go

func (s *Supervisor) handleTask(i Task)

该函数根据i的类型，调用相应的处理函数进行处理。例如，i.(type)为*StartTask时，则调用s.start(t)，若i.(type)为*DeleteTask时，则调用s.delete(t)。

----------------------------------------------------------------------- worker的工作 -------------------------------------------------------------------------

worker的数据结构如下所示：

type Work interface {

　　Start()

}

type worker struct {

　　wg　　*sync.WaitGroup
　　s　　　*Supervisor
}

4、containerd/supervisor/worker.go

func NewWorker(s *Supervisor, wg *sync.WaitGroup) Worker

这个函数只是简单地填充数据结构，return &worker{s: s, wg: wg}

5、containerd/supervisor/worker.go

// Start runs a loop in charge of starting new containers

func (w *worker) Start()

（1）、遍历w.s.startTasks，调用process, err := t.container.Start(t.checkPointPath, runtime.NewStdio(t.Stdin, t.Stdout, t.Stderr))

（2）、调用w.s.monitor.MonitorOOM(t.Container)和w.s.monitorProcess(process)对container和process进行监控

（3）、当我们从checkpoint restore一个容器的时候，不需要start process。因此，在t.CheckpointPath == ""的时候，调用process.Start()

（4）、调用ContainerStartTimer.UpdateSince(started)，started是当前的时间

（5）、最后，调用t.Err <- nil, t.StartResponse <- StartResponse{Container: t.Container}，和w.s.notifySubscribers(Event{Timestamp: time.Now, ID: t.container.ID(), Type: StateStart})，进行消息通知

---------------------------------------------------------------------------- monitor 分析 -----------------------------------------------------------------------

Monitor的数据结构如下所示：

// Monitor represents a runtime.Process monitor

type Monitor struct {

　　m 　　　　　　sync.Mutext
　　receivers　　　 map[int]interface{}
　　exits　　　　　 chan runtime.Process
　　ooms　　　　　chan string
　　epollFd　　　　int
}

　　

1、containerd/supervisor/monitor_linux.go

// NewMonitor starts a new process monitor and returns it

（1）、首先获取一个monitor实例，m := &Monitor{receivers: make(map[int]interface{}), exits: make(chan runtime.Process, 1024), oom: make(chan string, 1024)}

（2）、调用fd, err := archutils.EpollCreate1(0)，创建一个epoll fd，接着将fd赋值给m.epollFd

（3）、生成一个goroutine，go m.start()

2、containerd/supervisor/monitor_linux.go

func (m *Monitor) start()

（1）、该函数就是对各种syscall.EpollEvent进行处理，每次通过调用n, err := archutils.EpollWait(m.epollFd, events[:], -1)，获取n个EpollEvent。

（2）、再通过fd := int(events[i].Fd)，r := m.receivers[fd]找到对应的runtimeProcess或者runtime.OOM。

（3）、最后，t := r.(type)，再分别对runtime.Process和runtime.OOM进行处理

3、containerd/supervisor/monitor_linux.go

// Monitor adds a process to the list of the one being monitored

func (m *Monitor) Monitor(p runtime.Process) error

（1）、调用fd := p.ExitFD() ---> ExitFD returns the fd of the exit pipe，再根据fd新建一个event := syscall.EpollEvent{Fd: int32(fd), Events: syscall.EPOLLHUP,}

（2）、调用archutils.EpollCtl(m.epollFd, syscall.EPOLL_CTL_ADD, fd, &event)

（3）、最后，调用EpollFdCounter.Inc(1)，m.receivers[fd] = p