linux 内核的futex

futex是linux内核为用户空间实现锁等同步机制而设计的同步排队（队列queueing）服务。在futex.c的注释中，futex起源于"Fast Userspace Mutex"，但它并非只是一个Mutex，而是用户空间线程（pthread）同步机制的底层服务。它的基本设计有三点，1.同步对象可以在进程之使用，并且保证同步对象的内部状态访问有序，2.当同步对象没有竞争的情况下，可以在用户空间快速完成（fastpath），3.当同步对象发生竞争时，必须进入内核使用futex系统提供的排队机制进行仲裁（slowpath），仲裁胜出的任务（进程或线程）必须返回到用户空间完成同步对象的其它状态的修改 。

futex在用户空间只是一个地址对齐的整形，它是用户空间的同步委托给内核的futex系统，futex访问的同步对象内部状态。

内核中的futex系统设计了三个基本结构。futex_key，futex_queue， 以及futex_hash_bucket。

futex_key：是一个使用用户空间中futex的地址，以及地址的映射对象作为键的标识，它是futex可以在进程间共享使用的保证。

futex_hash_bucket：是一个等待队列，内核内建一般为cpu个数的8倍的等待队列。futex根据它的futex_key进行hash后的值，共享对于编号的等待队列。

futex_queue：代表一个任务（进程或线程）在某个futex上的等待关系，是等待队列的链表入口，链入到futex_hash_bucket队列中。

注意的是，每个futex_hash_bucket都有一个spinlock进行同步访问，它实现的队列是prio list，基于priority（优先级）的有序队列。



futex系统提供了基本的同步接口futex_wait(uaddr, flags, val, timeout, bitset)和futex_wake(uaddr, flags, nr_wake, bitset)。

futex_wait：就是排队然后阻塞（睡眠调度）。查找对应队列，队列入队操作，睡眠调度。

futex_wake：就是唤醒阻塞队列的任务（进程或线程）。查找对应队列，队列出队操作，唤醒任务。

调用futex系统调用时，必须传入futex的地址uaddr，以及地址的内存属性flags，同时才能标识出这个futex。futex系统根据futex的地址属性决定生成的key是否需要第二个因素，映射的对象（mm或inode）。当使用文件映射页面，进行进程间共享时，key不能使用虚拟地址进行标识，而要使用映射的物理页面号进行标识。所以在这里大致可以看到，锁的开销随跨越的边界越大而增加。访问页面管理必须进行同步，访问文件系统也必须进行同步。

所以通过uaddr和flags进行futex系统调用，就可以在主机内得到唯一的标识，让futex_wake可以找回进行futex_wait的futex。

futex设计为Fast Userspace Mutex，就是可以让用户空间的实现的Lock和Unlock操作拥有fastpath快速路径，只在没有锁竞争的时候。

如何使用futex实现在用户空间快速的锁，以pthread的lowlevellock为例。

pthread的lowlevellock将futex的锁状态定义为3种：

0，无锁，可以进行快速上锁，不需要使用futex系统调用。

1，上锁，但没有锁竞争。如果这时有其它任务需要上锁，就必须标记futex为状态锁竞争，然后使用futex系统服务。

2，锁竞争，有其它任务将要或正在内核的futex系统中排队等待着锁的使用。

在无锁状态进行Lock，以及非锁竞争的持锁状态进行Unlock都不必须进行futex系统调用。

上锁和解锁，对锁状态的修改在用户空间中完成，锁竞争通过futex系统调用完成。futex系统调用并不进行上锁和解锁操作，只负责排队服务，也就是说futex系统调用并不理会也不必要知道用户空间是如何定义futex的锁状态的。

futex系统的排队服务，通过hash链表，每一个等待都会分配到由futex_key计算出的hash链表上进行排队。hash链表是共享的链表，多个futex的等待可能会共享同一个hash链表，而一个futex的等待只会分配到相同的hash链表上。因为futex_key是唯一的。每一个hash链表都是一个prio有序链表，等待在排队时需要根据阻塞的任务的优先级进行排序插入。



上面是futex提供的最基本的功能，pthread_mutex使用futex_wait和futex_wake实现它的lock和unlock操作。

futex.c文件的注释告诉我们，futex从纳入到linux内核开始就不断增加它的功能，使它更加通用，更好地支持用户空间编程的同步服务。

futex requeueing 随futex纳入到linux内核添加。

robust futex，更加健壮的futex，持有基于futex的锁的任务退出而没有释放，使阻塞于这个锁的其它任务得以解放。

pi-futex，使用rt_mutex代理排队服务，同时使用rt_mutex的PI优先级继承算法，增加futex的功能。

private futexes，优化进程内的futex，因为futex最初被设计，局限于当时的内核，是基于多进程考虑的。

Requeue-PI，一种对non-pi-futex到pi-futex之间的requeue进行优化。

requeue这一功能广泛使用在pthread_cond，换过来说就是为实现pthread_cond而设计的。