linux内核源码阅读之facebook硬盘加速flashcache之三

上一节讲到在刷缓存的时候会调用new_kcahed_job创建kcached_job，由此我们也可以看到cache数据块与磁盘数据的对应关系。上一篇：http://blog.csdn.net/liumangxiong/article/details/11726651

现在继续从new_kcached_job函数中挖掘有用的信息。那就是cache块跟磁盘上扇区是怎么对应起来的？即329行的为什么要写的disk.sector是后面这个值呢？

job->disk.sector = dmc->cache[index].dbn;

最这里是时候揭开变量dmc也就是结构体struct cache_c的真面目了。dmc可以理解成device mapper context或者device mapper cache。先看struct cache_c

134struct cache_c {
135	struct dm_target	*tgt;
136
137	struct dm_dev 		*disk_dev;   /* Source device */
138	struct dm_dev 		*cache_dev; /* Cache device */
139
140#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,27)
141	struct kcopyd_client *kcp_client; /* Kcopyd client for writing back data */
142#else
143	struct dm_kcopyd_client *kcp_client; /* Kcopyd client for writing back data */
144	struct dm_io_client *io_client; /* Client memory pool*/
145#endif
146
147	spinlock_t		cache_spin_lock;
148
149	struct cacheblock	*cache;	/* Hash table for cache blocks */
150	struct cache_set	*cache_sets;
151	struct cache_md_sector_head *md_sectors_buf;
152
153	sector_t size;			/* Cache size */
154	unsigned int assoc;		/* Cache associativity */
155	unsigned int block_size;	/* Cache block size */
156	unsigned int block_shift;	/* Cache block size in bits */
157	unsigned int block_mask;	/* Cache block mask */
158	unsigned int consecutive_shift;	/* Consecutive blocks size in bits */
159
160	wait_queue_head_t destroyq;	/* Wait queue for I/O completion */
161	/* XXX - Updates of nr_jobs should happen inside the lock. But doing it outside
162	   is OK since the filesystem is unmounted at this point */
163	atomic_t nr_jobs;		/* Number of I/O jobs */
164	atomic_t fast_remove_in_prog;
165
166	int	dirty_thresh_set;	/* Per set dirty threshold to start cleaning */
167	int	max_clean_ios_set;	/* Max cleaning IOs per set */
168	int	max_clean_ios_total;	/* Total max cleaning IOs */
169	int	clean_inprog;
170	int	sync_index;
171	int	nr_dirty;
172
173	int	md_sectors;		/* Numbers of metadata sectors, including header */
174
175	/* Stats */
176	unsigned long reads;		/* Number of reads */
177	unsigned long writes;		/* Number of writes */
178	unsigned long read_hits;	/* Number of cache hits */
179	unsigned long write_hits;	/* Number of write hits (includes dirty write hits) */
180	unsigned long dirty_write_hits;	/* Number of "dirty" write hits */
181	unsigned long replace;		/* Number of cache replacements */
182	unsigned long wr_replace;
183	unsigned long wr_invalidates;	/* Number of write invalidations */
184	unsigned long rd_invalidates;	/* Number of read invalidations */
185	unsigned long pending_inval;	/* Invalidations due to concurrent ios on same block */
186	unsigned long cached_blocks;	/* Number of cached blocks */
187#ifdef FLASHCACHE_DO_CHECKSUMS
188	unsigned long checksum_store;
189	unsigned long checksum_valid;
190	unsigned long checksum_invalid;
191#endif
192	unsigned long enqueues;		/* enqueues on pending queue */
193	unsigned long cleanings;
194	unsigned long noroom;		/* No room in set */
195	unsigned long md_write_dirty;	/* Metadata sector writes dirtying block */
196	unsigned long md_write_clean;	/* Metadata sector writes cleaning block */
197	unsigned long pid_drops;
198	unsigned long pid_adds;
199	unsigned long pid_dels;
200	unsigned long expiry;
201	unsigned long front_merge, back_merge;	/* Write Merging */
202	unsigned long uncached_reads, uncached_writes;
203	unsigned long disk_reads, disk_writes;
204	unsigned long ssd_reads, ssd_writes;
205	unsigned long ssd_readfills, ssd_readfill_unplugs;
206
207	unsigned long clean_set_calls;
208	unsigned long clean_set_less_dirty;
209	unsigned long clean_set_fails;
210	unsigned long clean_set_ios;
211	unsigned long set_limit_reached;
212	unsigned long total_limit_reached;
213
214	/* Errors */
215	int	disk_read_errors;
216	int	disk_write_errors;
217	int	ssd_read_errors;
218	int	ssd_write_errors;
219	int	memory_alloc_errors;
220
221#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,20)
222	struct work_struct delayed_clean;
223#else
224	struct delayed_work delayed_clean;
225#endif
226
227	/* State for doing readfills (batch writes to ssd) */
228	int readfill_in_prog;
229	struct kcached_job *readfill_queue;
230	struct work_struct readfill_wq;
231
232	unsigned long pid_expire_check;
233
234	struct flashcache_cachectl_pid *blacklist_head, *blacklist_tail;
235	struct flashcache_cachectl_pid *whitelist_head, *whitelist_tail;
236	int num_blacklist_pids, num_whitelist_pids;
237	unsigned long blacklist_expire_check, whitelist_expire_check;
238
239	struct cache_c	*next_cache;
240
241	char cache_devname[DEV_PATHLEN];
242	char disk_devname[DEV_PATHLEN];
243};

这个多field，如果一个挨一个看一遍，估计我都要睡着了。就像看书一样，如果从第一章看到最后一章，看过之后脑子里总是一片空白。如果是先看目录，带着疑问找自己感兴趣的地方，不时回味一下为什么是这样子，不失为一种愉快并且有效的阅读方式。
那么在看这个数据结构之前，头脑风暴一下产生了以下的疑问：
1）源设备和目的设备分别是什么？映射后数据流是怎么样的？
2）缓存大小是多少？块大小多少？块是怎么组织的
3）脏数据刷新机制是什么样的？水位线是多少
第137，138行表示的磁盘和SSD盘，即目的盘和缓存盘。这里必须十分清楚缓存的概念，一般情况下讲到缓存都是在内存中的，但flashcache中提到缓存块的时候要记住是写在SSD盘上的。数据流的变化就是多了一层flashcache device，在命中情况下直接返回，不到磁盘层。
缓存大小由153行size表示，但要注意的是，这里的size既不是以字节为单位，而不是以sector为单位，而是以cache数据块为单位的。每个cache数据块为block_size大小。cache块的组织是以集合为单位，每个集合有assoc个块，简单地理解为二维数组，第一维得到的是一个集合，第二维得到集合内块数据。为了理解这个结构，来看函数flashcache_lookup，

543/*
544 * dbn is the starting sector, io_size is the number of sectors.
545 */
546static int
547flashcache_lookup(struct cache_c *dmc, struct bio *bio, int *index)
548{
549	sector_t dbn = bio->bi_sector;
550#if DMC_DEBUG
551	int io_size = to_sector(bio->bi_size);
552#endif
553	unsigned long set_number = hash_block(dmc, dbn);
554	int invalid, oldest_clean = -1;
555	int start_index;
556
557	start_index = dmc->assoc * set_number;
558	DPRINTK("Cache lookup : dbn %llu(%lu), set = %d",
559		dbn, io_size, set_number);
560	find_valid_dbn(dmc, dbn, start_index, index);
561	if (*index > 0) {
562		DPRINTK("Cache lookup HIT: Block %llu(%lu): VALID index %d",
563			     dbn, io_size, *index);
564		/* We found the exact range of blocks we are looking for */
565		return VALID;
566	}
567	invalid = find_invalid_dbn(dmc, start_index);
568	if (invalid == -1) {
569		/* We didn't find an invalid entry, search for oldest valid entry */
570		find_reclaim_dbn(dmc, start_index, &oldest_clean);
571	}
572	/*
573	 * Cache miss :
574	 * We can't choose an entry marked INPROG, but choose the oldest
575	 * INVALID or the oldest VALID entry.
576	 */
577	*index = start_index + dmc->assoc;
578	if (invalid != -1) {
579		DPRINTK("Cache lookup MISS (INVALID): dbn %llu(%lu), set = %d, index = %d, start_index = %d",
580			     dbn, io_size, set_number, invalid, start_index);
581		*index = invalid;
582	} else if (oldest_clean != -1) {
583		DPRINTK("Cache lookup MISS (VALID): dbn %llu(%lu), set = %d, index = %d, start_index = %d",
584			     dbn, io_size, set_number, oldest_clean, start_index);
585		*index = oldest_clean;
586	} else {
587		DPRINTK_LITE("Cache read lookup MISS (NOROOM): dbn %llu(%lu), set = %d",
588			dbn, io_size, set_number);
589	}
590	if (*index < (start_index + dmc->assoc))
591		return INVALID;
592	else {
593		dmc->noroom++;
594		return -1;
595	}
596}

第549行dbn是bio的起始扇区，第553行set_number就是这个扇区映射到的缓存集合，简单地看一下hash_block：

444/*
445 * Map a block from the source device to a block in the cache device.
446 */
447static unsigned long
448hash_block(struct cache_c *dmc, sector_t dbn)
449{
450	unsigned long set_number, value;
451
452	value = (unsigned long)
453		(dbn >> (dmc->block_shift + dmc->consecutive_shift));
454	set_number = value % (dmc->size >> dmc->consecutive_shift);
455	DPRINTK("Hash: %llu(%lu)->%lu", dbn, value, set_number);
456	return set_number;
457}

看注释，源设备块映射到cache设备块。看452行，1<<dmc->block_shift就是块大小，1<<dmc->consecutive_shift就是每个集合大小，所以得到的value就是这个扇区在哪个集合上。但直接返回这个值还不行，一般情况下源设备比缓存大得多，所以源设备上多处位置会映射到缓存的一个集合上。所以有了454行，源设备的多个集合映射到缓存的同一个集合上，(dmc->size >> dmc->consecutive_shift)就表示集合的个数。
继续flashcache_lookup第557行，start_index就是这个集合第一个cache块的下标，560行find_valid_db就是查找缓存是否命中，如果命中的话，由index返回，如果不命中，返回-1。第561行就是判断缓存命中，如果命中就直接返回；不命中的话就继续567行查找可用的缓存块。第578行是找到可用缓存块，582就是找到干净的回收缓存块，586就是没有找到可用的缓存块。
回到cache_c结构中来，接着讲刷新。刷新是由第224行工作队列控制的struct delayed_work delayed_clean;这个队列为什么是delayed_work，搜下这个队列的调用，在函数flashcache_clean_set中，
if (do_delayed_clean)
schedule_delayed_work(&dmc->delayed_clean, 1*HZ);

那为什么是延迟1秒调用，看do_delayed_clean

if (dmc->cache_sets[set].nr_dirty > dmc->dirty_thresh_set)

do_delayed_clean = 1;

这里的意思就是超过阈值的时候延迟1秒再检查一遍，为什么不立即做而要延迟呢？这个函数再往回看就知道了，原来下发的请求已经超过某一个阈值，这个时候就不再下发。

除了这个队列之外，还需要有一些阈值来控制。从166行到171行就是这些相关的设置。

nr_dirty是当前集合里脏cache块数

dirty_thresh_set 是超过这个界面就要开始将脏数据写回磁盘

max_clean_ios_set 是单个集合下发写数据块的请求个数

max_clean_ios_total 是整个缓存下发写数据块的请求个数

clean_inprog 是已经下发的写数据块的请求个数

到这里再回去扫描一下cache_c结构，还有一些IO统计和错误统计的field。

每一场好戏都有精彩好戏在后头，cache_c也不例外，接着请三巨头隆重上场：

struct cacheblock *cache; /* Hash table for cache blocks */

struct cache_set *cache_sets;

struct cache_md_sector_head *md_sectors_buf;

第一个结构是cache块在内存中的表示，对应SSD上的是flash_cacheblock。第二个cache_set就是之前一直提到的集合。第三个用于flash_cacheblock刷新，即管理结构从内存cacheblock写到SSD的flash_cacheblock。下面逐一来看这三个结构体：

111/* Cache block metadata structure */
112struct cacheblock {
113	u_int16_t	cache_state;
114	int16_t 	nr_queued;	/* jobs in pending queue */
115	u_int16_t	lru_prev, lru_next;
116	sector_t 	dbn;	/* Sector number of the cached block */
117#ifdef FLASHCACHE_DO_CHECKSUMS
118	u_int64_t 	checksum;
119#endif
120	struct pending_job *head;
121};

cache_state; cache块的状态

nr_queued; /* jobs in pending queue */ 等待工作个数

lru_prev, lru_next; 按LRU排序，指向前一个和后一个，注意这里是下标

dbn; /* Sector number of the cached block */ 对应磁盘的扇区

checksum; 校验

struct pending_job *head; 等待工作

第二个数据结构：

123struct cache_set {
124	u_int32_t		set_fifo_next;
125	u_int32_t		set_clean_next;
126	u_int32_t		clean_inprog;
127	u_int32_t		nr_dirty;
128	u_int16_t		lru_head, lru_tail;
129};

第三个数据结构：

344/*
345 * We have one of these for *every* cache metadata sector, to keep track
346 * of metadata ios in progress for blocks covered in this sector. Only
347 * one metadata IO per sector can be in progress at any given point in
348 * time
349 */
350struct cache_md_sector_head {
351	u_int32_t		nr_in_prog;
352	struct kcached_job	*pending_jobs, *md_io_inprog;
353};

看注释，每一个cache metadata扇区对应一个struct cache_md_sector_head结构，用以追踪这个扇区上的IO，这个扇区的IO来自该扇区对应的每一个cache块的状态变化。每一次只允许一个IO在下发。在初始化时，nr_in_prog为0，两个队列也都为零。其中的一个cache块发生变化并且状态要更新到SSD中，这时创建一个job并挂入到pending_jobs，下发时将nr_in_prog置为1，并将job从pending_jobs移到md_io_inprog，如果job下发过程中又有其他job下发，就挂到pending_jobs，等md_io_inprog处理完成再继续下一次下发过程。
到这里，我们把flashcache重要的数据结构都过了一遍。下一节开始介绍flashcache的数据流。