【3】facebook大数据搜索库faiss使用——选择Index
2018-01-22 15:31
721 查看
选择Index并不明显,有几个问题可以帮助选择Index。
HNSW不支持序列添加(not
PCA降维;
每个向量元素进行可计量量化至1字节;
所以,存储总量是每个向量的x字节。
y是x的因子;
y<=d,d是输入向量的维度;
y <= 4*x
IMI也对训练集进行k-means聚类,聚成2^10中心点,但是在向量的前半部分和后半部分是独立的。增加聚类数到2(2^10)。你需要大约64(2^10)向量训练。
是否需要精确结果
使用Flat。IndexFlat2是唯一能保证精确结果的Index。它为其他Index提供了对比标准。它不会压缩向量,不支持带标签添加,只能顺序添加。所以,如果你需要
add_with_ids,使用
IDMap,Flat。
内存是否有限制
请注意Faiss所有的Index都是存储在RAM里的,如果不需要精确结果,而同时RAM是有限的,在该限制下,我们在精度-速度中间进行衡量选择。可以考虑下面的问题:内存充足无限制:使用HNSWx
如果你有很多RAM或者搜索库很小,HNSW是最好的选择。它很快、很精确。4<=x<=64是每个向量的链接数,这个值越高越精确,但是使用的RAM越多。而速度-精度衡量则通过efSearch参数调节实现,每个向量占用内存数为(d4+x2*4)字节。HNSW不支持序列添加(not
add_with_ids),同样的,如果需要,则使用
IDMap。HNSW不需要训练,也不支持从index中删除向量。
内存不关注,使用"...,Flat"
"..."指的是需要进行的数据集聚类操作。聚类之后,“Flat”就把这些向量归于桶中,所以并没有亚索,所占的存储空间大小等于原数据集。速度-精度衡量通过nprobe参数控制。
内存比较有限,使用“PCARx,...,SQ8”
如果存储整个向量非常占内存资源,可以通过两种方法降低占用量:PCA降维;
每个向量元素进行可计量量化至1字节;
所以,存储总量是每个向量的x字节。
内存非常有限,使用“OPQx_y, ..., PQx”
PQx使用PQ算法将每个向量进行压缩输出x字节的编码,x一般来说小于等于64,对于大的编码,SQ通常更精确、快速。OPQ是将向量进行线性转换,使得其更容易压缩。y表示的是一个维度,需满足:y是x的因子;
y<=d,d是输入向量的维度;
y <= 4*x
数据集有多大
这个问题就是对上文"..."部分的回答。数据集被聚成多个桶,在搜索时只有一部分桶被遍历(nprobe个桶)。这个聚类操作只作用于数据集向量的具有代表性的样例之上,通常是数据集的一个样本集。我们针对样本集给出其最优尺寸选择:如果低于1M向量:"...,IVFx,..."
其中x是4sqrt(N)~16sqrt(N),N是数据集的大小。这只是使用kmeans将向量聚起来,你需要30x~256x向量训练(更多越好)。如果1M-10M:"...,IMI2x10,..."
其中x是符号,不是数字。IMI也对训练集进行k-means聚类,聚成2^10中心点,但是在向量的前半部分和后半部分是独立的。增加聚类数到2(2^10)。你需要大约64(2^10)向量训练。
如果10M-100M:"...,IMI2x12,..."<千万级-亿级>
同上面的,10用12替换。如果100M-1B:"...,IMI2X14,..."<亿级-十亿级>
同上面的,10用14替换。相关文章推荐
- 【2】facebook大数据搜索库faiss使用
- 【4】facebook大数据搜索库faiss使用——Faiss索引介绍
- DropDownList连动选择时出现 "Eval()、XPath() 和 Bind() 这类数据绑定方法只能在数据绑定控件的上下文中使用" 的错误
- 使用DataView对象来搜索,筛选、排序、浏览及编辑数据
- 使用wpf 的datagrid 对选择的数据操作
- MFC ComboBox 使用方法-初始化,添加,得到选择的数据,得到数据的位置,删除
- 使用XSL的select 有选择的显示数据
- domino使用URL进行数据搜索
- WLK数据模拟软件RAWR使用说明 软件是开源哦,对于有心研究WPF开发者是不错的选择
- Android上GTalk以及Push机制的XMPP数据选择使用protobuf格式而非XML格式
- Android中的使用ListView控件显示List集合中的数据,并对Item响应选择事件(方法一)
- Android中的使用ListView控件显示List集合中的数据,并对Item响应选择事件(方法二)
- 使用UNION提示错误“不能以 DISTINCT 方式选择 text、ntext 或 image 数据类型。”
- ASP.NET -使用 SqlDataSource 控件选择数据
- REPEATER控件显示数据,交替项显示;分页类的使用,Repeater控件分页;使用DataList控件绑定数据;使用DataList控件的选择模板
- [Oracle PL/SQL]当数据表设计成具有父ID的时候,当需要选择所有与父ID同根生的所有节点的时候,使用的SQL语句
- (WebSite----Asp.Net Configuration----->无法连接到SQL Server数据库------>选择数据存储区---->应用程序当前被配置为使用提供程序:AspNetSqlProvider)解决方案
- (WebSite----Asp.Net Configuration----->无法连接到SQL Server数据库------>选择数据存储区---->应用程序当前被配置为使用提供程序:AspNetSqlProvider)解决方案
- msdn 使用 SqlDataSource 控件选择数据
- 如何解决FormView中实现DropDownList连动选择时出现 "Eval()、XPath() 和 Bind() 这类数据绑定方法只能在数据绑定控件的上下文中使用" 的错误