本篇教程介绍了大数据应用 facebook大数据搜索库faiss使用选择Index详解，希望阅读本篇文章以后大家有所收获，帮助大家对大数据云计算大数据应用的理解更加深入。

<

选择Index并不明显，有几个问题可以帮助选择Index。
是否需要精确结果
使用Flat。
IndexFlat2是唯一能保证精确结果的Index。它为其他Index提供了对比标准。它不会压缩向量，不支持带标签添加，只能顺序添加。所以，如果你需要add_with_ids，使用IDMap,Flat。
内存是否有限制
请注意Faiss所有的Index都是存储在RAM里的，如果不需要精确结果，而同时RAM是有限的，在该限制下，我们在精度-速度中间进行衡量选择。可以考虑下面的问题：
内存充足无限制：使用HNSWx
如果你有很多RAM或者搜索库很小，HNSW是最好的选择。它很快、很精确。4<=x<=64是每个向量的链接数，这个值越高越精确，但是使用的RAM越多。而速度-精度衡量则通过efSearch参数调节实现，每个向量占用内存数为(d4+x2*4)字节。
HNSW不支持序列添加(not add_with_ids),同样的，如果需要，则使用IDMap。HNSW不需要训练，也不支持从index中删除向量。
内存不关注，使用"...,Flat"
"..."指的是需要进行的数据集聚类操作。聚类之后，“Flat”就把这些向量归于桶中，所以并没有亚索，所占的存储空间大小等于原数据集。速度-精度衡量通过nprobe参数控制。
内存比较有限，使用“PCARx,...,SQ8”
如果存储整个向量非常占内存资源，可以通过两种方法降低占用量：

PCA降维；
每个向量元素进行可计量量化至1字节；

所以，存储总量是每个向量的x字节。
内存非常有限，使用“OPQx_y, ..., PQx”
PQx使用PQ算法将每个向量进行压缩输出x字节的编码，x一般来说小于等于64，对于大的编码，SQ通常更精确、快速。OPQ是将向量进行线性转换，使得其更容易压缩。y表示的是一个维度，需满足：

y是x的因子；
y<=d，d是输入向量的维度；
y <= 4*x

数据集有多大
这个问题就是对上文"..."部分的回答。数据集被聚成多个桶，在搜索时只有一部分桶被遍历（nprobe个桶）。这个聚类操作只作用于数据集向量的具有代表性的样例之上，通常是数据集的一个样本集。我们针对样本集给出其最优尺寸选择：
如果低于1M向量:"...,IVFx,..."
其中x是4sqrt(N)~16sqrt(N)，N是数据集的大小。这只是使用kmeans将向量聚起来，你需要30x~256x向量训练（更多越好）。
如果1M-10M："...,IMI2x10,..."
其中x是符号，不是数字。
IMI也对训练集进行k-means聚类，聚成2^10中心点，但是在向量的前半部分和后半部分是独立的。增加聚类数到2(2^10)。你需要大约64(2^10)向量训练。
如果10M-100M:"...,IMI2x12,..."<千万级-亿级>
同上面的，10用12替换。
如果100M-1B："...,IMI2X14,..."<亿级-十亿级>
同上面的，10用14替换。
   

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据应用频道！