原文:Faiss教程:基础

Faiss对一些基础算法提供了非常高效的实现:k means PCA PQ编解码。 聚类 假设 维tensor x: 中心点放在kmeans.centroids中,目标函数的值放在kmeans.obj中。返回查询数据最近的中心点: 返回某个测试数据集中离各个中心点最近的 个点。 通过调整索引可以放到GPU上运行。 PCA降维 从 维降低到 维度 ProductQuantizer PQ 标量量化器 ...

2018-07-16 09:49 0 4436 推荐指数:

查看详情

Faiss教程:索引(1)

索引是faiss的关键知识,我们重点介绍下。 索引方法汇总 有些索引名,我就不翻译了,根据英文名去学习更准确。 索引名 类名 index_factory 主要参数 字节数/向量 精准检索 备注 ...

Mon Jul 16 17:49:00 CST 2018 3 11339
Faiss教程:索引(2)

索引的I/O与复制 所有的函数都是深复制,我们不需要关心对象关系。 I/O函数: write_index(index, "large.index"): 写索引到文件 Index * i ...

Mon Jul 16 17:50:00 CST 2018 1 3422
Faiss教程:入门

Faiss处理固定维度d的数据,矩阵每一行表示一个向量,每列表示向量的一项。Faiss采用32-bit浮点型存储。 假设xb为数据集,维度为\(nb\times{d}\);xq是查询数据,维度为\(nq\times{d}\) 为数据构建索引,Faiss包含非常多的索引类型,这里我们采用最 ...

Mon Jul 16 17:49:00 CST 2018 0 5614
Faiss教程:GPU

Fassi通过CUDA支持GPU,要求3.5以上算力,float16要求CUDA7.5+ 通过index_gpu_to_cpu可以将索引从GPU复制到CPU,index_cpu_to_gpu 和 i ...

Mon Jul 16 17:50:00 CST 2018 0 3096
milvus和faiss安装及其使用教程

写在前面 高性能向量检索库(milvus & faiss)简介 Milvus和Faiss都是高性能向量检索库,可以让你在海量向量库中快速检索到和目标向量最相似的若干个向量,这里相似度量标准可以是内积或者欧式距离等。这里借用milvus官方的话再次说明这两个库的特点 ...

Tue Aug 04 11:20:00 CST 2020 1 2307
faiss笔记

faiss没有windows的版本,只支持mac和linux 一、简单介绍 1. 当向量规模很大的时候,普通的暴力索引IndexFlatL2搜索很慢,而IndexIVFFlat索引可以建立倒排索引,即使用K-means建立聚类中心,然后通过查询最近的聚类中心,然后比较聚类中的所有向量得到相似 ...

Thu Sep 16 01:04:00 CST 2021 0 105
Faiss学习:一

在多个GPU上运行Faiss以及性能测试 一、Faiss的基本使用 1.1在CPU上运行 Faiss的所有算法都是围绕index展开的。不管运行搜索还是聚类,首先都要建立一个index。 import ...

Wed Mar 21 18:32:00 CST 2018 0 3498
Faiss流程与原理分析

1、Faiss简介   Faiss是Facebook AI团队开源的针对聚类和相似性搜索库,为稠密向量提供高效相似度搜索和聚类,支持十亿级别向量的搜索,是目前最为成熟的近似近邻搜索库。它包含多种搜索任意大小向量集(备注:向量集大小由RAM内存决定)的算法,以及用于算法评估和参数调整的支持代码 ...

Thu Mar 21 07:05:00 CST 2019 0 25703
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM