RAG技术的核心组件搭配LangChain介绍
百度 多家电商的年度“打假报告”显示,虽然监管部门与电商打假“组合拳”取得积极成效,但线下的假货源头尚存,且出现了跨国境、跨平台流窜的现象。
一、嵌入模型(Embedding models)
作用:嵌入将文本转换为密集的向量表示,分为词嵌入、句子嵌入、图嵌入和图像嵌入。
1. Ollama:OllamaEmbeddings是与Ollama集成,实现本地嵌入模型,注重隐私;
2. OpenAi:OpenAIEmbeddings是使用OpenAI的API,广泛使用,对于通用任务有效;
3. Huggingface:HuggingFaceEmbeddings。
二、向量数据库(Vector stores)
作用:将嵌入的向量存储以实现高效检索。
1. Milvus:开源向量数据库,高度可扩展,专为人工智能和机器学习应用而设计;
2. Chroma:开源向量数据库;
I. 安装:pip install langchain-chroma;
II. 使用
III. 其它:
A. 算法:HNSW和ANND算法;
B. 集合(Collections):类似于数据库中的表,用于组织一组向量和元数据。
3. Qdrant:
4. Weaviate: