Tìm hiểu sâu về Vector Databases | MinAI Learning

Lý thuyết

2/13•35 phút

Đang tải...

Tìm hiểu sâu về Vector Databases

So sánh Pinecone, Weaviate, Chroma, Qdrant và cách chọn đúng database

🎯 Mục tiêu bài học

TB5 min

Trong bài này, bạn sẽ khám phá chi tiết các vector databases phổ biến nhất và học cách chọn database phù hợp cho dự án RAG của mình.

Sau bài này, bạn sẽ:

✅ Hiểu vector database architecture và index types ✅ Sử dụng ChromaDB cho prototyping ✅ Biết Pinecone cho production scale ✅ Biết Weaviate cho multi-modal và flexibility ✅ Biết Qdrant cho maximum performance ✅ Biết pgvector cho PostgreSQL users ✅ So sánh feature, performance, cost và chọn đúng database

Task 0

🔍 Hiểu về Vector Databases

TB5 min

Tổng quan kiến trúc

Kiến trúc Vector Database

📥Nạp dữ liệu Tài liệu → Vectors

📊Lập chỉ mục HNSW / IVF / PQ Indexes

💾Lưu trữ Vectors + Metadata

🔍Tìm kiếm ANN Search + Bộ lọc

📈Xếp hạng Xếp hạng lại / Lọc

📋Kết quả Top K tài liệu + điểm

Khái niệm chính

ANN (Approximate Nearest Neighbor - Láng giềng gần nhất xấp xỉ):

Tìm chính xác: O(n) - kiểm tra từng vector
ANN: O(log n) - sử dụng indexing thông minh
Đánh đổi độ chính xác lấy tốc độ (thường đạt 99%+ recall)

Các loại Index:

Index	Tốc độ	Bộ nhớ	Độ chính xác

Task 1

Tiếp: Xử lý tài liệu và chia nhỏ (Chunking)

🛠️ ChromaDB

TB5 min

Tổng quan

Phù hợp nhất cho: Prototyping, phát triển local, dự án nhỏ

Ví dụ

1Ưu điểm:
2✅ Không cần cấu hình - chỉ cần pip install
3✅ Chạy local, không cần cloud
4✅ API native Python
5✅ Miễn phí và mã nguồn mở
6✅ Có tùy chọn lưu trữ bền vững
7 
8Nhược điểm:
9❌ Không thiết kế cho quy mô lớn
10❌ Filtering hạn chế
11❌ Chỉ chạy trên một node
12❌ Không có tùy chọn managed cloud

Bắt đầu nhanh

python.py

1import chromadb
2from chromadb.config import Settings
3
4# In-memory (development)
5client = chromadb.Client()
6
7# Persistent storage
8client = chromadb.PersistentClient(path="./chroma_db")
9
10# Create collection
11collection = client.create_collection(
12    name="documents",
13    metadata={"hnsw:space": "cosine"}  # or "l2", "ip"
14)
15
16# Add documents
17collection.add(
18    ids=["doc1", "doc2", "doc3"],
19    documents=[
20        "Machine learning is a subset of AI",
21        "Deep learning uses neural networks",
22        "Python is popular for data science"
23    ],
24    metadatas=[
25        {"category": "AI", "year": 2024},
26        {"category": "AI", "year": 2024},
27        {"category": "Programming", "year": 2023}
28    ]
29)
30
31# Query with filters
32results = collection.query(
33    query_texts=["What is AI?"],
34    n_results=2,
35    where={"category": "AI"}
36)
37
38print(results["documents"])
39print(results["distances"])

Sử dụng với Embeddings bên ngoài

python.py

1from openai import OpenAI
2
3openai_client = OpenAI()
4
5def get_embeddings(texts):
6    response = openai_client.embeddings.create(
7        model="text-embedding-3-small",
8        input=texts
9    )
10    return [item.embedding for item in response.data]
11
12# Create collection without auto-embedding
13collection = client.create_collection("custom_embeddings")
14
15# Add with your own embeddings
16texts = ["Document 1", "Document 2"]
17embeddings = get_embeddings(texts)
18
19collection.add(
20    ids=["id1", "id2"],
21    embeddings=embeddings,
22    documents=texts
23)
24
25# Query with your embedding
26query_embedding = get_embeddings(["My query"])[0]
27results = collection.query(
28    query_embeddings=[query_embedding],
29    n_results=5
30)

Checkpoint

Bạn đã thử tạo collection và thực hiện query trong ChromaDB chưa?

Task 2

🛠️ Pinecone

TB5 min

Tổng quan

Phù hợp nhất cho: RAG production, quy mô doanh nghiệp, triển khai serverless

Ví dụ

1Ưu điểm:
2✅ Quản lý toàn bộ, serverless
3✅ Mở rộng tới hàng tỷ vectors
4✅ Cập nhật thời gian thực
5✅ Tìm kiếm kết hợp (vector + keyword)
6✅ Tài liệu rất tốt
7✅ Có free tier
8 
9Nhược điểm:
10❌ Phụ thuộc nhà cung cấp
11❌ Chi phí cao khi mở rộng
12❌ Dữ liệu rời khỏi hạ tầng của bạn
13❌ Hạn chế tùy chọn tự host

Bắt đầu nhanh

python.py

1from pinecone import Pinecone, ServerlessSpec
2
3# Initialize
4pc = Pinecone(api_key="your-api-key")
5
6# Create index
7pc.create_index(
8    name="my-index",
9    dimension=1536,  # Match your embedding model
10    metric="cosine",
11    spec=ServerlessSpec(
12        cloud="aws",
13        region="us-east-1"
14    )
15)
16
17# Connect to index
18index = pc.Index("my-index")
19
20# Upsert vectors
21index.upsert(
22    vectors=[
23        {
24            "id": "doc1",
25            "values": embedding1,  # 1536-dim vector
26            "metadata": {"category": "AI", "source": "blog"}
27        },
28        {
29            "id": "doc2",
30            "values": embedding2,
31            "metadata": {"category": "ML", "source": "paper"}
32        }
33    ],
34    namespace="documents"  # Optional logical partition
35)
36
37# Query
38results = index.query(
39    vector=query_embedding,
40    top_k=5,
41    include_metadata=True,
42    filter={"category": {"$eq": "AI"}}
43)
44
45for match in results.matches:
46    print(f"Score: {match.score}, ID: {match.id}")

Tìm kiếm kết hợp (Hybrid Search)

python.py

1# Pinecone with sparse vectors for keyword matching
2from pinecone_text.sparse import BM25Encoder
3
4# Initialize BM25 for keyword search
5bm25 = BM25Encoder()
6bm25.fit(corpus)  # Fit on your documents
7
8# Create hybrid vectors
9def create_hybrid_vector(text, dense_embedding):
10    sparse = bm25.encode_documents([text])[0]
11    return {
12        "values": dense_embedding,
13        "sparse_values": sparse
14    }
15
16# Query with hybrid search
17results = index.query(
18    vector=dense_query_embedding,
19    sparse_vector=bm25.encode_queries([query])[0],
20    top_k=10,
21    alpha=0.5  # Balance between dense and sparse
22)

Checkpoint

Bạn đã hiểu cách Pinecone sử dụng namespaces và hybrid search chưa?

Task 3

🛠️ Weaviate

TB5 min

Tổng quan

Phù hợp nhất cho: Tìm kiếm đa phương thức, lọc phức tạp, production tự host

Ví dụ

1Ưu điểm:
2✅ Đa phương thức (văn bản, hình ảnh, v.v.)
3✅ GraphQL API
4✅ Tích hợp vectorizer sẵn
5✅ Hỗ trợ hybrid search
6✅ Tự host hoặc cloud
7✅ Lọc mạnh mẽ
8 
9Nhược điểm:
10❌ Cài đặt phức tạp hơn
11❌ Đường cong học dốc
12❌ Tốn nhiều tài nguyên
13❌ GraphQL có thể dài dòng

Bắt đầu nhanh

python.py

1import weaviate
2from weaviate.classes.config import Configure, Property, DataType
3from weaviate.classes.query import MetadataQuery
4
5# Connect to Weaviate Cloud
6client = weaviate.connect_to_weaviate_cloud(
7    cluster_url="your-cluster-url",
8    auth_credentials=weaviate.auth.AuthApiKey("your-api-key")
9)
10
11# Create schema
12client.collections.create(
13    name="Document",
14    vectorizer_config=Configure.Vectorizer.text2vec_openai(),
15    properties=[
16        Property(name="content", data_type=DataType.TEXT),
17        Property(name="category", data_type=DataType.TEXT),
18        Property(name="year", data_type=DataType.INT)
19    ]
20)
21
22# Get collection
23documents = client.collections.get("Document")
24
25# Insert data
26documents.data.insert_many([
27    {"content": "AI is transforming industries", "category": "AI", "year": 2024},
28    {"content": "Machine learning models improve predictions", "category": "ML", "year": 2024}
29])
30
31# Vector search
32response = documents.query.near_text(
33    query="artificial intelligence applications",
34    limit=5,
35    return_metadata=MetadataQuery(distance=True)
36)
37
38for obj in response.objects:
39    print(obj.properties["content"])
40    print(f"Distance: {obj.metadata.distance}")

Tìm kiếm kết hợp trong Weaviate

python.py

1from weaviate.classes.query import HybridFusion
2
3response = documents.query.hybrid(
4    query="machine learning applications",
5    alpha=0.5,  # 0=keyword only, 1=vector only
6    fusion_type=HybridFusion.RELATIVE_SCORE,
7    limit=5,
8    filters=weaviate.classes.query.Filter.by_property("year").greater_than(2023)
9)

Checkpoint

Bạn đã hiểu Weaviate hybrid search kết hợp BM25 và vector search như thế nào chưa?

Task 4

⚡ Qdrant

TB5 min

Tổng quan

Phù hợp nhất cho: Hiệu năng cao, lọc nâng cao, tốc độ Rust

Ví dụ

1Ưu điểm:
2✅ Cực nhanh (viết bằng Rust)
3✅ Lọc payload nâng cao
4✅ Quantization tiết kiệm bộ nhớ
5✅ Tự host hoặc cloud
6✅ Phát triển tích cực
7 
8Nhược điểm:
9❌ Mới hơn, cộng đồng nhỏ hơn
10❌ Ít tài liệu hơn
11❌ Ít tích hợp hơn

Bắt đầu nhanh

python.py

1from qdrant_client import QdrantClient
2from qdrant_client.models import Distance, VectorParams, PointStruct
3
4# Connect (local or cloud)
5client = QdrantClient(path="./qdrant_db")  # Local
6# client = QdrantClient(url="https://xxx.qdrant.io", api_key="...")
7
8# Create collection
9client.create_collection(
10    collection_name="documents",
11    vectors_config=VectorParams(size=1536, distance=Distance.COSINE)
12)
13
14# Upsert points
15client.upsert(
16    collection_name="documents",
17    points=[
18        PointStruct(
19            id=1,
20            vector=embedding1,
21            payload={"content": "AI document", "category": "AI", "year": 2024}
22        ),
23        PointStruct(
24            id=2,
25            vector=embedding2,
26            payload={"content": "ML document", "category": "ML", "year": 2024}
27        )
28    ]
29)
30
31# Search with filters
32from qdrant_client.models import Filter, FieldCondition, MatchValue
33
34results = client.search(
35    collection_name="documents",
36    query_vector=query_embedding,
37    limit=5,
38    query_filter=Filter(
39        must=[
40            FieldCondition(key="category", match=MatchValue(value="AI"))
41        ]
42    )
43)
44
45for result in results:
46    print(f"Score: {result.score}, Content: {result.payload['content']}")

Thao tác hàng loạt

python.py

1from qdrant_client.models import Batch
2
3# Efficient batch upsert
4client.upsert(
5    collection_name="documents",
6    points=Batch(
7        ids=list(range(1000)),
8        vectors=[embedding for _ in range(1000)],
9        payloads=[{"content": f"Doc {i}"} for i in range(1000)]
10    )
11)

Checkpoint

Bạn đã hiểu ưu điểm hiệu suất của Qdrant và cách sử dụng payload filtering chưa?

Task 5

📊 pgvector (PostgreSQL)

TB5 min

Tổng quan

Phù hợp nhất cho: Người đang dùng PostgreSQL, dữ liệu giao dịch + vectors

Ví dụ

1Ưu điểm:
2✅ Tận dụng kỹ năng PostgreSQL sẵn có
3✅ Giao dịch ACID
4✅ Kết hợp dữ liệu quan hệ
5✅ Không cần hạ tầng mới
6✅ JOIN SQL với vector search
7 
8Nhược điểm:
9❌ Không tối ưu cho workload chỉ vector
10❌ Mở rộng phức tạp hơn
11❌ Ít tính năng vector chuyên dụng
12❌ Giới hạn hiệu năng

Bắt đầu nhanh

SQL

1-- Enable extension
2CREATE EXTENSION vector;
3
4-- Create table with vector column
5CREATE TABLE documents (
6    id SERIAL PRIMARY KEY,
7    content TEXT,
8    category VARCHAR(50),
9    embedding vector(1536)
10);
11
12-- Create index (HNSW recommended)
13CREATE INDEX ON documents 
14USING hnsw (embedding vector_cosine_ops);
15
16-- Insert data
17INSERT INTO documents (content, category, embedding)
18VALUES ('AI document', 'AI', '[0.1, 0.2, ...]'::vector);
19
20-- Vector search
21SELECT content, category, 
22       embedding <=> '[query_vector]'::vector AS distance
23FROM documents
24WHERE category = 'AI'
25ORDER BY embedding <=> '[query_vector]'::vector
26LIMIT 5;

Tích hợp Python

python.py

1import psycopg2
2from pgvector.psycopg2 import register_vector
3
4conn = psycopg2.connect(...)
5register_vector(conn)
6
7cursor = conn.cursor()
8
9# Insert
10cursor.execute(
11    "INSERT INTO documents (content, embedding) VALUES (%s, %s)",
12    ("My document", embedding)
13)
14
15# Search
16cursor.execute("""
17    SELECT content, embedding <=> %s AS distance
18    FROM documents
19    ORDER BY embedding <=> %s
20    LIMIT 5
21""", (query_embedding, query_embedding))
22
23results = cursor.fetchall()

Checkpoint

Bạn đã hiểu khi nào nên dùng pgvector thay vì vector database chuyên dụng chưa?

Task 6

📊 Bảng so sánh

TB5 min

So sánh tính năng

Tính năng	Chroma	Pinecone	Weaviate	Qdrant	pgvector
Triển khai	Cục bộ	Cloud	Cả hai	Cả hai	Tự host
Số vector tối đa	1M	Hàng tỷ	Hàng tỷ	Hàng tỷ	10M+
Tìm kiếm kết hợp	❌	✅	✅	✅	Hạn chế
Đa phương thức	❌	❌	✅	❌	❌
Gói miễn phí	✅	✅	✅	✅	✅
Lọc dữ liệu	Cơ bản	Nâng cao	Nâng cao	Nâng cao	SQL
Dễ sử dụng	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐

So sánh hiệu suất (Xấp xỉ)

Cơ sở dữ liệu	QPS (1M vectors)	Độ trễ p99	Bộ nhớ/1M
Chroma	~100	~50ms	~2GB
Pinecone	~1000	~10ms	Quản lý
Weaviate	~500	~20ms	~4GB
Qdrant	~1500	~5ms	~1.5GB
pgvector	~200	~30ms	~3GB

So sánh chi phí (Xấp xỉ)

Cơ sở dữ liệu	Gói miễn phí	Production (1M vectors)
Chroma	Không giới hạn (cục bộ)	Chi phí tự host
Pinecone	100K vectors	~$70/tháng
Weaviate	1M vectors	~$50/tháng (cloud)
Qdrant	1M vectors	~$40/tháng (cloud)
pgvector	Không áp dụng	Chi phí hosting Postgres

Checkpoint

Bạn đã so sánh được các vector databases về features, performance và cost chưa?

Task 7

🔍 Khung ra quyết định

TB5 min

Sơ đồ luồng

Khung chọn Vector Database

🧪Prototyping / Học tập? → ChromaDB

☁️Cần managed cloud? → Pinecone hoặc Weaviate Cloud

🐘Đang dùng PostgreSQL? → pgvector

⚡Cần hiệu năng tối đa? → Qdrant

🖼️Dữ liệu đa phương thức? → Weaviate

🎯Mặc định → Qdrant hoặc Pinecone

Gợi ý theo trường hợp sử dụng

Trường hợp	Khuyến nghị	Lý do
Học RAG	Chroma	Không cần cấu hình, dễ dùng
RAG production	Pinecone	Quản lý, mở rộng tốt
Tự host production	Qdrant	Hiệu năng, tính năng
Tìm kiếm hình + văn bản	Weaviate	Đa phương thức
Đang dùng Postgres	pgvector	Không cần hạ tầng mới
Tiết kiệm chi phí	Qdrant/Chroma	Tự host

Checkpoint

Bạn đã biết cách chọn vector database phù hợp dựa trên quy mô và yêu cầu dự án chưa?

Task 8

💻 Thực hành: So sánh nhiều Database

TB5 min

Cài đặt

python.py

1# Install all clients
2# pip install chromadb pinecone-client weaviate-client qdrant-client
3
4from time import time
5import numpy as np
6
7# Generate test data
8num_vectors = 10000
9dim = 1536
10vectors = np.random.rand(num_vectors, dim).astype(np.float32)
11query = np.random.rand(dim).astype(np.float32)

Hàm Benchmark

python.py

1def benchmark_db(name, insert_fn, search_fn, n_searches=100):
2    # Measure insert time
3    start = time()
4    insert_fn()
5    insert_time = time() - start
6    
7    # Measure search time
8    start = time()
9    for _ in range(n_searches):
10        search_fn()
11    search_time = (time() - start) / n_searches
12    
13    print(f"{name}:")
14    print(f"  Insert {num_vectors} vectors: {insert_time:.2f}s")
15    print(f"  Average search latency: {search_time*1000:.2f}ms")

So sánh kết quả

python.py

1# Run benchmarks for each database
2# (Implement insert_fn and search_fn for each)
3
4# Expected output:
5# Chroma:
6#   Insert 10000 vectors: 5.23s
7#   Average search latency: 15.42ms
8# 
9# Qdrant:
10#   Insert 10000 vectors: 2.15s
11#   Average search latency: 3.21ms

Checkpoint

Bạn đã thử benchmark so sánh hiệu suất giữa các vector databases chưa?

Task 9

Flat	Chậm	Thấp	100%	Dataset nhỏ (dưới 10K)
IVF	Trung bình	Trung bình	~95%	Dataset vừa
HNSW	Nhanh	Cao	~99%	Hệ thống production
PQ	Nhanh	Rất thấp	~90%	Hạn chế bộ nhớ

🎯 Mục tiêu bài học

Sau bài này, bạn sẽ:

🔍 Hiểu về Vector Databases

Tổng quan kiến trúc

Kiến trúc Vector Database

Khái niệm chính

Checkpoint

🛠️ ChromaDB

Tổng quan

Bắt đầu nhanh

Sử dụng với Embeddings bên ngoài

Checkpoint

🛠️ Pinecone

Tổng quan

Bắt đầu nhanh

Tìm kiếm kết hợp (Hybrid Search)

Checkpoint

🛠️ Weaviate

Tổng quan

Bắt đầu nhanh

Tìm kiếm kết hợp trong Weaviate

Checkpoint

⚡ Qdrant

Tổng quan

Bắt đầu nhanh

Thao tác hàng loạt

Checkpoint

📊 pgvector (PostgreSQL)

Tổng quan

Bắt đầu nhanh

Tích hợp Python

Checkpoint

📊 Bảng so sánh

So sánh tính năng

So sánh hiệu suất (Xấp xỉ)

So sánh chi phí (Xấp xỉ)

Checkpoint

🔍 Khung ra quyết định

Sơ đồ luồng

Khung chọn Vector Database

Gợi ý theo trường hợp sử dụng

Checkpoint

💻 Thực hành: So sánh nhiều Database

Cài đặt

Hàm Benchmark

So sánh kết quả

Checkpoint

📝 Bài tập về nhà

Bài 1: So sánh cục bộ

Bài 2: Cài đặt Cloud

Bài 3: Ra quyết định

Checkpoint

🎯 Tổng kết

Câu hỏi tự kiểm tra

🚀 Bài tiếp theo