pgvector Eğitimi: PostgreSQL’e Vektör Aramayı Entegre Edin

Generative AI ve Büyük Dil Modeli ekosistemindeki ilerlemeler sayesinde, vektör arama son yıllarda giderek daha popüler hale geldi. 

Vektör arama, belgelerin ve sorguların düz metin yerine vektörler olarak temsil edildiği bir bilgi getirme yöntemidir. Bu sayısal temsil; metin, görsel ve video gibi yapılandırılmamış verileri vektörlere dönüştürebilen, büyük ve eğitilmiş bir sinir ağı kullanılarak elde edilir.

Geleneksel ilişkisel veritabanları, büyük hacimli vektör verilerini işlemek üzere optimize edilmemiştir. Bu nedenle, son birkaç yılda çok sayıda açık kaynaklı ve tescilli, yalnızca vektör veritabanları ortaya çıktı. Ancak, pek çok şirket için vektörler için ana veritabanından ayrı, özel bir veritabanı tutmak ideal olmayabilir.

İşte pgvector devreye giriyor: PostgreSQL için, en popüler ilişkisel veritabanlarından birine vektör benzerliği arama yetenekleri kazandıran güçlü bir eklenti. 

Bu eğitimde, pgvector’ün özelliklerini inceleyecek ve işinizde size nasıl yardımcı olabileceğini göstereceğiz.

pgvector Nedir?

pgvector, PostgreSQL için vektör işlemleri ve benzerlik aramalarına destek ekleyen açık kaynaklı bir eklentidir. Vektör verilerini doğrudan PostgreSQL veritabanınızda saklamanıza, indekslemenize ve sorgulamanıza olanak tanır. 

Bu entegrasyon, mevcut PostgreSQL altyapınıza vektör işlemlerinin gücünü getirir; gömlemeler, öneri sistemleri ve benzerlik aramaları içeren uygulamalar için mükemmel bir seçimdir.

pgvector’ün özellikleri şunları içerir:

• Yoğun vektör verilerinin verimli şekilde saklanması
• Çeşitli uzaklık ölçütleriyle hızlı benzerlik araması
• PostgreSQL’in mevcut sorgu planlayıcısı ve indeksleme mekanizmalarıyla entegrasyon
• Hem kesin hem de yaklaşık en yakın komşu aramalarına destek

pgvector ve Vektör Veritabanlarının Önemi

Vektör veritabanları, çok boyutlu vektör verilerini saklamak ve sorgulamak için tasarlanmış özel veritabanlarıdır. Bu yetenek; öneri sistemleri, görüntü getirme ve doğal dil işleme gibi modern makine öğrenimi uygulamalarında kritik öneme sahiptir.

Vektörler yeni bir veritabanı türüne ihtiyaç duyar—görsel kaynağı.

Geleneksel ilişkisel veritabanları, yüksek boyutlu veriler ve benzerlik aramalarını verimli şekilde yürütme konusunda zorlanır. Buna karşın vektör veritabanları, bu görevler için özel olarak optimize edilmiştir ve vektör yakınlığı veya benzerliği temelinde verilerin hızlı ve isabetli şekilde getirilmesini sağlar. 

Bu yaklaşım, anlamsal veya bağlamsal alaka düzeyine dayalı aramalar yapılmasına imkân tanır ve geleneksel veritabanlardaki tam eşleşme aramalarına kıyasla daha anlamlı sonuçlar sunar.

Örneğin, bir vektör veritabanı şunları yapabilir:

• Melodi ve ritme göre belirli bir ezgiyle uyumlu şarkıları aramak.
• Belirli bir makaleyle tema ve bakış açısı bakımından örtüşen yazıları keşfetmek.
• Belirli bir cihazın özelliklerini ve yorumlarını yansıtan aygıtları belirlemek.

Peki metin veya görsel gibi yapılandırılmamış veriler sayılara nasıl dönüşt��rülür? Cevap: gömlemeler.

Gömleme, yapılandırılmamış verileri, verinin içkin anlamsal özelliklerini ve ilişkilerini yakalayan, sabit boyutlu sayısal vektörlere dönüştürme sürecidir. Bu, veriyi sürekli bir vektör uzayında temsil etmeyi öğrenen büyük sinir ağları aracılığıyla gerçekleştirilir; benzer ögeler bu uzayda birbirine daha yakın konumlanır.

Bir vektör veritabanı nasıl çalışır? Görsel kaynağı.

pgvector Nasıl Kullanılır: Adım Adım

Bu bölümde, pgvector’ün kurulumu, temel özelliklerinin kullanımı ve OpenAI ile entegre ederek basit bir uygulama geliştirmeyi adım adım ele alacağız.

Kurulum, temel işlemler, indeksleme ve Python ile LangChain entegrasyonunu kapsayacağız.

1. Önkoşullar

Bu eğitimi takip etmek için SQL ve PostgreSQL hakkında temel bilgiye ve Python programlamaya aşinalığa sahip olmalısınız.

Başlamadan önce, aşağıdakilere sahip olduğunuzdan emin olun:

• Sisteminizde yüklü PostgreSQL 11 veya daha yeni bir sürüm
• Python 3.7 veya daha yeni (entegrasyon bölümü için)
• Bir OpenAI API anahtarı (anlamsal arama uygulaması için)

2. pgvector nasıl kurulur

1. Öncelikle, PostgreSQL geliştirme dosyalarının kurulu olduğundan emin olun. Ubuntu veya Debian’da şu komutla kurabilirsiniz:

sudo apt-get install postgresql-server-dev-all

Windows kullanıcısıysanız, PostgreSQL yükleyicisini resmî web sitesinden indirebilirsiniz.

2. pgvector GitHub deposunu klonlayın:

git clone https://github.com/pgvector/pgvector.git

3. pgvector eklentisini derleyip kurun:

cd pgvector
make
sudo make install

Windows kullanıcısıysanız, Visual Studio Code’da C++ desteğinin kurulu olduğundan emin olun. Resmî kurulum dokümantasyonu adım adım bir süreç sunar.

4. PostgreSQL veritabanınıza bağlanın:

PostgreSQL veritabanına bağlanmak ve etkileşim kurmak için birkaç seçeneğiniz var: pgAdmin en yaygın arayüzlerden biridir. Alternatif olarak pSQL’i (PostgreSQL komut satırı arayüzü) veya bir VS Code PostgreSQL uzantısını kullanabilirsiniz.

5. PostgreSQL veritabanınıza bağlandıktan sonra eklentiyi oluşturun:

CREATE EXTENSION vector;

pgAdmin Arayüzü

3. pgvector’ün temel kullanımı

Artık pgvector’ü kurduğumuza göre, temel kullanımını inceleyelim.

1. pgvector eklentisini kullanarak PostgreSQL’de ilk vektör veritabanımızı kurmak için, vektör verilerimizi saklayacağımız bir tablo oluşturalım:

CREATE TABLE items (
  id SERIAL PRIMARY KEY,
  embedding vector(3)
);

Bu, id sütunu ve vector(3) türünde bir embedding sütunu içeren, items adlı bir tablo oluşturur; bu sütunda 3 boyutlu vektörler saklanacaktır.

2. Şimdi tablomuzda biraz veri ekleyelim:

INSERT INTO items (embedding) VALUES ('[1,2,3]'), ('[4,5,6]'), ('[1,1,1]');

3. Artık vektör işlemleri yapabiliriz. Örneğin, [2,3,4] vektörüne en yakın komşuyu bulmak için:

SELECT * FROM items ORDER BY embedding <-> '[2,3,4]' LIMIT 1;

Bu sorgu, vektörler arasındaki Öklid uzaklığını hesaplayan <-> operatörünü kullanır.

4. kosinüs uzaklığı gibi diğer uzaklık ölçütlerini de kullanabiliriz:

SELECT * FROM items ORDER BY embedding <=> '[2,3,4]' LIMIT 1;

<=> operatörü, vektörler arasındaki kosinüs uzaklığını hesaplar.

4. pgvector ile vektör verilerini indeksleme

pgvector dâhil vektör veritabanlarında indeksleme, özellikle veri kümeniz büyüdükçe arama performansını artırmak için gereklidir.

İndekslemenin önemi büyüktür; zira çeşitli faydalar sağlar:

• Birincisi, hızı belirgin şekilde artırır. İndeks olmadan, her benzerlik araması tüm tabloyu taramayı ve sorgu vektörünü veritabanındaki her vektörle karşılaştırmayı gerektirir. Veri büyüdükçe bu süreç giderek daha fazla zaman alır. İndeksler, çok daha hızlı aramalara imkân veren bir yapı oluşturur. 
• İkincisi, indeksleme ölçeklenebilirliği artırır; veritabanınızın daha büyük veri kümelerini verimli şekilde yönetmesini sağlar. Daha fazla vektör eklemeye devam ettikçe, doğru biçimde indekslenmiş aramalar performansını korur. 
• Üçüncüsü, aramalar sırasında CPU ve I/O yükünü azaltarak kaynak verimliliğine katkıda bulunur. Bu, özellikle yoğun sistemlerde veya kısıtlı kaynaklarla çalışan ortamlarda önemlidir ve zorlu koşullarda dahi sorunsuz çalışmayı sağlar.

pgvector için iki tür indeks mevcuttur: ivfflat ve hnsw. Her biri farklı amaçlara hizmet eder:

• IVFFlat (Inverted File Flat) indeksi:
• Kesin en yakın komşu aramaları için uygundur
• Vektör uzayını kümelere böler; önce ilgili kümeleri belirleyerek aramaları hızlandırır
• Arama hızı ve isabet arasında iyi bir denge sunar

• HNSW (Hierarchical Navigable Small World) indeksi:
• Yaklaşık en yakın komşu aramaları için tasarlanmıştır
• Vektörler arasında hızlı gezinmeyi sağlayan bir grafik yapısı oluşturur
• Son derece hızlıdır; ancak bazen mutlak en yakın komşuyu atlayabilir

Hangi indeks ne zaman kullanılmalı:

• Kesin sonuçlara ihtiyaç duyuyor ve biraz daha yavaş aramaları tolere edebiliyorsanız IVFFlat kullanın
• Hızlı aramalara ihtiyaç duyuyor ve küçük hataları kabul edebiliyorsanız HNSW kullanın

1. Bir ivfflat indeksi oluşturalım:

CREATE INDEX ON items USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100);

Bu, kesin en yakın komşu aramaları için uygun olan IVFFlat algoritmasını kullanarak bir indeks oluşturur.

2. Yaklaşık en yakın komşu aramaları için hnsw indeksini kullanabiliriz:

CREATE INDEX ON items USING hnsw (embedding vector_l2_ops) WITH (m = 16, ef_construction = 64);

Bir indeks oluşturduktan sonra, uygun olduğunda sorgularımız otomatik olarak bu indeksi kullanacaktır.

5. pgvector’ün diğer araçlarla entegrasyonu

Pgvector, vektör veritabanımızla etkileşimi kolaylaştıran birkaç çerçeve ile entegrasyonu destekler. İki faydalı aracı inceleyelim: Python ve LangChain.

pgvector’ü Python ile kullanma

pgvector, psycopg2 kütüphanesiyle Python’a kolayca entegre edilebilir. Bir Python ortamı kuralım ve bazı temel işlemler yapalım.

1. Önce gerekli kütüphaneleri kurun:

!pip install psycopg2-binary numpy

2. Şimdi, vektör veritabanımızla etkileşime geçecek bir Python betiği oluşturalım:

import psycopg2
import numpy as np

# Connect to the database
conn = psycopg2.connect("dbname=your_database user=your_username")
cur = conn.cursor()

# Insert a vector
embedding = np.array([1.5, 2.5, 3.5])
cur.execute("INSERT INTO items (embedding) VALUES (%s)", (embedding.tolist(),))

# Perform a similarity search
query_vector = np.array([2, 3, 4])
cur.execute("SELECT * FROM items ORDER BY embedding <-> %s LIMIT 1", (query_vector.tolist(),))
result = cur.fetchone()
print(f"Nearest neighbor: {result}")

conn.commit()
cur.close()
conn.close()

Bu betik, bir vektörün nasıl ekleneceğini ve Python kullanarak nasıl benzerlik araması yapılacağını gösterir.

pgvector’ü LangChain ile kullanma

pgvector ayrıca, büyük dil modelleriyle uygulama geliştirmek için popüler bir çerçeve olan LangChain ile de entegre edilebilir. 

İşte pgvector’ü LangChain’de bir vektör mağazası olarak kullanmanın basit bir örneği:

from langchain_postgres.vectorstores import PGVector
from langchain.embeddings.openai import OpenAIEmbeddings

# Set up the connection string and embedding function
connection_string = "postgresql://user:pass@localhost:5432/db_name"
embedding_function = OpenAIEmbeddings()

# Create a PGVector instance
vector_store = PGVector.from_documents(
    documents,
    embedding_function,
    connection_string=connection_string
)

# Perform a similarity search
query = "Your query here"
results = vector_store.similarity_search(query)

Bu örnekte, OpenAI gömlemelerini kurduğunuz ve gömlemlenecek bir belge listeniz olduğu varsayılır.

6. pgvector ve OpenAI ile örnek bir uygulama geliştirme

Şimdi, pgvector ve OpenAI gömlemelerini kullanarak basit bir anlamsal arama motoru geliştirelim!

Bu uygulama, kullanıcıların metin belgelerinden oluşan bir koleksiyonda doğal dil sorgularıyla arama yapmasına olanak tanır.

import openai
import psycopg2
import numpy as np

# Set up OpenAI API (replace with your actual API key)
openai.api_key = "your_openai_api_key"

# Connect to the database
conn = psycopg2.connect("dbname=your_database user=your_username")
cur = conn.cursor()

# Create a table for our documents
cur.execute("""
    CREATE TABLE IF NOT EXISTS documents (
        id SERIAL PRIMARY KEY,
        content TEXT,
        embedding vector(1536)
    )
""")

# Function to get embeddings from OpenAI
def get_embedding(text):
    response = openai.embeddings.create(input=text, model="text-embedding-ada-002")
    return response['data'][0]['embedding']

# Function to add a document
def add_document(content):
    embedding = get_embedding(content)
    cur.execute("INSERT INTO documents (content, embedding) VALUES (%s, %s)", (content, embedding))
    conn.commit()

# Function to search for similar documents
def search_documents(query, limit=5):
    query_embedding = get_embedding(query)
    cur.execute("""
        SELECT content, embedding <-> %s AS distance
        FROM documents
        ORDER BY distance
        LIMIT %s
    """, (query_embedding, limit))
    return cur.fetchall()

# Add some sample documents
sample_docs = [
    "The quick brown fox jumps over the lazy dog.",
    "Python is a high-level programming language.",
    "Vector databases are essential for modern AI applications.",
    "PostgreSQL is a powerful open-source relational database.",
]
for doc in sample_docs:
    add_document(doc)

# Perform a search
search_query = "Tell me about programming languages"
results = search_documents(search_query)
print(f"Search results for: '{search_query}'")
for i, (content, distance) in enumerate(results, 1):
    print(f"{i}. {content} (Distance: {distance:.4f})")

# Clean up
cur.close()
conn.close()

Bu basit uygulama, pgvector kullanarak bir anlamsal arama motorunun nasıl oluşturulacağını gösterir.

Belgeleri OpenAI’nin metin gömleme modeliyle gömler ve pgvector’lü PostgreSQL veritabanında saklar. Arama işlevi, verilen bir sorguya en benzer belgeleri kosinüs benzerliğiyle bulur.

Yüksek Trafik için pgvector’ü Optimize Etme

Uygulamanız ölçeklendikçe pgvector’ü optimize etmek isteyeceksiniz. İşte üst düzeyde bazı öneriler:

Bağlantı havuzu

Yükü azaltmak için bağlantı havuzu uygulayın. PgBouncer veya PgPool-II kullanın. Bu araçlar, yeniden kullanılabilir veritabanı bağlantılarını sürdürdükleri için faydalıdır. 

Sorgu performansı ayarı

Çalışma zamanında indeks parametrelerini ayarlayın. İhtiyaçlarınıza göre hız ve doğruluk arasında denge kurabilirsiniz.

• IVFFlat indeksleri için probes parametresini ayarlayın. Hız için 1-5 kullanın. Dengeli performans için 10-20 kullanın.

• HNSW indeksleri için ef_search değerini ayarlayın. Hız için 20-40 kullanın. Doğruluk için 100-200 kullanın.

Ayrıca, indeks kullanımını doğrulamak için EXPLAIN ANALYZE kullanabilirsiniz. Sorgularda her zaman LIMIT ifadeleri ekleyin.

Önbellekleme

Redis veya Memcached ile önbellekleme uygulayın. Sık sorgulanan vektörleri önbelleğe alın. Sorgu vektörünü önbellek anahtarı olarak kullanın. Uygun sona erme süreleri belirleyin. 

Okuma replikaları

Okuma ağırlıklı iş yükleri için PostgreSQL okuma replikaları kurun. Yazmaları birincil veritabanına yönlendirin. Vektör aramalarını replikalara yönlendirin. Otomatik dağıtım için yük dengeleyicileri kullanın. 

PostgreSQL yapılandırması

Vektör iş yükleri için kilit parametreleri ayarlayın:

• shared_buffers: Toplam RAM’in %25’i olarak ayarlayın

• work_mem: Vektör işlemleri için 64-128MB olarak ayarlayın

• random_page_cost: SSD depolama için düşürün

• effective_cache_size: Toplam RAM’in %50-75’i olarak ayarlayın

İndeks bakımı

Düşük trafik dönemlerinde indeksleri periyodik olarak yeniden oluşturun. VACUUM ve ANALYZE çalıştırın. Otomatik bakım için autovacuum’u etkinleştirin. 

İzleme

Sorgu gecikmesini ve saniyedeki sorgu sayısını takip edin. Bağlantı havuzu kullanımını izleyin. Önbellek isabet oranlarını kontrol edin. Kaynak kullanımını gözlemleyin. Performans sorunları için uyarılar kurun. Yavaş sorguları belirlemek için pg_stat_statements’ı etkinleştirin.

pgvector ve Alternatifleri

Şimdi pgvector’ü diğer popüler vektör veritabanlarıyla karşılaştıralım. Bu karşılaştırma, pgvector ile pazardaki diğer çözümler arasındaki özellik, dağıtım seçenekleri, ölçeklenebilirlik, entegrasyon ve maliyet farklarını anlamanıza yardımcı olacaktır.

pgvector vs. Pinecone

Pinecone, yüksek ölçeklenebilirlik ve kullanım kolaylığı için tasarlanmış, tamamen yönetilen bir vektör veritabanıdır.

pgvector, ek maliyet olmadan mevcut PostgreSQL altyapılarından yararlanmak isteyenler için mükemmel bir seçimdir. Öte yandan, Pinecone kullanım kolaylığı için kullandıkça öde fiyatlandırmasıyla yüksek ölçekte, yönetilen bir çözüm sunar.

pgvector vs. Milvus

Milvus, gelişmiş özellikler ve yüksek ölçeklenebilirlik sunan, özel bir vektör veritabanıdır.

pgvector, alışıldık PostgreSQL ortamında temel vektör işlemleri sunarken; Milvus, büyük ölçekli vektör verilerini ele almak için daha zengin özelliklere ve ölçeklenebilirliğe sahip bir çözüm sağlar.

pgvector vs. Weaviate

Weaviate, entegre nesne depolama ile gelen ve esnek veri modelleme ile ölçeklenebilirlik sunan bir vektör veritabanıdır.

pgvector’ün sadeliği ve PostgreSQL ile entegrasyonu, temel vektör işlevlerine ihtiyaç duyan mevcut kullanıcılar için iyi bir tercihtir. Buna karşılık, Weaviate’in daha gelişmiş veri modeli ve ölçeklenebilirliği, vektörlerle birlikte nesne depolamayı da gerektiren karmaşık uygulamalar için uygundur.

Sonuç

pgvector, PostgreSQL’e güçlü vektör benzerliği arama yetenekleri kazandırır ve mevcut PostgreSQL tabanlı uygulamalarına yapay zekâ özellikleri eklemek isteyen geliştiriciler için mükemmel bir tercihtir. 

Bu eğitimde, kurulumunu, temel kullanımını, indeksleme yeteneklerini ve Python ile LangChain entegrasyonunu inceledik.

pgvector, Pinecone veya Milvus gibi özel vektör veritabanlarının sunduğu ölçeklenebilirlik ve uzmanlaşmış özelliklerle aynı düzeyde olmasa da, PostgreSQL ile kesintisiz entegrasyonu onu birçok kullanım senaryosu için cazip kılar. 

Özellikle PostgreSQL kullanan ve yeni bir veritabanı sistemi devreye almadan vektör arama yetenekleri eklemek isteyen projeler için son derece uygundur.

pgvector’ü kendi projelerinizde denemenizi öneririz. İster bir öneri sistemi, ister bir anlamsal arama motoru veya benzerlik aramalarına ihtiyaç duyan başka bir uygulama geliştiriyor olun; pgvector, veri bilimi araç setinizde değerli bir araç olabilir.

Daha fazla öğrenmek için şu kurslarımıza göz atın:

• PostgreSQL Veritabanları Oluşturma
• LangChain ile LLM Uygulamaları Geliştirme
• OpenAI API ile Gömlemelere Giriş