PostgreSQL'de Ana Sürüm Yükseltme: pg_upgrade, Döküp Geri Yükleme ve Mantıksal Replikasyon Arasında Seçim
Ana sürüm geçişi aslında bir veri taşıma işidir. Üç yöntemin kesinti ve geri dönüş açısından karşılaştırması, pg_upgrade'in bağlantı kipinin bedeli, yükseltme sonrası istatistik ve eklenti işleri, aktarılmayan diziler ve işletim sistemiyle değişen sıralama kurallarının sessizce bozduğu indeksler.
PostgreSQL'de küçük sürüm geçişi (17.4'ten 17.5'e) ikili dosyaları değiştirip servisi yeniden başlatmaktan ibarettir. Ana sürüm geçişi (16'dan 17'ye) öyle değildir: veri dizininin disk üzerindeki biçimi sürümler arasında uyumlu değildir, yeni sunucu eski dizini açmayı reddeder. Bu yüzden her ana sürüm yükseltmesi aslında bir veri taşıma işidir ve seçeceğiniz yöntem kesinti süresini, geri dönüş imkânını ve işin riskini doğrudan belirler.
Üç yol var: döküp geri yüklemek, pg_upgrade ile yerinde yükseltmek ve mantıksal replikasyonla yeni bir kümeye geçmek. Çoğu ekip için doğru varsayılan pg_upgrade'dir; diğer ikisi belirli koşullarda öne geçer.
Döküp geri yüklemek
Yeni sürümün pg_dump aracıyla eski sunucudan döküm alır, yeni kümeye pg_restore ile yüklersiniz. Dökümü her zaman yeni sürümün istemci araçlarıyla alın; eski pg_dump yeni sunucunun bildiği her şeyi doğru üretmeyebilir.
pg_dumpall --globals-only -h eski-sunucu > globals.sql
pg_dump -h eski-sunucu -Fd -j 4 -f uygulama.dump uygulama
psql -h yeni-sunucu -f globals.sql
createdb -h yeni-sunucu uygulama
pg_restore -h yeni-sunucu -d uygulama -j 4 uygulama.dump
--globals-only rolleri ve tablo alanlarını taşır; veritabanı dökümü bunları içermez ve unutulursa geri yükleme sahiplik hatalarıyla dolar. Bu yöntemin artısı, her şeyin sıfırdan kurulmasıdır: indeksler yeniden oluşur, şişkinlik gider, işletim sistemi değişikliğinden kaynaklı sıralama sorunları ortadan kalkar. Eksisi süredir: kesinti, dökümün ve geri yüklemenin toplamı kadar sürer ve büyük indeksler yeniden oluşturulurken saatler gider. Birkaç on gigabaytın altındaki veritabanlarında ve kesintiye tahammülü olan sistemlerde en az sürprizli yol budur.
pg_upgrade ile yerinde yükseltme
pg_upgrade veri dosyalarına dokunmaz; sistem kataloğunu yeni sürüme göre yeniden kurar ve kullanıcı verisini olduğu gibi devralır. İki sürümün ikili dosyaları aynı makinede kurulu olmalıdır.
pg_upgrade \
-b /eski/surum/bin -B /yeni/surum/bin \
-d /eski/veri -D /yeni/veri \
--link --check
--check hiçbir şey değiştirmeden uyumsuzlukları raporlar: yeni tarafta kurulu olmayan eklentiler, desteklenmeyen veri tipleri, uyumsuz ayarlar. Önce mutlaka bununla koşun, rapor temiz olunca aynı komutu --check olmadan çalıştırın.
Kopyalama kipi işin süresini belirler. Varsayılan kip dosyaları kopyalar; güvenlidir ama veri boyutuyla orantılı sürer ve iki kat disk ister. --link dosyaları sabit bağlantıyla devralır ve terabaytlık bir küme bile genellikle dakikalar içinde biter. Bedeli şudur: yeni küme bir kez başlatıldıktan sonra eski küme artık güvenle kullanılamaz, çünkü iki küme aynı dosyaları paylaşır. --clone, dosya sistemi destekliyorsa kopyalama hızını bağlantı kipine yaklaştırır ve eski kümeyi bozmaz.
Benim tavsiyem: --link kullanın, ama geri dönüş planınızı eski kümeye değil, yükseltmeden hemen önce alınmış ve geri yüklemesi denenmiş bir yedeğe dayandırın. Eski dizinin bir kopyası durduğu için güvende olduğunuzu düşünmek bu kipte yanlıştır.
Yükseltme bitince iki iş kalır. Birincisi planlayıcı istatistikleri: 18 öncesi sürümlerde pg_upgrade istatistikleri taşımaz ve yeni küme ilk dakikalarda kötü planlarla çalışır. 18 ve sonrası istatistiklerin çoğunu taşır ama CREATE STATISTICS ile tanımlanmış genişletilmiş istatistikler yine boş gelir. Her iki durumda da trafiği açmadan önce analiz çalıştırın:
vacuumdb --all --analyze-in-stages
--analyze-in-stages önce kaba, sonra ayrıntılı istatistik toplar; böylece trafiği erkenden açabilir, ince ayarın arka planda tamamlanmasını bekleyebilirsiniz. İkincisi eklentiler: eklentinin yeni sürümü kuruluysa bile veritabanındaki tanımı eski sürümde kalır, her biri için ALTER EXTENSION ad UPDATE; çalıştırmanız gerekir.
Mantıksal replikasyonla yeni kümeye geçiş
Kesinti bütçeniz dakikalarla sınırlıysa ve veri büyükse, yeni sürümde ayrı bir küme kurup eskisinden mantıksal replikasyonla beslersiniz. Kaynakta wal_level = logical olmalıdır ve bu ayar yeniden başlatma ister; bunu yükseltme gününden önce halledin.
-- eski kümede
CREATE PUBLICATION yukseltme FOR ALL TABLES;
-- yeni kümede, şema önceden yüklendikten sonra
CREATE SUBSCRIPTION yukseltme
CONNECTION 'host=eski-sunucu dbname=uygulama user=replikasyon'
PUBLICATION yukseltme;
Mantıksal replikasyon şemayı taşımaz. Şemayı önce pg_dump --schema-only ile yeni kümeye yükleyin, ardından abonelik ilk kopyayı yapar ve değişiklikleri akıtmaya başlar. Geçiş anında yazmayı durdurursunuz, gecikmenin sıfırlanmasını beklersiniz, dizileri eşitlersiniz ve bağlantıları yeni kümeye çevirirsiniz.
Bu yöntemin gerçek avantajı geri dönüş imkânıdır: geçişten sonra ters yönde bir abonelik kurarsanız eski küme güncel kalır ve sorun çıkınca oraya dönebilirsiniz. Dezavantajı da ciddidir: kurulum ve takip emeği diğer iki yöntemden çok fazladır ve aşağıdaki tuzakların hepsi bu yöntemde toplanır.
Tuzaklar
Birincil anahtarı olmayan tablolar. Mantıksal replikasyon UPDATE ve DELETE işlemlerini satırı tanımlayarak aktarır. Birincil anahtarı ya da REPLICA IDENTITY ayarı olmayan bir tabloda bu işlemler kaynakta hata verir; yani yükseltme hazırlığı canlı uygulamayı kırar. Önce bu tabloları bulun:
SELECT c.oid::regclass
FROM pg_class c
JOIN pg_namespace n ON n.oid = c.relnamespace
WHERE c.relkind = 'r'
AND n.nspname NOT IN ('pg_catalog', 'information_schema')
AND NOT EXISTS (
SELECT 1 FROM pg_index i
WHERE i.indrelid = c.oid AND i.indisprimary
);
Diziler aktarılmaz. Tablo verisi akar ama dizilerin değeri yeni kümede başlangıçta kalır. Geçişten sonraki ilk INSERT var olan bir kimlikle çakışır. Yazma durduktan sonra eski kümede değerleri okuyup yenisine uygulayın:
SELECT format('SELECT setval(%L, %s, true);',
format('%I.%I', schemaname, sequencename), last_value)
FROM pg_sequences
WHERE last_value IS NOT NULL;
Geçiş sırasında şema değişikliği. Mantıksal replikasyon DDL'i aktarmaz. Replikasyon sürerken eski kümeye bir göç uygulanırsa yeni taraf yeni sütunu tanımaz ve abonelik durur. Hazırlıktan geçişe kadar şema göçlerini dondurun.
Unutulan replikasyon slotu. Abonelik kaynakta bir slot açar. Deneme amaçlı kurup bırakılan bir abonelik, kaynakta WAL'in silinmesini engeller ve diski doldurur. Prova bittikten sonra aboneliği kaldırdığınızdan ve slotun da gittiğinden emin olun.
İşletim sistemiyle birlikte değişen sıralama kuralları. PostgreSQL metin sıralamasını çoğu kurulumda işletim sisteminin C kütüphanesinden alır. Ana sürüm yükseltmesini yeni bir işletim sistemi imajıyla birleştirirseniz ve veri dosyalarını fiziksel olarak taşırsanız (pg_upgrade ya da fiziksel replika), metin indeksleri eski sıralamayla kurulmuş olarak kalır. Sorgular hata vermez, sadece yanlış sonuç döner ve benzersiz kısıtlar ikiz satırlara izin verir. glibc 2.28 bu değişikliğin en bilinen örneğidir. Ya işletim sistemini ayrı bir adımda değiştirin, ya da yükseltmeden sonra etkilenen indeksleri REINDEX ile yeniden kurun. 15 ve sonrası veritabanı düzeyinde sürüm uyuşmazlığını uyarı olarak gösterir; uyarı geldiğinde indeksleri yeniden kurup ALTER DATABASE ad REFRESH COLLATION VERSION; çalıştırın. Döküp geri yükleme ve mantıksal replikasyon indeksleri yeniden oluşturduğu için bu sorundan etkilenmez.
Fiziksel replikalar. pg_upgrade yalnızca birincil kümeyi yükseltir. Akış replikaları yeni sürüme kendiliğinden geçmez. Belgelerde rsync ile replikayı birlikte yükseltme yöntemi anlatılır ama adımları hata kaldırmaz; çoğu durumda replikaları yükseltmeden sonra pg_basebackup ile yeniden kurmak daha güvenlidir. Bu sürede yedeklilik olmadığını kesinti planına yazın.
Provasız yükseltme. Bir yükseltmenin süresini tahmin edemezsiniz, ölçersiniz. Üretim verisinin bir kopyası üzerinde aynı komutlarla prova yapın, --check çıktısını, analiz süresini ve uygulamanın en ağır sorgularının yeni sürümdeki planlarını kontrol edin. Planlayıcı sürümler arasında değişir ve bir sorgunun planı daha iyi olacağı gibi daha kötü de olabilir.
Hangisini ne zaman seçmemeli
Mantıksal replikasyonu sırf "kesintisiz" diye seçmeyin. Bir saatlik bakım penceresi kabul edilebiliyorsa pg_upgrade --link aynı sonucu çok daha az hareketli parçayla verir; mantıksal replikasyonun karmaşıklığı ancak kesinti gerçekten dakikalarla sınırlıysa ya da geri dönüş yolu iş açısından zorunluysa karşılığını verir.
Döküp geri yüklemeyi büyük veritabanlarında seçmeyin; geri yükleme süresi veriyle doğrusal değil, indekslerle birlikte daha hızlı büyür. pg_upgrade'i ise işletim sistemi değişikliğiyle aynı gün, sıralama kontrolü yapmadan kullanmayın.
Hangi yolu seçerseniz seçin, kural aynıdır: yükseltmeyi önce bir kopyada çalıştırın, geri dönüşü bir yedekle kanıtlayın ve istatistikler toplanmadan trafiği açmayın.