Yedek almak yetmez: geri yükleme tatbikatı yapın

Yıllardır tekrarlanan bir cümle var: yedeğiniz yoksa veriniz yok. Doğru, ama eksik. Kendi altyapımızda öğrendiğimiz daha acı bir gerçek şu: test edilmemiş bir yedek, yedek değildir. Yeşil görünen bir yedekleme işi size sahte bir güven verir ve o güvenin bedelini tam da ona en çok ihtiyaç duyduğunuz anda ödersiniz.

Yedekleme işlerimiz saatte bir koşuyor, kayıtlar iki ayrı uzak konumda tutuluyor, belli bir süre sonra eskiyenler temizleniyor. Panoda her şey yeşildi. Sonra bir gün bir kaydı geri yüklemeyi denedik ve arşivin yarısının orada olmadığını gördük. Yedekleme işi hata vermeden bitmişti, çünkü dosya teknik olarak geçerliydi, sadece eksikti. Sıkıştırılmış bir arşiv, ortasından kesilse bile baştan bir yere kadar açılabilir. Hızlı bir bütünlük kontrolü "bozuk" demez, çünkü okuyabildiği kadarını okur ve durur. Gerçek boyutu kontrol etmeden, geçerli görünen bir dosyaya güvenmiştik.

Buradan çıkardığımız ilk ders: yedeğin bittiğini görmek yetmez, yedeği geri yükleyip ölçmek gerekir. "Koştu" bilgisiyle "geri yüklenebilir" bilgisi aynı şey değil. Bir yedeğin tek anlamlı testi, boş bir yere geri yüklenmesi ve içindekilerin sayılmasıdır. Veritabanıysa satır sayısına bakarız, dosya kümesiyse dosya sayısına ve birkaç örneğin özetine bakarız. Beklediğimiz değerle eşleşmiyorsa, o yedek yoktur.

Burada önemli bir ayrıntı, "başarılı geri yükleme"nin ne demek olduğunu felaket anından önce tanımlamaktı. Elimizde beklenen satır sayısı, beklenen dosya sayısı ve içeriğine baktığımızda tanıyacağımız bir kanarya kaydı olması gerekiyordu. Bu ölçütler yazılı olmadan yapılan bir geri yükleme, "iyi görünüyor" demekten öteye geçmiyor. "İyi görünüyor" ise geçer ya da kalır kararı değildir. Tatbikatın net bir geçti veya kaldı sonucu üretmesi için ölçütü önceden koyduk.

İkinci ders, geri yüklemenin nereye yapıldığıyla ilgili. İlk denemelerimizde geri yüklemeyi canlının yanına, aynı makineye yapmaya çalıştık ve hemen çakışmalarla karşılaştık. Aynı isimde konteynerler, aynı portlar, aynı veri hacimleri. Geri yükleme, kurtarmaya çalıştığınız canlı servisi bozma riski taşıyorsa, o tatbikat başlı başına bir tehlikedir. Çözüm, geri yüklemeyi izole bir alana yapmaktı: ayrı isim uzayı, çakışmayan portlar, geçici hacimler. Test bitince o alan tamamen siliniyor. Böylece tatbikat canlıya asla dokunmuyor.

Üçüncü ders, bunu insana bırakmamak oldu. "Ayda bir geri yüklemeyi test edelim" iyi bir niyettir ve ilk sıkışık haftada unutulur. Biz doğrulamayı otomatikleştirdik. Düzenli aralıklarla bir iş, son yedeği alıyor, izole alana geri yüklüyor, sayıları ve özetleri kontrol ediyor, sonucu bir yere yazıyor. Bir şey tutmazsa haber geliyor. Böylece "yedeğimiz sağlam mı" sorusunun cevabı bir insanın hafızasına değil, çalışan bir kontrole bağlı.

Bir de sık rastladığımız yan tuzaklar var. Bir tanesi bayat kilit. Yedekleme araçları, aynı depoya iki işin aynı anda yazmasını önlemek için kilit koyar. Bir iş yarıda kesilirse kilit ortada kalabilir ve sonraki bütün işler "depo kilitli" diye sessizce başarısız olur. Panoda hata görünmeyebilir, çünkü iş hiç başlamamıştır. Bunun için kilitlerin yaşını izlemek ve belli bir süreden eski kilitleri temizlemek gerekiyor. İkincisi araç uyumsuzluğu. Kurtarma anında elimizde yalnızca küçük bir sistem varsa, oradaki sıkıştırma aracı yedeği üretenden farklı davranabilir. Bir gün, küçük bir kurtarma ortamındaki minimal bir gzip, tam sürümün açtığı bir arşivi açamadı. Kurtarma ortamını da yedekleme ortamı kadar ciddiye almak gerekiyor.

Son olarak konum çeşitliliği. Yedeği tek yerde tutmak, o yer de gittiğinde yedeğin de gitmesi demek. İki ayrı konum, tercihen iki ayrı sağlayıcı, çok daha sağlam. Ama burada da asıl mesaj değişmiyor: iki kopyanızın olması, ikisinin de geri yüklenebileceği anlamına gelmez. İki kopyayı da test edin.

Bir başka öğrendiğimiz şey, geri yüklemenin ne kadar sürdüğünü de ölçmek gerektiği. Verinin geri gelebilir olması yetmiyor, ne kadar sürede geri geldiği başlı başına bir sonuç. Saatlerce süren bir geri yükleme, teknik olarak başarılı olsa bile işin durduğu saatler demek. Provalar sırasında süreyi de tuttuk, böylece gerçek kurtarma süremizi bir tahminle değil, ölçülmüş bir sayıyla biliyoruz.

Son bir tuzak da şifreleme anahtarıyla ilgili. Yedeklerimiz şifreli, bu iyi. Ama şifre çözme anahtarı yalnızca yedeğin koruduğu makinede duruyorsa, o makine gittiğinde anahtar da gider ve elinizde açamadığınız bir arşiv kalır. Anahtarı, koruduğu şeyden bağımsız bir yerde tutmak gerekiyor. Bunu bir kez düşünmek, gerçek felakette "yedek var ama açamıyoruz" cümlesini kurmaktan çok daha iyi.

Bütün bunları tek bir cümlede toplarsak: yedekleme bir işlem değil, bir vaattir ve vaadi sınamadan güvenmeyin. Yedeğin yeşil olması, bir gün onu geri yükleyeceğiniz o kötü günde işe yarayacağını söylemez. İşe yarayıp yaramadığını öğrenmenin tek yolu, o kötü günü beklemeden düzenli olarak provasını yapmaktır. Prova ucuzdur, gerçek felaket pahalı. Biz provayı otomatikleştirdiğimizden beri panonun rengine değil, en son başarılı geri yüklemenin tarihine bakıyoruz. Asıl güven veren sayı budur.