Unicode Normalizasyonu: Aynı Görünen Farklı Dizeler, NFC ile NFKC Arasında Seçim ve Normalize Etmenin Doğru Yeri
Aynı görünen iki dosya adı benzersiz kısıtı deliyor, arama yarım çalışıyor. NFC, NFD ve NFKC farkı, sınırda normalize etmek, veritabanında kısıtla zorlamak ve imzalı veriye dokunmamak.
Kullanıcı "Başvuru.pdf" adında bir dosya yükler. Aynı adla ikinci bir dosya daha yükler ve sistem bunu yeni dosya sanar. Arama kutusuna "başvuru" yazan biri iki dosyadan yalnızca birini bulur. Benzersiz kısıt delinmiş, arama yarım çalışıyor, ama ekrandaki iki ad piksel piksel aynı. Sebep çoğu zaman Unicode'un aynı karakteri birden fazla bayt dizisiyle yazmaya izin vermesidir. Bu yazı o farkın nereden geldiğini, hangi biçimin ne işe yaradığını ve normalizasyonu sistemin neresinde yapmanız gerektiğini anlatıyor.
Aynı görünen iki farklı dize
"ş" harfi Unicode'da tek kod noktası olarak yazılabilir (U+015F). Aynı harf "s" (U+0073) ve ardından birleşen çengel işareti (U+0327) olarak da yazılabilir. Birincisi önceden birleştirilmiş, ikincisi ayrıştırılmış biçimdir. Ekranda ikisi aynı çizilir, ama bayt karşılaştırmasında farklıdır, uzunlukları farklıdır, özetleri farklıdır.
Ayrıştırılmış metin sanıldığından sık gelir. Bazı işletim sistemlerinin dosya sistemleri adları tarihsel olarak ayrıştırılmış biçimde tutar; o sistemlerden sıkıştırılmış arşivle, eşitleme aracıyla ya da sürükle bırakla gelen dosya adları bu biçimi taşır. Bazı klavye düzenleri ve giriş yöntemleri, PDF'ten kopyalanan metin ve eski veri aktarımları da aynı sonucu üretir. Linux dosya sistemleri ise adı bayt dizisi olarak saklar ve hiçbir şeyi dönüştürmez; yani iki biçim aynı dizinde yan yana yaşayabilir.
Dört biçim ve hangisi ne işe yarar
Unicode standardı (UAX #15) dört normalizasyon biçimi tanımlar.
NFC karakterleri mümkün olduğunca önceden birleştirilmiş hâle getirir. Web'de ve çoğu veritabanında beklenen biçim budur, metni değiştirmeden yalnızca gösterimini tekleştirir. Saklama için varsayılan seçiminiz bu olmalı.
NFD her şeyi taban harf ve birleşen işaretlere ayırır. Saklama biçimi olarak pek seçilmez, ama aksan işaretlerini atarak arama anahtarı üretmek istediğinizde ara adım olarak işe yarar: ayrıştırır, birleşen işaretleri silersiniz.
NFKC ve NFKD buna "uyumluluk" eşdeğerliğini ekler. "fi" bağlı harfi "fi" olur, tam genişlikli "A" düz "A" olur, üst simge "²" düz "2" olur. Bu dönüşüm bilgi kaybettirir; "x²" ile "x2" aynı şeye dönüşür. Bu yüzden NFKC'yi kullanıcının yazdığı metni saklamak için değil, karşılaştırma ve tanımlayıcı üretmek için kullanın.
Kısacası: içeriği NFC olarak saklayın, kullanıcı adı ve arama anahtarı gibi eşleşme amaçlı değerleri NFKC ve büyük küçük harf katlamasıyla üretin.
Nerede normalize etmeli
En sık yapılan hata normalizasyonu okuma tarafına, yani karşılaştırmanın yapıldığı her yere dağıtmaktır. Bir yerde unutulur ve tutarsızlık geri gelir. Doğrusu sınırda normalize etmektir: metin sisteme girdiği anda (API isteği, form, dosya yükleme, içe aktarma) NFC'ye çevrilir ve içeride yalnızca normalize edilmiş metin dolaşır.
Dillerin hepsinde bunun için standart bir çağrı vardır:
import unicodedata
def clean(s: str) -> str:
return unicodedata.normalize("NFC", s)
unicodedata.is_normalized("NFC", s)
const clean = (s) => s.normalize("NFC");
Java'da java.text.Normalizer.normalize(s, Normalizer.Form.NFC), Go'da golang.org/x/text/unicode/norm paketindeki norm.NFC.String(s) aynı işi görür.
Sınırda normalize etmek yetmez, veritabanında da garanti isteyin. PostgreSQL 13 ve sonrası, UTF-8 kodlamalı veritabanlarında normalize() işlevini ve IS NFC NORMALIZED sınamasını sunar. Bunu bir kısıta bağlamak, uygulamadaki bir unutkanlığın veriyi sessizce kirletmesini engeller:
ALTER TABLE files
ADD CONSTRAINT files_name_nfc CHECK (name IS NFC NORMALIZED);
UPDATE files SET name = normalize(name, NFC)
WHERE name IS NOT NFC NORMALIZED;
Kısıtı eklemeden önce eski veriyi düzeltin, aksi hâlde kısıt eklenmez. Düzeltme sırasında iki satır aynı NFC değerine düşüp benzersiz indeksi ihlal edebilir; bu çakışmaları önce bir sorguyla bulup elle karar vermeniz gerekir. Aslında bu çakışmalar, normalizasyonun yakalamak istediği ikizlerin ta kendisidir.
Kimlik ve tanımlayıcılar için ayrı kural
Kullanıcı adı, organizasyon kısaltması ya da alan adı gibi değerler başka bir sınıftır: burada amaç metni korumak değil, iki farklı kişinin aynı görünen adı alamamasıdır. Bunun için NFKC uygulayıp ardından büyük küçük harf katlaması yapın. Python'da lower() yerine casefold() bu iş için tasarlanmıştır; Almanca "ß" gibi harfleri de doğru katlar. Türkçe noktalı ve noktasız i, yerel ayara bağlı ayrı bir sorundur ve katlamanın üstüne kendi kuralınızı gerektirir.
Bu alanda tekerleği yeniden icat etmeyin. IETF'in PRECIS çerçevesi (RFC 8264) ve kullanıcı adı ile parola profilleri (RFC 8265), hangi karakterlerin izinli olduğunu ve hangi dönüşümlerin hangi sırayla yapılacağını tanımlar.
Normalizasyon görsel benzerliği çözmez. Kiril "а" ile Latin "a" farklı harflerdir ve hiçbir normalizasyon biçimi bunları birleştirmez. Kimlik taklidine karşı Unicode'un güvenlik mekanizmaları (UTS #39) "karıştırılabilir karakter" tablosu ve karışık alfabe denetimi sunar. Kullanıcı adında tek bir alfabeye izin vermek çoğu ürün için yeterli ve basit bir kuraldır.
Parolalarda da normalizasyon gerekir: aynı parolayı iki farklı cihazdan yazan kullanıcı iki farklı bayt dizisi gönderebilir ve giriş yapamaz. NIST'in dijital kimlik rehberi, Unicode parolaları özetlemeden önce NFKC ya da NFKD uygulamayı önerir. Seçtiğiniz biçimi bir kez belirleyin ve değiştirmeyin; değiştirirseniz mevcut özetler eşleşmez.
Tuzaklar
NFC dizeleri birleştirmek NFC üretmez. NFC olan "e" ile tek başına gelen birleşen akut işaretini yan yana koyarsanız sonuç artık NFC değildir. Parçaları ayrı ayrı normalize edip birleştiren kod, birleşik sonucu tekrar normalize etmelidir.
Uzunluk sınırları biçime bağlıdır. Ayrıştırılmış metin daha fazla kod noktası ve bayt tutar. Sınırı kod noktası sayısıyla koyarsanız aynı ad bir biçimde geçer, öbüründe reddedilir. Çoğu Linux dosya sistemi dosya adını bayt cinsinden sınırlar; ekranda kısa görünen bir ad sınırı aşabilir. Kullanıcıya gösterilen "karakter" sayısı ise ne kod noktası ne bayttır, grafem kümesidir. Sınırı normalizasyondan sonra ölçün ve neyi saydığınızı belgeleyin.
İmzalı veriyi normalize etmeyin. HMAC ile imzalanmış bir webhook gövdesini, özeti alınmış bir yükü ya da bir jetonu normalize ederseniz doğrulama bozulur. Normalizasyon metin içindir; bayt olarak taşınan ve bayt olarak doğrulanan değerler olduğu gibi kalmalıdır. Ara katmandaki "her isteği temizle" süzgeci bu yüzden tehlikelidir.
Dosya sistemine yazılan ad geri okunan ad olmayabilir. Bazı dosya sistemleri adı yazarken dönüştürür ya da aramayı normalizasyondan bağımsız yapar. Veritabanında NFC ad tutup diskte farklı biçimle karşılaşan bir eşitleme aracı, "silinmiş dosya ve yeni dosya" görüp gereksiz kopya ya da silme üretebilir. Eşitleme yapan sistemlerde karşılaştırmayı her zaman iki tarafı da normalize ederek yapın. Git'in bu sorun için ayrı bir ayarı (core.precomposeUnicode) olması, sorunun ne kadar yaygın olduğunu gösterir.
Arama dizini ile sorgu aynı işlemden geçmeli. Dizini NFC ile kurup sorguyu ham bırakırsanız ayrıştırılmış metin yapıştıran kullanıcı sonuç bulamaz. Aksansız arama istiyorsanız (kullanıcı "basvuru" yazsın, "başvuru" bulunsun) bunu NFD ve işaret silme ile ayrı bir arama sütununda yapın, asıl veriye dokunmayın.
Belirleyici olmayan sıralama kuralları bir kaçış yolu ama bedeli var. PostgreSQL ICU sıralama kurallarıyla eşitliği normalizasyondan bağımsız hâle getirebilirsiniz. Bu, kalıp eşleme ve bazı operatörlerde kısıtlar ve performans maliyeti getirir; sürümünüzün belgesine bakmadan bu yolu seçmeyin. Çoğu durumda yazarken normalize etmek daha basit ve hızlıdır.
Ne zaman normalize etmemeli
Kullanıcının verdiği baytları birebir geri vermeniz gereken sistemlerde (yedekleme, nesne deposu, birebir dosya eşitleme) asıl adı değiştirmek veri kaybıdır. Burada iki sütun tutun: kullanıcının gönderdiği özgün ad ve benzersizlik ile arama için kullanılan normalize edilmiş anahtar. Kısıtı anahtara koyun, kullanıcıya özgün adı gösterin.
Bir de kaynak kod, yapılandırma dosyası ya da hukuki metin gibi içeriği değiştirmenin anlam taşıyabildiği yerlerde NFKC'den uzak durun; NFC bile burada ancak bilinçli bir kararla uygulanmalıdır.
Pratik kural şu: içerik NFC olarak saklanır, eşleşme anahtarları NFKC ve harf katlamasıyla üretilir, imzalı baytlara dokunulmaz ve veritabanı bu sözleşmeyi bir kısıtla zorlar. Bu dört karar yerindeyse "aynı görünen ama farklı" hatalarının çoğu bir daha gelmez.