Dilbilimde yaygın bir varsayım, bütün dillerin eşit derecede karmaşık olduğudur. Başka bir deyişle hiçbir dil, diğerine kıyasla “daha basit” olarak nitelendirilemez. Ancak bu karmaşıklık, dilin farklı bileşenlerinde farklı biçimlerde dağılım gösterebilir. Örneğin bir dilde biçimbilimsel sistem oldukça karmaşıkken bir başka dilde sözdizimsel yapının daha karmaşık olması mümkündür (Bane, 2008). Bu yazı, özellikle biçimbilimsel karmaşıklığın doğal dil işleme alanındaki yansımalarını ve bu durumun dil modellerinin performansını nasıl etkilediğini ele almaktadır.

Biçimbilimsel karmaşıklık konusuna birçok yaklaşım ve tanım vardır. Geleneksel yaklaşım karmaşıklık konusunda çekim sınıflarının sayısını bir metrik olarak alır. Bunun dışında bilgi kuramı alanından iki teori dilbilime uygulanmış ve biçimbilimsel karmaşıklığı ölçmek için kullanılmıştır. Bunlar,  “entropi temelli yaklaşım” (Shannon 1948) ve “Kolmogorov karmaşıklığı”dır (Kolmogorov, 1965). Bu yazıda ise geleneksel yaklaşıma bağlı kalacağız. Geleneksel yaklaşımda bazı tipolojistler bir sözcükte kaç tane biçimbirim olduğunu sayarken bazıları biçimbirimsel özellikleri sayar (Baerman, Brown, & Corbett, 2015). Burada ele alınan yaklaşımda bir sözcüğün içerdiği biçimbirim sayısı ile karmaşıklık ölçümüdür. Bu ölçüme göre biçimbilimsel olarak karmaşık dillere çok iyi bir örnek Türkçe gibi eklemeli dillerdir. Türkçede genellikle her biçimbirimin tek bir anlamı veya işlevi olduğundan dolayı sözcükler çok fazla biçimbirim alabilmekte ve sözcük uzunluğu uzayabilmektedir. Örnek (1) ve (2) incelendiğinde Türkçede kişi, zaman gibi işlevler için ayrı biçimbirimler varken İngilizcede bu işlevler tek biçimbirimde bulunabildiği görünüyor. Bu durum doğal dil işleme görevlerinde ve dil modellerinin biçimbilimsel olarak karmaşık olan dilleri algılamasında sorunlar çıkarabilir.

• Gid-ecek-ler-miş

go-FUT-3PL-PST.REP

• are

be-PRES.2PL

(Arnett & Bergen, 2025)

Gerz et al., 2018 biçimbilimsel olarak çeşitli olan 50 farklı dilde eğitilmiş çok dilli bir dil modelini incelemiştir ve sonuçlara göre model kaynaşan dillerde daha iyi performans gösterirken genellikle eklemeli dillerde daha düşük bir performans göstermiştir (Görsel 1). Bu sonucun nedenleri tokenizerların bu dillerde iyi çalışmaması, veri eksikliği ve var olan verinin kalitesizliği gibi sonuçlardan kaynaklanabilir.

Görsel 1

(Gerz et al., 2018), (Perplexity daha düşük ise daha iyi)

Bu performans sorunun nedeni “tokenizasyon” problemlerinden kaynaklanabilir. Tokenizerlar, biçimbilimsel olarak daha karmaşık olan eklemeli dillerde biçimbirimlerin ayrımlarını düzgün yapamıyor olabilirler. Örneğin Türkçede “arabalar” sözcüğü düzgün eğitilmiş bir tokenizer ile [‘araba’, ‘lar’] olarak biçimbirimlerine ayrılması gerekirken modellerin tokenizasyonu bunu [‘arab’, ‘alar’] olarak ayırıyor olabilir. Bunun sonucunda modelin dili düzgünce öğrenmesi ve dilin yapısını temsil etmesi zorlaşabilir.  Özellikle biçimbilimsel olarak karmaşık dillerde sözcükler genellikle daha uzun olduğundan bu daha da büyük bir sorun haline gelebilir. Fakat Arnett & Bergen, 2025 çalışması bu hipotezi çürütmektedir. Bu çalışma hipotezin tam aksine tokenizerların eklemeli dillerde daha başarılı olduğunu göstermiştir.

Dil modellerinin eklemeli dillerde daha düşük performans göstermesinin başka bir sebebi, bu diller için verilerin daha eksik olması veya veri kalitesinin daha düşük kalması olabilir. Gerçekten de bu diller de daha az doğal dil işleme çalışması ve daha az etiketli veri olduğundan dolayı “az kaynaklı dil” kategorisinde bulunmaktadır. Fakat yine Arnett & Bergen, 2025 araştırmasına göre dil modelleri veri setleri tamamen aynı boyutta olsa bile biçimbilimsel olarak karmaşık dillerde daha düşük bir performans sergiliyor. Bu da son ihtimal olarak veri kalitesinin düşük olduğunu gösteriyor. Veri setlerinin boyutları “byte”  olarak yakın veya aynı olsa bile biçimbilimsel olarak karmaşık dillerin veri kalitesi daha düşük oluyor. Bunun sebepleri bu dillerde daha uzun sözcüklerin olmasından, farklı yazı sistemleri yazıldığından daha fazla boyuta daha az gerçek verinin sığmasından veya bu dillerde araştırmaların az olmasından kaynaklanabilir. Arnett & Bergen, 2025 çalışması da bu hipotezi destekliyor.

Sonuç olarak, biçimbilimsel karmaşıklık uzun süre dil modellerinin performans düşüklüğü için temel sebep olarak görülmüştür. Ancak Arnett & Bergen (2025) gibi güncel çalışmalar; asıl etkenin dilin biçimbilim yapısını değil veri boyutu, encoding farkları ve veri kalitesindeki eşitsizlikler olduğunu göstermektedir. Bu bulgular, biçimbilimsel olarak karmaşık dillerin makineler ve dil modelleri için doğrudan “zor” olmadığına, fakat NLP sistemlerinin genellikle İngilizce merkezli tasarlanması nedeniyle bu dillerin dezavantajlı konumda bırakıldığına işaret etmektedir. Bu nedenle gelecekteki çalışmaların, yalnızca dil tipolojisi farklılıklarını değil, aynı zamanda veri kaynaklarının nasıl ölçeklendirildiğini ve temsil edildiğini dikkate alması kritik önem taşımaktadır.

Kaynakça

• Bane, M. (2008, April). Quantifying and measuring morphological complexity. In Proceedings of the 26th west coast conference on formal linguistics (pp. 69-76). Somerville, MA, USA: Cascadilla Proceedings Project.
• Shannon, Claude E. “A mathematical theory of communication.” The Bell system technical journal 27.3 (1948): 379-423.
• Kolmogorov, A. N. (1965). Three approaches to the quantitative definition of information’. Problems of information transmission, 1(1), 1-7.
• Baerman, M., Brown, D., & Corbett, G. G. (Eds.). (2015). Understanding and measuring morphological complexity. Oxford University Press (UK).
• Arnett, C., & Bergen, B. (2025). Why do language models perform worse for morphologically complex languages? Proceedings of the 31st International Conference on Computational Linguistics (pp. 6607–6623). Abu Dhabi, UAE: Association for Computational Linguistics.
• Gerz, D., Vulić, I., Ponti, E. M., Reichart, R., & Korhonen, A. (2018, October). On the relation between linguistic typology and (limitations of) multilingual language modeling. In 2018 Conference on Empirical Methods in Natural Language Processing (pp. 316-327). Association for Computational Linguistics.

Arda Tahtacı