Kazakh Dilinde Güvenilir Güven: Düşük Kaynaklı Metin Düzeltme Sürecinde Kalibrasyon ve Seçici Kararlar

Kısa Araştırma Makalesi

Front. Artif. Intell., 11 Kasım 2026

Bölüm: Hesaplamalı Dil Bilimi ve Doğal Dil İşleme

Cilt 9 – 2026 | https://doi.org/10.3389/frai.2026.1986970

• LB

  Laura Baitenova 1

• AB

  Akhmed Baikhojayev 2

• GM

  Gulnar Mukhamejanova 1,2

• GM

  Gauhar Munaitbas 3

• ST

  Saule Tussupova 1

• DN

  Daryn Nurtaza 1

• 1. Turan Üniversitesi, Bilgi Teknolojileri Bölümü, Almaty, Kazakistan

• 2. Narxoz Üniversitesi, Dijital Teknolojiler Fakültesi, Almaty, Kazakistan

• 3. Home Credit Bank A.Ş., Almaty, Kazakistan

Makale ölçümleri

Özet

Güvenilirlik genellikle bir POS etiketleyicinin ikincil çıktısı olarak ele alınır. Ancak konuşlandırılmış bir metin düzeltme sisteminde güvenilirlik, karar verme sürecinin bir parçasına dönüşür çünkü sabit eşikler bir tahminin otomatik olarak işleneceği mi yoksa inceleme için yönlendirileceği mi belirler. Bu sinyalin Kazakh dilindeki güvenilirliğini UD_Kazakh-KTB (1.078 cümle, 10.536 sözdizimsel kelime) üzerinde inceliyoruz. Üç dönüştürücü etiketleyici, KazBERT, KazRoBERTa ve XLM-R, doğru hattın iki aşamalı etiketleyicisi olan özellik tabanlı bir CRF ile aynı veri koşulları altında yeniden eğitilerek karşılaştırılıyor. Tüm modeller aynı ayrımı kullanır; sıcaklık geliştirme verisi üzerinde uyarlanır ve sinirsel sonuçlar üç tohum üzerinde raporlanır. XLM-R en güçlü modeldir (%92,83 doğruluk, ham ECE %5,45), onu KazBERT (%91,05, %6,43) ve KazRoBERTa (%90,90, %6,51) izler. CRF %83,31 doğruluğa ulaşır ve keskin biçimde aşırı güvenlidir (ortalama güvenilirlik 0,97, ham ECE %13,66). Sıcaklık ölçeklendirmesi, tahmin edilen etiketleri değiştirmedik dönüştürücü ECE’sini %57–67 oranında azaltır ve bir duyarlılık analizinde CRF ECE’sini %71 azaltır. 0,85 eşikinde ham CRF’nin seçici riski %13,91 iken, ham dönüştürücüler için bu oran %5,5–6,5’tir. Kalibrasyondan sonra dönüştürücü risk %3,9–5,1’e düşer, model başına 77–131 tahmin eşiğin altına iner; bu tahminlerin hata oranı %31–33 iken, üstünde kalanların hata oranı %4–5’tir. Skaler bir sıcaklık güvenilirlik sıralamasını özünde değiştirmediğinden, bu kazanım daha iyi bir seçimi değil, sabit bir eşiği geçen tahminlerin azalmasını yansıtır. Bu bulgular kalibrasyonun nihai metin düzeltme çıktısını iyileştirdiğini göstermez. Aksine, yalnızca güvenilirliğin yeniden kalibre edilmesinin, özdeş POS tahminlerinin yönlendirmesini değiştirebileceğini ortaya koyar.

1 Giriş

Etiketleme, etikleyici yalnız başına değerlendirildiğinde çözülmüş gibi görünür. Her belirteç ya doğru etiketlenir ya da değildir ve doğruluk ya da F1 skoru konuyu bağlar. Durum, aynı model bir metin düzeltme sistemine entegre edildiğinde değişir. Etiket hâlâ önemini korur, ancak bu etikete ait güvenirlik artık bir şeyi belirler: sistemin belirteci yeniden yazıp yazmayacağını, değiştirmeden bırakıp bırakmayacağını ya da insan değerlendirmesine gönderip göndermeyeceğini. Puan olarak bildirdiğiniz bir şeyden, eyleme geçtiğiniz bir sinyale geçiş, bu çalışmanın başlangıç noktasıdır.

Çalıştığımız Kazak düzeltme hattında güvenirlik kullanıcıya bilgi amaçlı gösterilmez. Bunun yerine aşağı aşamadaki kurallar tarafından kullanılır. Otomatik düzeltmeyi yöneten bir eşik, belirsiz durumları insan değerlendirmesine yönlendiren başka bir eşik vardır. Böylece bir model geleneksel anlamda doğru olabilir ve yine de karar veren bir bileşen olarak kötü performans sergileyebilir; çünkü olasılıkları çok keskin ya da nadir durumlarda çok tedirgendir.

Bu ortam işi kolaylaştırmak yerine zorlaştırır. Kazak, bir kökten uzun bir yüzey biçimi kuyruğu oluşturan verimli ek ekleme özelliğine sahiptir ve tek Universal Dependencies ağaç veri korpusu UD_Kazakh-KTB yalnızca 1.078 cümle ve 10.536 sözdizimsel kelime içerir. Bu, etikleyicileri eğitmek ve karşılaştırmak için yeterince yeterlidir, ancak dönüştürücü standartlarına göre küçüktür ve birkaç etiket kategorisi yalnızca bir avuç kadar test belirteciyle temsil edilir. Bu koşullar altında hem tahmin hem de belki de daha fazlasıyla belirsizlik tahmini kırılgan hale gelir.

Kalibrasyon, düz doğrulukların yapamadığı bir soruyu sorar. Bir model, belirli bir token grubunda 0.90’a yakın bir güvence bildiriyorsa, gerçekten de yaklaşık olarak ondan dokuzunu doğru mu işaretliyor? Neredeyse her yerde 0.95 yanıtı veren bir etiketleyici, yine de saygınır bir F1 elde edebilir; ancak güvencesi bir eşik belirlemek için neredeyse işe yaramaz. Sinirsel ağların aşırı güvenceye eğilimli olduğu bilinir ve sıcaklık ölçekleme, tahmin edilen etiketi değiştirmeden olasılıkları ayarlayan basit bir yoludur (Guo ve ark., 2017). Birkaç bin Kazakh token’ında her bir güvence kutusunun seyrek dolduğu bir durumda bu davranışın geçerli olup olmayacağı önceden belli değildir ve biz de bunu ölçümün bir parçası olarak inceliyoruz.

Buradaki maliyetler simetrik değildir ve bunu görmezden gelmek kolaydır. Kaçırılan bir düzeltme can sıkıcıdır. Gereksiz bir düzeltme ise daha kötüdür, çünkü sistem zaten iyi olan metni bozmuştur ve kararlı bir şekilde yapılan yanlış bir düzenleme, birkaç temkinli kaçırılmadan daha fazla güveni zedeler. Gözden geçirme yolunun kendi ekonomisi vardır. Çok az güvence, bir kişiyi rutin vakalarla boğar; çok fazla ise zor vakaların incelenmeden geçmesine yol açar. Çalışma noktası, yalnızca ortalık doğruluk değil, güvancenin dağılımının şeklinden etkilenir.

Üç dönüştürücü etiketleyici ve aynı değerlendirme çerçevesi içinde özellik tabanlı bir CRF için öngörüsel performansı ve olasılık kalibrasyonunu inceliyoruz. Ardından daha operasyonel bir soruyu soruyoruz: Güvence değerleri yerine tahmin edilen etiketler, sonradan kalibre edildiğinde ne değişir? Buna yanıt vermek için kalibrasyonu hem küresel hem de düzeltme hattının kullandığı iki güvence eşiğinde ölçüyor ve sıcaklık ölçeklemeden sonra bu eşiklerin üzerinden geçen tahminleri izliyoruz. Analiz, bilinçli olarak karar katmanıyla sınırlı tutuluyor. Daha iyi kalibre edilmiş POS güvencesinin mutlaka daha iyi uçtan uca metin düzeltmesi üretmediğini varsaymıyor. Bu kadar küçük bir korpus üzerinde, eşik yakınındaki nispeten az sayıda tahmin pratik etkinin çoğunu belirleyebilir. Bu yüzden, kümülatif kalibrasyon hatasına güvenmek yerine eşik geçişlerini doğrudan inceliyoruz.

Çalışma üç soru etrafında örgülenmiştir:

RQ1: Tahmini performans ve olasılıksal kalibrasyon, değerlendirilen Kazak etiketleyicileri arasında nasıl farklılık gösterir ve kalibrasyon, token düzeyindeki doğruluğun ötesinde hangi bilgiyi sağlar?

RQ2: Sıcaklık ölçeklendirmesi, öngörülen POS etiketlerini korurken dönüştürücü kalibrasyon hatasını ne ölçüde azaltır?

RQ3: Yaygınlaşan güven eşikleri altında, kalibrasyon sonrasında yönlendirme yönünü değiştiren tahminler nelerdir ve bu durum kapsama ile seçici riski nasıl etkiler?

2 İlgili çalışmalar

2.1 Sinirsel sınıflayıcıların kalibrasyonu

Modern ağların çoğu zaman olduğundan daha emin olduğu gözlemi iyi yerleşmiştir. Guo ve ark. (2017) bu etkiyi göstermiş ve sınıflandırma tahminini değiştirmeden logitleri yeniden ölçeklendiren tek parametreli bir ayar olan sıcaklık ölçeklendirmesini önermiştir. Güvenilirlik diyagramları ve Beklenen Kalibrasyon Hatası, olasılıkların kutulanmasına dair önceki çalışmalar (Naeini ve ark., 2015) üzerine inşa edilen yaygın görsel ve skalar özetleri sunar. Bu literatürün çoğu büyük İngilizce veya görme temelli veri setlerinde gelişmiştir ve aynı araçların birkaç bin Kazak token üzerinde benzer biçimde davranıp davranmayacağı açık değildir. Desai ve Durrett (2020), önceden eğitilmiş dönüştürücülerin görevler ve alanlar boyunca düzensiz kalibre olduğunu bulmuş; bu, burada dikkate değer bir uyarıdır. Ahuja ve ark. (2022) bu uyarıyı kitlece çok dilli modeller için keskinleştirmiş, sıcaklık ölçeklendirmesinin daralttığı ancak ortadan kaldırmadığı, düşük kaynaklı ve dilbilimsel açıdan uzak dillerde sistematik kalibrasyon hatası bildirmiştir. Son çalışmalar bu konuyu büyük dil modellerinde güven tahmini, uyarlanabilir sıcaklık ve konformal tahmin yönünde ilerletmiştir (Campos ve ark., 2024; Geng ve ark., 2024; Xie ve ark., 2024; Zhu ve ark., 2023). Biz bu literatürden yararlanıyoruz ancak çok az dikkat görmüş bir durumu inceliyoruz: düşük kaynaklı Kazak POS etiketlemede kalibre edilmiş güven.

2.2 Seçici tahmin

Hatalardan kaçınabilen bir model, tek bir doğruluk metriğiyle değil, hatanın kapsama oranıyla nasıl dengelendiğiyle değerlendirilir. Geifman ve El-Yaniv (2017) bu kavramı seçici sınıflandırma olarak çerçevelemiş, Xin ve ark. (2021) ise NLP’deki kaçınma davranışını incelemiştir. Bir düzeltme sisteminde bulunan inceleme kuyruğu, sistemin seçici bir öngörü yapıcı olarak da düşünülebileceğini gösterir. Bu çalışmada kullanılan pipeline’da 0.70 eşiği inceleme gerektiren ve gerektirmeyen vakaları ayırırken, 0.85 otomatik işlem sınırını işaret eder. Genel olarak seçici risk, seçilen bir güven eşiğini aşan öngörüler arasındaki hata oranını ölçer.

2.3 Kaynak açısından fakir Kazakh morfolojisi

Kazakh dilinin dilbilgisinin büyük kısmı morfolojisinde taşınır ve üretken ek ekleme süreci, büyük ve seyrek bir yüzeysel sözcük havuzu ortaya çıkarır. Bu dil için yapılan ilk hesaplamalı çalışmalar, Oflazer (1996) tarafından birleştirici diller için geliştirilen hataya dayanıklı tanıma çerçevesine dayanan kural tabanlı durumsal analizcilerdi: Kessikbayeva ve Cicekli (2014) Kazakh için bir Xerox durumsal analizci uyguladı, Bekmanova ve ark. (2017) ise bu yaklaşımı birleştirilmiş Kazakh-Türkçe analizciye genişletti; her iki yaklaşım da bakımı yoğun olmayı sürdürüyor. Bu tür ortamlarda ortak ve aktarıma dayalı etiketleme çalışmalarının incelendiği görülmüştür (Abudouwaili ve ark., 2023). Değerlendirme için pratik kısıtlama, ağaç veri tabanıdır: Tyers ve Washington (2015) tarafından tanıtılan ve Makazhanov ve ark. (2015) tarafından etiketlenen UD_Kazakh-KTB, dil için tek UD kaynağı olarak kalmakta ve yaklaşık 10 bin token boyutunda olması nedeniyle birkaç etiket sınıfının yalnızca birkaç örnekle temsil edilmesi kadar küçüktür. Daha geniş Kazakh kaynak tabanı, Yeshpanov ve ark. (2022) adlı özel isim veri tabanı gibi diğer dizisel etiketleme boyutlarında büyümekte, ancak ağaç veri tabanı düzeyinde UPOS etiketlemesi bu tempoya yetişememektedir.

2.4 Bu çalışmanın konumu

Grubumuz, Kazak metin düzeltmesini hibrit sonlu durum, CRF ve dönüştürücü belirsizlik giderme yöntemleriyle inceledi (Baitenova ve ark., 2025). Bu çalışma daha dar kapsamlı ve tamamlayıcı niteliktedir. Yeni bir mimari önermez ve etiketleme doğruluğunu hedeflemez. Bunun yerine, bu etiketleyicilerin bildirdiği güvenirliğin, düzeltmenin zaten kullandığı iki eşiği belirlemeye yetecek kadar güvenilir olup olmadığını araştırır. Aitim (2026)’nin bağımsız çalışması, Kazak POS ve NER etiketlemede güvenirliğe dayalı filtrelemeyi zayıf gözetim ve CRF ayrıştırma ile birleştirir. Bu bağlam bizimkinden farklıdır çünkü güvenirlik burada öncelikle sentetik gözetimin kalitesini kontrol etmek için kullanılır; aşağıya dönük kararlara için kalibre edilmiş bir olasılık olarak değerlendirilmez. Kazak metin düzeltmesine ilişkin önceki araştırmalar, hibrit morfolojik işleme süreçlerine güvenirlik eşiklerini dahil etmiştir (Baitenova ve ark., 2025); ancak bu araştırmalar söz konusu güvenirlik değerlerinin kalibrasyonunu incelemedi ya da bunların seçici risk ve eşik düzeyinde yönlendirme üzerindeki etkisini niceliksel olarak ölçmedi. Bu çalışmada gözden geçirilen literatür içinde, Kazak POS etiketlemesi için sonradan kalibrasyon olasılığını değerlendiren ve kalibrasyonun kapsama, seçici risk ve sabit çalışma eşiklerinde tahmin yönlendirmesi üzerindeki etkisini ölçen bir araştırma tespit etmedik.

3 Malzemeler ve yöntemler

Süreç, etiketleme ve kalibrasyon ölçümünü aşağıya dönük düzeltme kararından ayırır; bu, Şekil 1’de özetlenmiştir. Bir etiketleyici bir etiket ve bir güvenirlik skoru üretir; kalibrasyon ve sıcaklık ölçeklendirme güvenirlik skoruna etkir; seçici kararlara katmanı ardından iki çalışma eşikini uygular.

Şekil 1

3.1 Veriler

Tüm kalibrasyon ölçümleri, proje sürümündeki UD_Kazakh-KTB’yi kullanır; bu veri seti 1.078 cümle ve 10.536 sözdizimsel kelime içerir. Bu çalışma için 754 eğitim, 162 geliştirme ve 162 test cümlesinden oluşan sabit bir ayrım kullanırız; bu sırasıyla 7.376, 1.566 ve 1.594 token’a karşılık gelir (Tablo 1). Sıcaklık, geliştirme bölümü üzerinde uyarlanırken, test bölümü bildirilen değerlendirme için ayrı tutulur.

Tablo 1

Kalibrasyon çalışmalarında kullanılan sabit metin korpusu ayrımı.

Etiket alanı, 17 Evrensel POS etiketinden oluşur. Bunlardan birkaçı ayrı tutulan sınama bölümünde sık görünmez; bu durum kalibrasyon için doğruluktan daha önemlidir. Tablo 2, düşük destekli kategorileri listeler. DET, AUX ve ADV, etiket başına bir tahminin destekleyebileceği sınırda olup sırasıyla 34, 43 ve 45 sınama belirteci içerir. Bunların altında sayılar keskin biçimde düşer: X 17, PART 6, INTJ 4, SCONJ 3 ve SYM ise hiç. SCONJ için etiket başına bir ECE yalnızca üç gözleme dayanırdı; bu nedenle bu sınıfları betimleyici biçimde raporlar ve onlara iki ondalıklı kalibrasyon sayıları atamayız.

Tablo 2

Sınama ayrımında nadir UPOS kategorileri için destek ve etiket başına kararlı bir kalibrasyon tahmininin mümkün olup olmadığı.

3.2 Modeller

Üç dönüştürücü kodlayıcıyı 17 UPOS sınıfı üzerinde değerlendiriyoruz: Eraly-ml/KazBERT kontrol noktasından başlatılan KazBERT (Devlin et al., 2019; Erlanulu, 2025); Kazakh konuşma RoBERTa kontrol noktasından başlatılan KazRoBERTa (kz-transformers/kaz-roberta-conversational); ve çok dilli karşılaştırma modeli olan XLM-R base (FacebookAI/xlm-roberta-base, Conneau et al., 2020). Bu üç tanımlayıcı, Hugging Face Hub üzerindeki kontrol noktalarına işaret etmektedir.

Dönüştürücü olmayan referans, düzeltme hattının kullandığı iki aşamalı etiketleme mimarisine sahip, bu korpus üzerinde çalışmamız için yeniden eğitilmiş özellik tabanlı bir CRF’dir (Baitenova et al., 2025). Birinci aşama, yaklaşık 120 Kazak ek üzerinden en uzun eşleşme ağacı kullanarak aday ekleri ayıran ters morfolojik analizördür; kapalı sınıf lemma listesi ve bir UD lemma sözlüğüne danışır ve kural türetilmiş POS ile güven değeri içeren bir token ayrışımı döndürür. İkinci aşama, token başına yaklaşık 30 özellik üzerinden zincirli-lineer bir CRF’dir (sklearn-crfsuite, L-BFGS, c1 = 0.05, c2 = 0.05, en fazla 150 yineleme, tüm durum ve geçişler oluşturulmuş, tohum 42): birinci-aylama POS ve güveni, ek sayıları, 1–4 uzunluğunda karakter önek ve sonekleri, kelime biçimi, Apertium-kaz türetilmiş bir sözlükten (treebank’dan bağımsız) sözlük üyeliği bayrakları, lemma sonekleri, ±2 token’lık bir bağlam penceresi ve komşu-POS bigramları. CRF olasılıksal bir ayırtıcı dizilim modelidir; dolayısıyla hattın kullandığı kural türetilmiş özellikler model girdileri olarak, çıktıyı doğrudan belirleyen katı kurallar yerine girer.

CRF eğitiminin kaynağı. CRF, bu çalışma için transformer’larla aynı veri koşulları altında yeniden eğitildi: ağırlıklar tam olarak 754 cümlelik eğitim bölümü üzerinde uyarlandı; 1. aşama lemma sözlüğü yalnızca aynı 754 cümleden oluşturuldu; sözlükler ağaçbankı bağımsız Apertium-kaz kaynağından türetildi; hiperparametreler gelişim kümesinden ağırlıklı F1 ile seçildi ve test bölümü üzerinde hiçbir bileşen ayarlanmadı. UD_Kazakh-KTB dışında hiçbir etiketli Kazak verisi kullanılmadı. Taslak sürümde değerlendirilen checkpoint, corpus kirliliğinin giderilmesinden önceki döneme aittir: lemma sözlüğü, test cümlelerinin 162’sinden 138’iyle örtüşen bir eğitim dosyasından oluşturulmuştu; bu da 1. aşama özelliklerini ve dolayısıyla karşılaştırmayı kısmen geçerli kılmazdı. Yeniden eğitilen model bu bağımlılığı ortadan kaldırır ve makaledeki tüm CRF sayıları bu modele aittir.

x=(x1,…,xn) biçimindeki bir cümle için sinirsel etiketleyici, i’inci kelime için K=17 sınıf üzerinde bir logit vektörü üretir. Tahmin edilen sınıf logit’lerin arg-maksimumudur ve karar katmanına aktarılan güven, maksimum softmax olasılığıdır (Denklem 1):

ŷ

i

=

arg

max

k

z

ik

p

ik

=

exp

(

z

ik

)

∑

j

exp

(

z

ij

)

c

i

=

max

k

p

ik

(1)

(1)

Mükemmel kalibre edilmiş bir sınıflandırıcı P (ŷ = y | c = q) = q koşulunu sağlar; 0.90 güven değeri, benzer tahminler arasında yaklaşık %90 ampirik doğrulukla eşleşmelidir (Denklem 2):

P

(

ŷ

=

y

∣

c

=

q

)

=

q

(2)

(2)

3.3 Beklenen kalibre hatası

Güven değerleri M = 10 eşit genişlikteki B_1, …, B_M kutularına ayrılır. Her kutu içinde ortalamaya dayalı güven ile ampirik doğruluk karşılaştırılır ve ECE, mutlak farkların örnek ağırlıklı ortalamasıdır (Denklem 3):

ECE

=

∑

m

=

1

M

∣

B

m

∣

N

∣

acc

(

B

m

)

−

conf

(

B

m

)

∣

(3)

(3)

Daha düşük bir değer, güven ile doğruluk arasındaki ortalama açığın daha küçük olduğunu gösterir. ECE kutu duyarlıdır ve düşük bir toplam değer, asıl önem taşıyan eşik yakınındaki yerel kalibrasyon hatalarını gizleyebilir; bu nedenle onu güvenilirlik eğrileriyle birlikte yorumlarız.

3.4 Doğru ölçeklendirme kuralları

İki Brier skoru ve negatif log-olasılığı raporlarız. Çok sınıflı Brier, tüm olasılık vektörünü değerlendirirken, üst-1 Brier yalnızca tahmin edilen etiketle ilişkilendirilen güveni değerlendirir; ikisi birbirine bağlıdır ancak yer değiştirilebilir değildir ve 17 sınıf arasında ölçekleri önemli ölçüde farklıdır (Denklem 4):

B

S

multi

=

1

N

∑

i

=

1

N

∑

k

=

1

K

(

p

ik

−

1

[

y

i

=

k

]

)

2

B

S

top

1

=

1

N

∑

i

=

1

N

(

c

i

−

1

[

y

̂

i

=

y

i

]

)

2

(4)

(4)

NLL

=

−

1

N

∑

i

=

1

N

log

p

i

y

i

İki Brier formülasyonu, biraz farklı sorulara yanıt verdikleri için ayrı ayrı raporlanır. Çok sınıflı skor, 17 UPOS sınıfı üzerindeki tam olasılık dağılımını kullanırken, üst-1 varyantı yalnızca tahmin edilen sınıfa atanan güvene dayanır; bu nedenle sayısal değerleri doğrudan karşılaştırılamaz.

3.5 Ölçeklendirme sıcaklığı

Isı ölçeklendirmesi, softmax’dan önce logitleri pozitif bir T skaleriyle yeniden ölçeklendirir. Her logitin aynı T ile bölünmesi en büyük olanı değiştirmediği için tahmin edilen etiket ve dolayısıyla doğruluk değişmez; yalnızca güven ayarlanır (Denklem 5):

p

ik

(

T

)

=

exp

(

z

ik

/

T

)

∑

j

exp

(

z

ij

/

T

)

arg

max

k

z

ik

=

arg

max

k

(

z

ik

/

T

)

(5)

(5)

Isı, geliştirme ayrımında negatif loğaritma olasılığını (NLL) minimize ederek (T ∈ [0,05, 10] aralığında altın oran aramasıyla) uyarlanır ve ardından değiştirilmeden ayrık tutulan test tahminlerine uygulanır. Bir duyarlılık analizi olarak T’yi ayrıca 0,8’den 5,0’a kadar 0,1 artışlarla bir ızgarada geliştirme kümesinin ECE’yi minimize ederek de tahminleriz. Birincil analizde NLL tabanlı tahmin kullanılırken, ECE tabanlı tahmin yalnızca uyarlama ölçütüne ilişkin duyarlılığı değerlendirmek için raporlanır. CRF, logit yerine kalibre edilmiş biçimde marjinaler ortaya çıkardığı için karşılık gelen duyarlılık deneyi, olasılık uzayında eşdeğer bir yeniden ölçeklendirmeye (pik(T)∝pik1/T) T’nin geliştirme marjinaleri üzerinde NLL ile uyarlandığı bir dönüşüm uygular; bu dönüşüm de arg-max’ı hiçbir zaman değiştirmez. Tüm birincil analizlerde, yeniden eğitilen CRF, yerleşik karar katmanı tarafından kullanılan ham marjinal-güven biçimiyle değerlendirilir ve yeniden ölçeklendirilmiş varyant yalnız bir duyarlılık deneyi olarak raporlanır.

3.6 Seçimli-karar katmanı

Düzeltici, 0.85 güven eşiğini (varsayılan değer) kullanır: Eşiğin altında kalan ya da UNK olarak etiketlenen ancak düzeltme adayları bulunan belirteçler, düzeltme mantığı tarafından işlenir. Hatası, belirteçleri 0.70’in altında kalanları insan etiketlemesi veya incelemesi için ayrı ayrı işaretler; bu işaretleme düzelticinin kendi kararını değiştirmez, ancak şüpheli belirteçlerin bir kişiye ulaşmasını sağlayan mekanizma budur. Her iki değer de hatasının varsayılan çalışma parametreleridir (corrector.py içinde confidence_threshold = 0.85; pipeline.py içinde ACTIVE_LEARNING_THRESHOLD = 0.70) ve düzelticinin geliştirilmesi sırasında güven–doğruluk davranışının gayriresmi incelemesinden yola çıkılarak belirlenmiş, herhangi bir ölçüt üzerinde optimize edilmemiştir. Bu değerler mevcut deneylerden önce belirlenmiştir; ancak o gayriresmi incelemeye hangi etiketli cümlelerin dahil olduğu belirlenememektedir ve UD_Kazakh-KTB dil için tek ağaç havuzu olduğundan, mevcut test bölüntüsüyle örtüşme olasılığını dışlayamayız. Bu nedenle her iki değeri de geçerliliği doğrulanmış değil, sabit çalışma noktaları olarak ele alıyoruz ve Şekil 2’de diğer eşiklerdeki davranışın değerlendirilebilmesi için tam risk–kapsam eğrileri sunulmaktadır. Aşağıdaki analizde bu çifti üç bölgeli bir kural olarak yorumluyoruz: c≥0.85 olan tahminler otomatik işlem için uygun, c<0.70 olan tahminler inceleme için ayrılmış olarak kabul edilir; bu değerlerin arasında kalan tahminler ara değer olarak değerlendirilir. 0.70, kapsam ve risk analizi için ikili bir eşik olarak kullanıldığında ortaya çıkan nicelik, inceleme sınırının üzerinde kalan tahminlerin oranını temsil eder; otomatik düzeltme kapsamı olarak yorumlanmamalıdır.

Şekil 2

Genel bir seçim eşiği τ için kapsam, τ veya onun üzerinde tutulan tahminlerin oranı, seçici risk ise bu tutulan tahminler arasındaki hata oranıdır (Denklem 6):

C

(

τ

)

=

1

N

∑

i

1

[

c

i

≥

τ

]

R

(

τ

)

=

∑

i

1

[

c

i

≥

τ

]

1

[

y

̂

i

≠

y

i

]

∑

i

1

[

c

i

≥

τ

]

(6)

(6)

Bunlar, belirleyici analizde sözcük düzeyindeki çıktılara dayanır. ECE’den eksik risk değerleri çıkarmak için kullanılmazlar. Tüm ödünleşimi tek bir sayıda özetlemek amacıyla, ayrıca risk-kapsam eğrisinin alanını bildiririz; bu, R’nin kapsam üzerinde üçgen integralli olarak hesaplanır (Denklem 7):

AURC

=

∫

0

1

R

(

C

)

dC

≈

∑

m

1

2

·

(

R

m

+

R

m

−

1

)

·

(

C

m

−

C

m

−

1

)

(7)

(7)

Burada C

m

ve R

m

, risk-kapsam eğrisinin

noktalarıdır.

Denklem 6

. AURC, herhangi bir özel eşikten bağımsızdır: hatalarını en sona yerleştiren güvence sıralamasına sahip bir etiketleyici, aynı doğruluk düzeyinde daha düşük bir AURC elde eder; bu da yönlendirme eşığının dolaylı olarak dayandığı özelliktir.

3.7 Deney kurulumu

Dört etiketleyici de tek bir uyumlu yöntemle değerlendirilir. Üç dönüştürücü, 754 cümlelik eğitim bölümü üzerinde birleştirilmiş bir yapılandırmayla (AdamW, öğrenme oranı 5e-5, yığın boyutu 16, en fazla 40 dönem, beşlik sabırla gelişim belirteci doğruluğuna göre erken durdurma ve 1.0’a ayarlanmış gradyan sınırlama) ince ayarlanır; sözcük düzeyi etiketler için ilk alt-sözcik havuzlaması kullanılır ve üç rastgele tohum (13, 42, 123) denenir. Her çalışma için gelişim ve test bölümlerindeki belirteci başına logit’ler kaydedilir ve sonuçlar tohumlar üzerindeki ortalama ± standart sapma olarak bildirilir. CRF, hattın orijinal protokolüne (Bölüm 3.2) uygun olarak aynı eğitim bölümü üzerinde yeniden eğitilir: sklearn-crfsuite, L-BFGS ve hiperparametreler, 42 tohumu kullanılarak sabit sekiz noktalı bir ızgara üzerinde ağırlıklı F1’e göre gelişim bölümünde seçilir; ayrıca yalnızca eğitim bölümünden inşa edilen bir Stage-1 lemma sözlüğü kullanılır. Gelişim ve test materyali, dönüştürücüler için olduğu gibi aynı şekilde CRF eğitimi, özellik inşası ve model seçiminden dışlanır; böylece dört yönlü karşılaştırma yalnızca operasyonel değil, kontrollü olur. CRF, aynı ölçüm koduyla değerlendirilir ve tahmin edilen etiketin marjinal olasılığı güven olarak alınır. Sıcaklık, gelişim logit’leri üzerinde (NLL ölçütü; miras kalan ECE-ızgara varyantı ayrıca bildirilir) uyarlanır ve test logit’lerine uygulanır.

Macro F1, test-split altındaki standart etiketlemede bulunan 16 UPOS etiketi üzerinden hesaplanır (SYM’nin test örnekleri olmadığından hariç tutulur); hiç tahmin edilmeyen bir standart etiket F1 = 0 katkında bulunur. Token doğruluğu, macro F1, M = 10 eşit aralıklı kutuda ve eşit kütleye sahip uyarlamalı bir varyant olarak ECE (ikisi de aşağıda bildirilen), her iki Brier skoru, NLL, risk-kapsama eğrisi altında kalan alan (AURC), güvenilirlik diyagramları, etiket bazında kalibrasyon, kapsama ve konuşlandırılmış eşiklerde seçici risk ile birlikte bootstrap 95% güven aralıkları bildirilmektedir. Örneklem belirsizliği, cümle içi bağımlılığı koruyan, 162 test cümlesinin 1.000 yeniden örneklemeyle düzeyinde küme bootstrap’ı (her örnekleme, örneklenen her cümlenin tüm token’larını korur) ile nicelendirilmektedir; ayrıca duyarlılik analizi olarak bir token düzeyinde bootstrap da yürütülmekte ve daha dar aralıklar elde edilmektedir.

Bu makaledeki her sayı, kaydedilen token başına model çıktılarından bir betikle oluşturulur. Makaleye eşlik eden ve Zenodo’ya yerleştirilen (doi:10.5281/zenodo.23096850) depo; eğitim ve ölçüm hattını, raporlanan her çalışma için token başına logit’leri (transformers) ve marjinal olasılıkları (CRF), SHA-256 sağlama değerleriyle tam cümle düzeyinde ayrıştırma manifestosunu, paketlenmiş CRF temelini ve yeniden eğitim betiğini, dokuz ince ayarlı transformer kontrol noktasını (3 model × 3 tohum, dosya başına sağlama değerleriyle) ve ayrılmış test ayrıştırmasında yayınlanan CRF’yi yeniden skorlayıp doğruluğunu, ECE’sini ve top-1 Brier değerini (N = 1.594 için sırasıyla 83,31%, 13,66% ve 0,1456) sabitleyen bir regresyon testini içerir; böylece ölçüm yığınınındaki herhangi bir değişiklik sayılar değiştirilmeden önce tespit edilir. Deneyler Apple Silicon (M3 Pro, macOS 15, MPS) üzerinde Python 3.14, PyTorch 2.13.0, transformers 5.16.1, NumPy 2.5, scikit-learn 1.9.0 ve sklearn-crfsuite 0.5.0 (python-crfsuite 0.9.12) ile yürütüldü; tam sabitlenmiş ortam depo ile sağlanır. Tohum düzeyindeki varyans, sinirsel satırlar için eğitim rastlantısallığını; cümle düzeyindeki bootstrap ise ölçümlerin kendisinin örneklem belirsizliğini nicelendirir. Ana karşılaştırma için yeniden örneklenmiş katmanlar üzerinden geçerlilik doğrulaması bilinçli olarak kullanılmadı. 1.078 cümle ile, üç transformer’ı birden fazla katmanda tekrar tekrar eğitmek hesaplama maliyetini önemli ölçüde artırırken, proje tarafından tanımlanmış sabit ayrıştırma, aynı zamanda konuşlandırılmış hatta da kullanılan ayrıştırmadır.

4 Bulgular

4.1 Öngörüsel performans ve kalibrasyon farklılık gösterir

Tablo 3, bu deneyde token doğruluğu ve ham ECE’nin dört modeli aynı sırada sıraladığını, dönüştürücilerin (transformer) ise başı çektiğini gösteriyor. XLM-R hem en yüksek doğruluğu (92,83%) hem de en düşük ham ECE’yi (5,45%) elde ederken, onu KazBERT (91,05%, 6,43%), KazRoBERTa (90,90%, 6,51%) ve CRF (83,31%, 13,66%) izliyor. Eşit kütleli adaptif ECE, her model için eşit genişlikli sıralamayla uyumlu olduğundan, bu sıralama ikili ayırmanın (binning) bir yan ürünü değildir. Bu uyum, doğruluk ile kalibrasyonun yer değiştirilebilir olduğunu gösteren bir kanıt olarak yorumlanmamalıdır. Sıcaklık ölçeklendirmesinden sonra ayrım daha netleşir: tahmin edilen etiketler ve doğruluk değişmezken, kalibrasyon hatası ve eş seviyesi davranışı değişir. Makro F1, iki tek dilli dönüştürücü için de biraz farklı bir bakış açısı sunar; KazRoBERTa, biraz daha düşük token doğruluğuna rağmen 82,2’ye ulaşırken KazBERT 80,2’ye ulaşır. Şekil 3, değerlendirilen modellerde token doğruluğu ile ham ECE arasındaki ilişkiye tamamlayıcı bir bakış sunar.

Tablo 3

Sinirsel satırlar: Üç tohum üzerinde ortalama ± standart sapma; CRF tek başına yeniden eğitilen bir modeldir. aECE = eşit kitleli uyarlanabilir ECE. T, geliştirme verisi üzerinde NLL ile uyarlanır (Tablo 4), bu nedenle ölçeklemeden önce ve sonra doğruluk aynıdır.

Şekil 3

Sıcaklık, geliştirme NLL’sini minimize ederek uyarlandığından, uygun skorlama kuralları aslında ölçeklemenin neyi başardığını değerlendirir. Tablo 4, dönüştürücüler için ve olasılık uzayında sıcaklığı kendi geliştirme marjinaları üzerinde uyarlandıran CRF için her skorlama kuralını ölçeklemeden önce ve sonra bildirir. Hepsi ECE ile aynı yönde hareket eder. Ham çok sınıflı Brier (Denklem 4) dönüştürücüler için sırasıyla 0.156 ± 0.005, 0.156 ± 0.008, 0.128 ± 0.009 ve CRF için 0.301’dir; 17 sınıflı ölçek üzerinde bunlar aynı sıralamayı doğrular.

Tablo 4

Ölçeklemeden önce → sonra uygun skorlama kuralları (test ayrımı; sinirsel satırlar tohum ortalamalarıdır; T, geliştirme verisi üzerinde NLL ile uyarlanır; CRF satırı Bölüm 4.3’ün duyarlılık deneyidir).

Her satırda ölçekleme doğruluğu değiştirmez.

Sayısal analizde, seed-42 çalışmaları için örnekleme temelli 95% aralıklar, başlıca nicelikler için ham ECE değerleri XLM-R için 4.98–7.48 ve CRF için 11.98–15.65, doğruluk ise sırasıyla 90.9–93.8 ve 81.2–85.3 olarak bulunmuştur; tam aralıklar yayınlanan metriklerle birlikte sunulmaktadır. Dilim temelli aralıklar, cümle içi bağımlılığın göz ardı edilmesi beklendiği kadar daha dar olup, duyarlılık analizi olarak korunmaktadır.

4.2 Ölçekleme, ölçülen ECE’yi düşürür

Üç sinir modeli de ölçeklemeden sonra iyileşir: KazBERT için ECE 3.69 puan (6.43’ten 2.74’e), KazRoBERTa için 4.37 (6.51’den 2.14’e) ve XLM-R için 3.31 (5.45’ten 2.14’e) düşer; göreli düşüşler sırasıyla 57.4%, 67.1% ve 60.7% olarak ölçülmüştür (Şekil 4). Doğruluk, pozitif bir skaler sıcaklığın arg-max’ı değiştirememesi nedeniyle ölçeklemeden sonra değişmez; ve uyarlanan sıcaklıklar—1.43 ile 1.64 arasında, hepsi birden büyük—kaldırdıkları aşırı güveni nicelendirir: ortalamaya güven 0.97–0.98’den 0.92–0.94’e düşerken doğruluk sabit kalır. Duyarlılık analizi olarak, alternatif ECE-ızgara uylandırması, KazBERT için 2.67%, KazRoBERTa için 1.60% ve XLM-R için 2.01% test ECE değerleri verir. Geliştirme bölümünün sınırlı boyutu göz önüne alındığında, bu farklar, uylandırma yöntemlerinden birinin genel olarak tercih edildiğine dair kanıt yerine, uylandırma ölçütüne bağlılığa yorulmaktadır. Ölçekleme aynı zamanda modelleri eşitlemez—KazRoBERTa ve XLM-R 2.14’e ulaşırken KazBERT 2.74’te kalır—çünkü bir skaler küresel keskinliği düzeltir, ancak yerel bozulmaların her birini gideremez.

Şekil 4

Geliştirme bölmesinin hem erken durdurma hem de sıcaklık uyarlama işlevini üstlenmesi nedeniyle, çapraz uyarlamalı duyarlılık analizi de yaptık: 162 geliştirme cümlesini beş kata böldük ve T’yi her seferinde dört katta NLL ile yeniden araladık. Kat sıcaklıkları tam geliştirme tahminlerini içine alır (KazBERT için 1.35–1.53, KazRoBERTa için 1.46–1.86—T’deki tohumdan-tohma yayılımıyla karşılaştırılabilir—ve XLM-R için 1.38–1.53) ve kat sıcaklıkları altında elde edilen test ECE’si sırasıyla 2.36–3.07, 1.46–2.60 ve 1.70–2.91 aralığında kalır, yani birincil değerlerden yaklaşık 0.8 puan içeridedir. Geliştirme verisinin çift kullanımı dolayısıyla sıcaklığı ya da bildirilen kalibrasyon iyileşmesinin büyüklüğünü önemli ölçüde değiştirmez; yine de test kümesi, tamamen dokunulmamış tek bölme olmaya devam eder.

Pozitif bir skalar, öngörülerin güvene göre sıralamasını temelde değiştirmez ve bu, operasyonel kazancın nereden geldiğini gösterdiği için vurgulanmayı hak eder. İlke olarak, K > 2 sınıf için paylaşımlı bir ölçeklendirme, farklı şekillere sahip logit vektörlerine sahip iki etiketi yer değiştirebilir; test bölmesinde ölçüldüğünde bu ancak sınırlı ölçüde olur: ham ve ölçeklendirilmiş güven arasındaki Spearman sıralama korelasyonu 0.998–0.9996 arasındadır ve AURC en fazla 0.0004 değişir. Dolayısıyla risk–kapsama eğrisi pratikte değişmez ve eşit kapsama düzeyinde korunan öngörü kümesi aynıdır. Değişen, güvenden sabit konuşlandırılmış eşiklere olan eşlemedir: aşağıda bildirilen 0.85’deki seçici risk azalması, modelin kolay ve zor olayları sıralamada daha iyi olmundan değil, eşiği geçen öngörülerin azalmasından kaynaklanır. Örneğin XLM-R için 0.85’deki kapsama 95.75’ten 90.86%’ya düşerken, seçici risk 5.46’dan 4.03%’e düşer (Tablo 5): sabir konuşlandırılmış eşik altında operasyonel bir fayda, seçici sıralamada iyileşme değil.

Tablo 5

Yayımlanan eşiklerdeki çalışma noktaları (test bölümdü; sinirsel satırlar üç tohum için ortalama ± standart sapma).

Kapsama, belirtilen eşiğe veya onun üzerinde olan tahminlerin oranını ifade eder. τ = 0.85 için bu, otomatik-aksiyon bölgesine karşılık gelir; τ = 0.70 için ise inceleme sınırının üzerinde kalan tahminleri işaret eder.

4.3 CRF’nin ölçülen kalibrasyonu

Hold-out test bölmesinde yeniden eğitilen CRF, %83.31 doğruluk, 13.66% ECE, 0.146 üst-1 Brier skoru ve 0.301 çok sınıflı Brier skoru elde eder. Ham ECE değeri, ölçeklendirilmemiş herhangi bir dönüştürücünün değerinden iki katından fazladır. Şekil 5, dört modelin güvenilirlik diyagramlarını yan yana göstermektedir. CRF neredeyse her yerde neredeyse kesin bir eminlik bildirir: çoğu belirteç en yüksek eminlik kutusunda yer alır (n = 1.459, ortalamalı eminlik 0.995) ve burada yalnızca %86.4’lük bir doğruluk görülür. Ortalamalı eminliği 0.97, doğruluğundan neredeyse 14 puan fazladır. Bu, tam olarak eşik tabanlı bir hattın karşılayamayacağı profildir: 0.85 eşikini geçen tahminlerin %92.91’i, 13.91’lik bir hata oranı taşır. Bir duyarlılık deneyi olarak, gelişim kenel olasılıkları üzerine uyarlanan uzaysal sıcaklık (T = 2.22), CRF’nin test ECE’sini 4.02%’ye ve NLL’sini 1.092’den 0.669’a düşürür (Tablo 4); bu, aynı tek parametreli düzeltmenin dönüştürücü ölçeğinin altında da geçerli olduğunu doğrular. Tüm birincil analizler, konuşlandırılmış karar katmanı tarafından tüketilen ham kenel-eminlik biçimini kullanarak yeniden eğitilen CRF’yi değerlendirir.

Şekil 5

Korpus küçük olduğu için etiket başına kalibrasyonu betimleyici biçimde raporlarız (Tablo 6; dört modelin tamamı için etiket başına tam tablo Ek malzemede sunulmaktadır). CRF için her sık kullanılan etiket aşırı eminidir: NOUN ve VERB 15–16 puanlık açıklar taşır ve orta frekanslı sınıflar daha kötüdür—ADJ +25.7, PRON +29.4, ADV +32.8—ki bu, tam olarak kümülatif ECE’nin gizlediği türden bir yerel bozulmadır. Çok nadir sınıflar en sert salınır, ancak X, INTJ ve SCONJ için sırasıyla 17, 4 ve 3 belirteçle bu değerler yalnızca örnekleme amaçlıdır.

Tablo 6

CRF tahminlerinde tutulan ayırma test bölümdünde seçilen UPOS kategorileri için açıklayıcı güven–doğruluk istatistikleri.

Kararsız sınıf düzeyindeki tahminlerin aşorantplatılmaması için, test bölümdünde en az 30 belirteçle temsil edilen UPOS kategorileri için bireysel güven–doğruluk istatistikleri sunulur. 30 gözlemden azı olan kategoriler gruplandırılıp açıklayıcı biçimde raporlanır; test bölümdünde bulunmayan kategoriler ise tahmin edilmez.

Düşük destekli kategoriler için tahminler yalnızca nitelikli göstergeler olarak yorumlanmalıdır, çünkü az sayıda doğru ya da yanlış tahmin görünür güvendoi–doğruluk açıklığını belirgin biçimde değiştirebilir.

4.4 İşletim eşiklerindeki davranış

Kalibrasyon, eğri değil çalışma noktası nedeniyle önemlidir. Şekil 2, dört modelin de ayrılmış test bölmesindeki risk-kapsama eğrilerini gösterirken, Tablo 5, iki uygulanan eşik karşılığında gelen çalışma noktalarını bildirir. CRF’nin güveni hatalarını her kapsama düzeyinde kötü biçimde sıralar: yalnızca en güvenli yarıyı korumak yalnızca seçici bir risk bırakır; risk %90 kapsamada %13,2’ye ulaşır ve AURC değeri (0,083) dönüştürücülerinkinin (0,015–0,021) dört ila beş katıdır; XLM-R en düşük düzeydedir. τ = 0,85’te CRF, otomatik-eylem alanında öngörülerin %92,91’ini korur ancak %13,91’lik seçici riskle; τ = 0,70’te ise öngörülerin %96,30’u inceleme sınırının üzerinde kalır ve bu korunan küme içinde hata oranı %15,05’tir. Ham dönüştürücü modeller aynı eşiklerde çok daha güvenli biçimde kapı açar: 0,85’te %5,5–6,5 seçici risk. Bölüm 4.5, sıcaklık ölçeklendirmesinin bu çalışma noktalarını nasıl değiştirdiğini inceler.

Birincil analizler, yeniden eğitilen CRF’yi, uygulanan karar katmanı tarafından tüketilen ham marjinal-güven biçimiyle değerlendirir; bu operasyonel uygunluğu korur; bildirilen CRF sayıları, tarihsel uygulanan checkpoint’i değil, uyumlanmış veri koşulları altında yeniden eğitilen temel mimariyi betimler; geliştirme-süreçli yeniden ölçeklendirmenin (Bölüm 4.3) bir duyarlılık deneyi olarak bildirilmesi (Tablo 5’in son satırı).

4.5 Uygulanan eşiklerde sinirsel güven

Tablo 5, her modeli düzelticinin gerçekten kullandığı iki çalışma noktasında, sıcaklık ölçeklendirmesi öncesinde ve sonrasında konumlandırır İki örüntü öne çıkar. Ham transformer güvenliği, doğruluğunun ima ettiğinden belirgin biçimde daha zayıf bir kapı görevi görür: 0.85’te transformer’lar belirledikleri token’ların %93,5–95,8’ini otomatik kararlaştırır ancak içlerinde %5,5–6,5 oranında hata gösterirler. Ham marjinali üzerinde değerlendirilen yeniden eğitilen CRF ise tamamen farklı bir ligde, %13,91 sıcaklık ölçeklendirmesi sonrasında transformer seçici riski 0.85 eşiğinde %3,9–5,1’e düşer ve bunun yanında kapsama oranında %4,7–8,2 puanlık bir azalma gerçekleşir. KazRoBERTa en büyük değişimi göstererek ölçeklendirmesi sonrasında %85,30 kapsama oranına ve %3,92 seçici riske ulaşır. Öngörülen POS etiketleri değişmediğinden bu fark, etiketleme doğruluğundaki iyileşmeden değil, revize edilen güven değerlerinden kaynaklanır. CRF marjinalinde aynı yeniden ölçeklendirme (duyarlılık satırı) 0.85’teki riski %13,91’den %9,74’e düşürür ancak bunun bedeli olarak çok daha büyük bir kapsama kaybı, %92,91’den %67,63’e—güveninin en güçlü düzeltmeyi gerektirdiği bir modeli yansıtan bu durumla tutarlı.

Etiket başına tablo, model aileleri boyunca genelleşir (tam etiket başına tablo Ek Tablo S1’dedir). PRON için nispeten büyük bir güven–doğruluk açığı, bu test ayrımındaki her modelde görünür: KazBERT için +10,8 puan, KazRoBERTa için +8,4, CRF için +29,4 ve XLM-R için +4,7. ADV, transformer öngörmeleri arasında en büyük açıklardan bazılarını gösterir: 45 test token’ı üzerindeki doğruluk %73,3–75,6’ya düşerken ortanca güven %88–93’te kalır ve bu da +14,9 ile +18,8 arasında açıklar üretir, CRF ise +32,8’dir. ADJ transformer’lar için benzer biçimde davranır (+9,5 ile +14,7) ve CRF için daha da kötü (+25,7). Bir inceleme kuyruğu ortamında bu, tam da önem taşıyan arıza biçimidir: ADV ve ADJ hataları şişirilmiş güven taşır ve zorluklarına göre beklenenden sıkça 0.85 kapısından inceleme olmadan geçmelerine olanak tanır.

4.6 Yönlendirme kayması: etiketler sabit, kararlar taşınmış

Sıcaklık ölçeklendirmesi her tahmin edilen etiketi korur, dolayısıyla yalnızca etiketler üzerinden ölçülen herhangi bir özet bu etkiden habersizdir. Eşikler öyle değildir. Tablo 7, yönlendirme kaymasını nicelendirir: her model için, güven yeniden ölçeklendirildiğinde kaç belirtecin bir eşiği geçtiği ve bunların kim olduğu. Sinirsel girişler, üç tohum üzerindeki ortalamalar ± standart sapmadır (kırılış sayıları dolayısıyla tohum ortalamalarıdır); seçici riskteki değişim, tüm modeller, tohumlar ve için için sıfırı dışlayan bir cümle kümesi bootstrap %95 güven aralığı taşır.

Tablo 7

“Cross ↓”, sıcaklık ölçeklendirmesinden sonra eşik seviyesinde ya da üzerindeyken altında düştüğü tahminleri sayar (sinirsel girişler: üç tohum için Ortalama ± SD).

“Err among ↓”, bu yeniden yönlendirilen alt kümedeki hata oranını; “Err among kept” ise eşiğin üzerinde kalan tahminlerdeki hata oranını gösterir. Δrisk güven aralıkları, seçici riskteki değişim için cümle düzeyinde küme bootstrap %95 aralıklarıdır (sadece tohum-42 çalışmaları için gösterilmiştir; yayılan metriklerle sağlanan diğer tohumların aralıkları da tamamen sıfırın altındadır). CRF satırları, her eşik için bir aralık taşır çünkü CRF, tohum çoğaltması olmayan tek bir deterministik modeldir; ham marjinal değerlerini olasılık alanında yapılan yeniden ölçeklendirme duyarlılık deneyiyle karşılaştırır.

Eşik seviyesinin altına düşen tahminler rastlantısal bir alt küme değildir. Dönüşürlü modellerde hata oranı τ = 0.85 için %31–33, τ = 0.70 için %39–44 olup, buna karşılık eşik üzerinde kalan tahminlerdeki hata oranının yaklaşık altı ila sekiz katıdır; CRF’nin 0.85’teki geçiş alt kümesinde %25.1’lik bir hata oranı, korunan tahminlerde ise %9.7’lik bir hata oranı vardır. Şekil 6, sinirsel etiketleyicinin logit vektörü ürettiği her iki eşik seviyesinde de, üç dönüşürlü model için bu hata oranı farkını görselleştirir. Dolayısıyla τ = 0.85’te yeniden kalibrasyon, nispeten hataya eğilimli bir alt kümeyi otomatik-eylem bölgesinden çıkarır; τ = 0.70’te ise böyle tahminleri gözden geçirme bölgesine taşır. Dönüşürlü modellerin seçici riski τ = 0.85’te yaklaşık 1.4–2.4 puan düşer ve Tablo 7’deki tüm Δrisk güven aralıkları tamamen sıfırın altındadır. Bölüm 4.2’de ortaya konduğu gibi, bu kazanç sabit bir eşiğe göre bir güven kaymasını yansıtır; sıralamada iyileşme değildir. Uyarlanan tüm sıcaklıklar 1’den büyük olduğu için maksimum softmax güvenini düşürür ve ters yönde hareket eden hiçbir tahmin yoktur.

Şekil 6

Bu, karar katmanı kanıtıdır ve sınırı, sonucun kendisi kadar açık biçimde belirtilmelidir. Otomatik kararlaştırılan etiketlerdeki riskin 5,5–6,5%’den 3,9–5,1%’ye düşmesi, bunları tüketen her neyse içine daha az hatalı etiketin sızması anlamına gelir; ancak bu tek başına düzelticinin zaten doğru olan metni ne sıklıkla yeniden yazdığını ölçmez. Bu nicelik—her güven kaynağı altındaki yanlış-düzeltme oranı ve düzeltme F0.5’i—tam düzeltme altyapısını, aday üretimi ve hata enjeksiyonunu gerektirir; bu ayrı bir değerlendirmedir ve makalenin kapsamı dışında bırakılmıştır.

5 Tartışma

Ana sonuç, doğrulukta bir iyileşmeden çok güvenin kullanımına ilişkindir. Bu çalışmanın uyumlanmış veri koşulları altında, düzeltme hattının mimarisine sahip bir CRF, transformer’larla aynı ayrım üzerinde yeniden eğitildiğinde hem en zayıf etiketleyici (%83,31) hem de en güvenilir olmayan güven kaynağıdır: yedide birden fazla yanlış olan tahminler için neredeyse kesin marjinal bildirir; bu da konuşlandırılan 0,85 eşiginde otomatik olarak işlenen belirteçler arasında %13,91’lik bir hata oranı anlamına gelir. Üç transformer modeli daha doğru ve çok daha iyi kalibre edilmiştir; tek bir geliştirme aşamasında ayarlanan sıcaklık, tahmin edilen etiketleri değiştirmeden kalibrasyon hatalarını daha da azaltır. Aynı düzeltme CRF marjinaline uygulandığında, ECE’yi belirgin bir kapsama maliyeti pahasına %13,66’dan %4,02’ye düşürür. Bu tutum, sıcaklık ölçeklendirmesinin küresel aşırı güveni sınıflandırma kararlarını koruyarak düzeltebileceğine dair önceki bulgularla uyumludur (Guo ve ark., 2017); çok dilli ve kaynağı sınırlı ortamlardaki kalibrasyon zorluklarına dair kanıtları da içerir (Ahuja ve ark., 2022). Karşılaştırma ayrıca açıkça ifade etmeye değer bir metodolojik ders de taşır: CRF’nin önceki bildirilen üstünlüğü (%94,5’lik doğruluk, kusursuza yakın kalibrasyon), test malzemesinin çoğunu sessizce görmüş bir özellik sözlüğünün bir yan ürünüydü. Doğrulama iddiaları, sızıntının bozduğu tam da böyle iddialardır çünkü sızıntılı bir özellik yalnızca doğruluğu yükseltmez—sızıntılı doğruluk düzeyinde iyi kalibre edilmiş gibi görünen bir güven üretir. Dolayısıyla konuşlandırma için yapılan herhangi bir güven değerlendirmesi, yalnızca model ağırlıklarını değil, türetilmiş veri kaynaklarının kökenini de doğrulamalıdır.

Sınıf düzeyindeki sonuçlar, kalibrasyon hatasının UPOS kategorileri boyunca uniform dağılmadığını gösteriyor. PRON, her modelde nispeten büyük bir güven–doğruluk açısı gösterirken, ADV ve ADJ özellikle dönüştürücü modellerde ve özellikle de CRF için zorlayıcı bir konumda. Bu örüntüler yine betimleyici kalmalı; çünkü birkaç kategoride sınırlı test desteği bulunuyor ve güncel veriler, sınıfa özgü stabil kalibrasyon etkilerini ortaya koymak için yeterli değil. Eşik analizi daha işlevsel bir sonuç sunuyor. Sıcaklık ölçeklendirme POS etiketlerini değiştirmiyor, ancak karar eşiklerinin altına kayan, nispeten hataya eğilimli öngörülerin bir alt kümesini hareket ettiriyor. τ = 0.85’de bu, otomatik eylem kapsamasının azalması pinesine daha düşük seçici risk üretiyor ve sıralama analizi, kazancın daha iyi seçimden değil, sabit bir eşiğe göre güvendeki kaymadan kaynaklandığını gösteriyor; çünkü skaler bir sıcaklık güven sıralamasını temelde koruyor. Dolayısıyla söz konusu ödünleşim, iyi bir etiketleyiciyle kötü bir etiketleyici arasındaki seçim değil, aynı öngörülerin daha agresif ya da daha temkinli kullanımı arasındaki seçimdir. Hangi çalışma noktasının tercih edileceği, otomatik hatalar ile manuel inceleme arasındaki göreli maliyete bağlıdır. Bu ayrım, özet ECE’den çıkarılabileceklerin de sınırını çizer. Daha düşük bir ECE, bildirilen güvenin ampirik doğruğu daha iyi yansıttığına dair faydalı bir kanıt sunar, ancak tek başına daha iyi aşağı yönlü metin düzeltmesini kanıtlamaz. Eşik sürütlü bir boru hattı için kalibrasyon dolayısıyla, kapsama, seçici risk ve gerçekten çalışma sınırını geçen öngörülerle birlikte incelenmelidir.

6 Sınırlılıklar

Bu bulguları birkaç kısıtlama belirler. UD_Kazakh-KTB küçüktür ve ayrılan test bölümü yalnızca 1.594 token içerir. Bu nedenle sınıf düzeyindeki tahminler nadir UPOS kategorileri için kararsızdır ve betimleyici bir şekilde yorumlanmalıdır. Dönüşümcü sonuçları, tekrarlayan çapaz doğrulamaya değil, üç eğitim tohumuna ve tek bir sabit bölüme dayanmaktadır. Ayrıca, corpus yeterince büyük olmadığı için ayrı bir kalibrasyon alt kümesi ayıramadan gelişim bölümü hem model seçimine hem de sıcaklık uyumuna katkıda bulunmaktadır. 4.2 bölümündeki çapraz-uymalı hassasiyet analizi, bu çift kullanımın etkisini sınırlar (katman sıcaklıkları tam gelişim tahminlerini kapsar ve test ECE’si en fazla ~0.8 puan kayar), ancak daha büyük bir kalibrasyon kümesi bu endişeyi tamamen ortadan kaldırır. Örnekleme belirsizliği, cümle içi bağımlılığı koruyan cümle düzeyinde küme bootstrap aralıklarıyla tahmin edilir; token düzeyinde aralıklar hassasiyet analizi için korunur ve daha darlardır. 0.70 ve 0.85 eşikleri, bu çalışma sırasında optimize edilmeden önce boru hattı geliştirme sırasında öngörüsel olarak belirlenmiş, sabit çalışma noktaları olarak ele alınır ve herhangi bir ölçüme karşı optimize edilmemiştir. UD_Kazakh-KTB dil için tek ağaç bankası olduğundan, bunları üreten geliştiricilerin gayrîresmî incelemesinin mevcut test bölümiyle örtüşmüş olabileceği olasılığını hariç tutamayız. Bu nedenle, sonuçlar yalnızca bu iki değere değil, tam risk–kapsama eğrilerine dayanmaktadır. Son olarak, CRF bu çalışma için standart bölüme yeniden eğitilmiştir; sayıları, tarihsel olarak konuşlandırılmış checkpoint’in değil, optimal veri koşulları altındaki temel mimariyi tanımlar; söz konusu checkpoint’in özellik sözlüğü corpus kirliliğinin giderilmesinden önceki döneme aittir.

Son olarak, analiz tam metin düzeltmesi yerine POS güveni ve yönlendirme kararlarına odaklanır. Yanlış-düzeltme oranı ve düzeltme F0.5’i, aday üretimi ve düzenleme kabulunu da içeren tam düzeltme bileşeninin değerlendirilmesini gerektirir ve mevcut deneylerin kapsamı dışındadır. Lemma belirsizliği, morfolojik-özellik kalibrasyonu ve diğer Türk dillerine aktarım da gelecek çalışmalar için ayrılmıştır.

7 Sonuç

Deneysel sonuçlar, güven kalibrasyonunun POS tahminlerinin hangi etiketlerin öngörüldüğü yerine nasıl kullanıldığıni değiştirdiğini gösteriyor. Ayrılmış test bölümünde XLM-R, 92.83% doğrulukla en güçlü model olup ham ECE değeri 5.45%; yeniden eğitilen CRF tabanı 83.31% doğruluğa ulaşır ve belirgin biçimde aşırı güvendir (ham ECE 13.66%). Sıcaklık ölçeklendirmesi, öngörülen etiketleri değiştirmeden dönüştürücülerin ECE’sini 57–67% oranında azaltır ve marjınallara uygulandığında duyarlılık analizi olarak CRF’ninkini 71% azaltır. Pratik etki, 0.85 işletim eşiğinde belirginleşir. Kalibrasyondan önce dönüştürücüler için seçici risk 5.46 ile 6.52% arasında değişir (ham CRF: 13.91%); ölçeklendirmeden sonra otomatik eylem kapsamındaki azalmayla birlikte 3.92–5.07%’ye düşer. Eşik altına düşen tahminler, üstünde kalanlara göre belirgin biçimde daha yüksek hata oranına sahiptir ve ölçeklendirme güven sıralamasını özünde değiştirmediğinden, sağlanan kazanç sabit bir eşiği geçen tahminlerin azalmasına yansır, daha iyi seçime değil. Bu nedenle kalibrasyon, etiketleme doğruluğu sabit olsa bile tahminlerin yönlendirmesini değiştirir. Sonuç, bilinçli biçimde yalnızca bu karar katmanıyla sınırlı tutulur. Güven, otomatik eylemi ya da incelemeyi yönlendirmek için kullanıldığında, yalnızca etiketleme doğruluğundan çıkarılmak yerine doğrudan işletim eşiklerinde değerlendirilmeli ve güvenileceği her veri kaynaklı kaynağın menşei de dahil olmak üzere güven kaynağı kendisi, güvendilmeden önce doğrulanmalıdır. Aynı kalibrasyon değişimlerinin tam metin düzeltmesinde gereksiz düzenlemeleri azaltıp azaltmadığı, ayrı bir deneyin uçtan uca sorunsalını oluşturur.

Açıklamalar

Veri erişilebilirliği açıklaması

Bu makalenin sonuçlarını destekleyen ham veriler, authors tarafından gereksiz gecikme olmaksızın erişime sunulacaktır.

Yazar katkıları

LB: Kavramlaştırma, Finansman sağlanması, Metodoloji, Proje yönetimi, Kaynaklar, Gözetim, Yazım – ilk taslak, Yazım – inceleme & düzenleme. AB: Kavramlaştırma, Resmi analiz, Soruşturma, Yazılım, Doğrulama, Yazım – ilk taslak, Yazım – inceleme & düzenleme. GuM: Kavramlaştırma, Soruşturma, Metodoloji, Yazılım, Gözetim, Doğrulama, Görselleştirme, Yazım – ilk taslak, Yazım – inceleme & düzenleme, Formal analiz. GaM: Kavramlaştırma, Metodoloji, Doğrulama, Görselleştirme, Yazım – ilk taslak. ST: Kavramlaştırma, Veri düzenlemesi, Formal analiz, Metodoloji, Yazılım, Gözetim, Doğrulama, Görselleştirme, Yazım – ilk taslak. DN: Kavramlaştırma, Veri düzenlemesi, Formal analiz, Kaynaklar, Gözetim, Doğrulama, Görselleştirme, Yazım – ilk taslak.

Fismanma

Sorumlu yazarlar, bu çalışmanın ve/veya yayının finansal destek aldığını beyan etti. Bu araştırma, “Kazak dili metinlerinin otomatik düzeltmesi için yenilikçi teknolojiler: makine öğrenimi ve morfoljik analiz” başlıklı proje kapsamında Kazakistan Cumhuriyeti Bilim ve Yükseköğretim Bakanlığı Bilim Komutu tarafından (Grant No. IRN AP23487753) finanse edilmiştir.

Çıkar çatışması

GM, Home Credit Bank JSC’de çalışmaktaydı.

Kalan yazarlar, bu çalışmanın ticari veya olası bir çıkar çatışması olarak değerlendirilebilecek herhangi bir ticari ya da finansal ilişki olmadan yürütüldüğünü beyan etti.

Üretken yapay zeka beyanı

Sorumlu yazarlar, bu el yazısının oluşturulmasında Üretken Yapay Zeka‘nın kullanıldığını beyan etti. Bu el yazısının hazırlanması sırasında yazarlar, dil düzenlemesi, dergi şablonuna biçimlendirme ve zaten elde edilen sonuçların bağımsız tekrarlanabilirliğinin doğrulanması (örneğin, bildirilen doğruluk, ECE ve Brier skorunu doğrulamak için serbest bırakılan CRF modelinin ayrı tutulan test bölüntüsünde yeniden çalıştırılması) için bir üretken yapay zeka asistanını kullandı. Tüm araştırma tasarımı, deneyler, analizler ve sonuçlar yazarların kendilerine aittir.

Bu makalede yer alan alternatif metin (alt text) açıklamaları, Frontiers tarafından yapay zekânın desteğiyle üretilmiştir ve mümkün olduğunca yazarların gözden geçirmesini de içeren makul çabalarla doğruluğunun sağlanmasına çalışılmıştır. Herhangi bir sorunu tespit ederseniz, lütfen bizimle iletişime geçin.

Yayıncının notu

Bu makalede ifade edilen tüm görüşler yalnızca yazarlara aittir ve bağlı oldukları kuruluşların, ya da yayıncının, editörlerin ve hakemlerin görüşlerini mutlaka yansıtmaz. Bu makalede değerlendirilebilecek herhangi bir ürün veya üreticisinin yapabileceği herhangi bir iddia, yayıncı tarafından garanti edilmez veya desteklenmez.

Ekleme materiali

Bu makalenin ekleme malzemesi çevrimiçi olarak şu adreste bulunabilir: https://www.frontiersin.org/articles/10.3389/frai.2026.1986970/full#supplementary-material

• AbudouwailiG.AbiderexitiK.YiN.WumaierA. (2023). Joint Learning Model for Low-Resource Agglutinative Language Morphological Tagging Proceedings of the 20th SIGMORPHON Workshop on Computational Research in Phonetics, Phonology, and Morphology. Toronto, Kanada: Association for Computational Linguistics, 27–37.

  • Google Scholar
  • View reference in article

• AhujaK.SitaramS.DandapatS.ChoudhuryM. (2022). On the Calibration of Massively Multilingual Language Models Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. Abu Dhabi, Birleşik Arap Emirlikleri: Association for Computational Linguistics, 4310–4323.

  • Google Scholar
  • View reference in article

• AitimA. (2026). LLM-assisted weak supervision for low-resource Kazakh sequence labeling: synthetic annotation and CRF-refined NER/POS models. Appl. Sci.16:3632. doi: 10.3390/app16083632

  • CrossRef
  • Google Scholar
  • View reference in article

• Baitenova, L., Tussupova, S., Mambetov, S., Munaitbas, G., Mukhamejanova, G. (2025). Kazak dilinde otomatik metin düzeltmesi için hibrit yapay zeka mimarileri. Front. Artif. Intell. 8:1708566. doi: 10.3389/frai.2025.1708566,

  • Pubmed Özeti
  • CrossRef
  • Google Scholar
  • Makalede referansı görüntüle

• Bekmanova, G., Sharipbay, A., Altenbek, G., Adalı, E., Zhetkenbay, L., Kamanur, U. ve ark. (2017). Kazak ve Türkçe için bir morfolojik analizör: Altıncı Uluslararası Görüntü, Sosyal Ağlar ve Metin Analizi Konferansı (AIST 2017) Ek Bildirileri, CEUR Workshop Proceedings 1975, Aachen, Almanya: CEUR-WS.org, 20–30.

  • Google Scholar
  • Makalede referansı görüntüle

• Campos, M., Farinhas, A., Zerva, C., Figueiredo, M. A. T., Martins, A. F. T. (2024). Doğal dil işleme için konformal tahmin: bir derleme. Trans. Assoc. Comput. Linguist. 12, 1497–1516. doi: 10.1162/tacl:a_00715

  • CrossRef
  • Google Scholar
  • Makalede referansı görüntüle

• Conneau, A., Hhandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F. ve ark. (2020). Ölçekli gözetimsiz diller arası temsil öğrenimi. Association for Computational Linguistics’in 58. Yıllık Toplantısı Bildirileri. Stroudsburg, PA, ABD: Association for Computational Linguistics, 8440–8451.

  • Google Scholar
  • Makalede referansı görüntüle

• Desai, S., Durrett, G. (2020). Öğretilmiş dönüştürücülerin kalibrasyonu. 2020 Doğal Dil İşlemede Ampirik Yöntemler Konferansı (EMNLP) Bildirileri. Stroudsburg, PA, ABD: Association for Computational Linguistics, 295–302.

  • Google Scholar
  • Makalede referansı görüntüle

• Devlin J, Chang M W, Lee K, Toutanova K. (2019). BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, c. 1, Minneapolis, MN: Association for Computational Linguistics, 4171–4186.

  • Google Scholar
  • View reference in article

• Erlanulu Y G. (2025). KazBERT: A Custom BERT Model for the Kazakh Language. Geneva, Switzerland: Zenodo.

  • Google Scholar
  • View reference in article

• Geifman Y, El-Yaniv R. (2017). Selective Classification for Deep Neural Networks. Advances in Neural Information Processing Systems, Red Hook, NY, USA: Curran Associates, Inc., 30, 4878–4887.

  • Google Scholar
  • View reference in article

• Geng J, Cai F, Wang Y, Koeppl H,akov P, Gurevych I. (2024). A Survey of Confidence Estimation and Calibration in Large Language Models. Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, c. 1, Mexico City, Mexico: Association for Computational Linguistics, 6577–6595.

  • Google Scholar
  • View reference in article

• Guo C, Pleiss G, Sun Y, Weinberger K Q. (2017). On Calibration of Modern Neural Networks. Proceedings of the 34th International Conference on Machine Learning, Cambridge, MA, USA: PMLR 70, 1321–1330.

  • Google Scholar
  • View reference in article

• Kessikbayeva G, Cicekli I. (2014). Rule Based Morphological Analyzer of Kazakh Language. Proceedings of the 2014 Joint Meeting of SIGMORPHON and SIGFSM. Baltimore, MD: Association for Computational Linguistics, 46–54.

  • Google Scholar
  • View reference in article

• Makazhanov A, Sultangazina A, Makhambetov O, Yessenbayev Z. (2015). Kazak Dilinin Söz dizimsi Açısından İşaretlenmesi: Evrensel Bağımlılıklar Kılavuzlarını İzleyerek. 3. Uluslararası Türk Dillerinin İşlenmesi Konferansı (TurkLang 2015) Raporu, Kazan, Rusya: Tataristan Cumhuriyeti Bilimler Akademisi Yayınları, 338–350.

  • Google Scholar
  • View reference in article

• Naeini M. P, Cooper G. F, Hauskrecht M. (2015). Bayesian eşitleme kullanarak iyi eşitlenmiş olasılıklar elde etmek. Proc. AAAI conf. Artif. Intell.29, 2901–2907. doi: 10.1609/aaai.v29i1.9602

  • CrossRef
  • Google Scholar
  • View reference in article

• Oflazer K. (1996). Morfoljik analiz ve yazım düzeltmeye yönelik uygulamalarla hata dayanıklı sonlu durum tanıma. Comput. Linguist.22, 73–89.

  • Google Scholar
  • View reference in article

• Tyers F. M, Washington J. N. (2015). 3. Uluslararası Türk Dillerinin İşlenmesi Konferansı (TurkLang 2015), Kazan, Rusya: Tataristan Cumhuriyeti Bilimler Akademisi Yayınları, 276–289.

  • Google Scholar
  • View reference in article

• Xie J, Chen A. S, Lee Y, Mitchell E, Finn C. (2024). Adaptif Sıcaklık Ölçeklemesiyle Dil Modellerinin Eşitlenmesi: 2024 Doğal Dil İşlemede Ampirik Yöntemler Konferansı Bildirileri. Miami, FL: Hesaplamalı Dilbilimi Derneği, 18128–18138.

  • Google Scholar
  • View reference in article

• Xin J, Tang R, Yu Y, Lin J. (2021). İtina: Doğal Dil İşlemede Seçici Tahmin ve Hata Düzenlemesi İçin Çekinme Sanatı: 59. Yıllık Hesaplamalı Dilbilimi Derneği Toplantısı ve 11. Uluslararası Doğal Dil İşlemeye Yönelik Ortak Konferans Bildirileri, cilt 1, Stroudsburg, PA, ABD: Hesaplamalı Dilbilimi Derneği, 1040–1051.

  • Google Scholar
  • View reference in article

• Yeshpanov, R., Khassanov, Y. ve Varol, H. A. (2022). KazNERD: Kazakh Varlık Adı Tanıma Veri Seti — Onüçüncü Dil Kaynakları ve Değerlendirme Konferansı Bildirileri. Marseille, Fransa: European Language Resources Association, 417–426.

  • Google Scholar
  • Makalede kaynağı görüntüle

• Zhu, C., Xu, B., Wang, Q., Zhang, Y. ve Mao, Z. (2023). Büyük Dil Modellerinin Kalibrasyonu ve Hesaplamalı Dil Bilimi Derneği Findings of the Association for Computational Linguistics: EMNLP 2023. Singapore: Association for Computational Linguistics, 9778–9795.

  • Google Scholar
  • Makalede kaynağı görüntüle

Özet

Anahtar Kelimeler

güvenilir kalibrasyon, Kazakh morfolojik analiz, düşük kaynaklı NLP, sözcük türü etiketleme, seçici tahmin, sıcaklık ölçekleme

Atıf

Baitenova L, Baikhojayev A, Mukhamejanova G, Munaitbas G, Tussupova S ve Nurtaza D (2026) Trustworthy confidence in Kazakh POS tagging: calibration and selective decisions in a low-resource text-correction pipeline. Front. Artif. Intell. 9:1986970. doi: 10.3389/frai.2026.1986970

Makale Alındı

02 Eylül 2026

Düzeltildi

07 Ekim 2026

Kabul Edildi

17 Ekim 2026

Yayınlandı

11 Kasım 2026

9 – 2026

Jose Luis Ordoñez-Avila, Orta Amerika Teknoloji Üniversitesi, Honduras

Aigerim Aitim, Uluslararası Bilgi Teknolojileri Üniversitesi, Kazakistan

Suresh Kumar Samarla, Sagi Ramakrishnam Raju Mühendislik Fakültesi, Hindistan

© 2026 Baitenova, Baikhojayev, Mukhamejanova, Munaitbas, Tussupova ve Nurtaza.

Bu, Creative Commons Atıf Lisansı (CC BY) koşulları altında erişime açık bir makaledir. Orijinal yazar(lar)ın ve telif hakkı sahib(ler)inin itibar edildiği ve bu dergideki orijinal yayının, kabul görmüş akademik uygulamalar doğrultusunda atıf edildiği sürece, diğer forumlarda kullanım, dağıtım veya çoğaltma izinlidir. Bu koşullara uymayan herhangi bir kullanım, dağıtım veya çoğaltma izinlidir.

İletişim: Gulnar Mukhamejanova, gulnar.mukhamedzhanova@narxoz.kz

Bu makalede ifade edilen tüm iddialar yalnızca yazarlara aittir ve bağlı oldukları kuruluşların ya da yayıncının, editörlerin ve hakemlerin görüşlerini kesin olarak yansıtmaz. Bu makalede değerlendirilebilecek herhangi bir ürün veya üreticisinin yapabileceği herhangi bir iddia, yayıncı tarafından garanti edilmez veya desteklenmez.