turkhukuk.ai / HukukBERT
95% CI — Top-1: [81.63%, 86.82%] · Top-3: [97.74%, 99.37%]
21 GB temizlenmiş hukuki corpus üzerinde, gelişmiş maskeleme stratejileriyle eğitilmiş — Türkiye'nin en kapsamlı hukuki dil modeli.
Doğal dil işleme (NLP) alanındaki gelişmeler, hukuk teknolojisi (LegalTech) uygulamalarına önemli kapılar açmıştır. Ancak Türk hukuku özelinde mevcut çalışmalar ciddi veri kısıtlarıyla sınırlı kalmıştır.
Buna karşılık, yurtdışında hukuk alanına özgü daha geniş kapsamlı çalışmalar yapılmıştır. Örneğin İngilizce hukuk metinleri üzerinde geliştirilen LEGAL-BERT (Chalkidis ve ark., 2020) yaklaşık 12 GB büyüklüğünde bir veri seti kullanılarak eğitilmiştir. Bu durum, Türk hukuku için daha kapsamlı ve yüksek hacimli veri setlerine dayalı modellere duyulan ihtiyacı açıkça ortaya koymaktadır.
HukukBERT, bu sınırlamaları aşmak amacıyla içtihat, mevzuat ve literatür verilerini içeren 21 GB boyutunda temizlenmiş bir Türk hukuk corpusu üzerinde eğitilmiştir. Bu ölçek, terminolojik kapsama ve çeşitlilik açısından önceki çalışmalara kıyasla belirgin bir sıçramaya karşılık gelmektedir.
Eğitilen model, hukuki kavram tahmininde (Hukuki Cloze Testi) genel amaçlı Türkçe BERT modellerine ve diğer alan-spesifik modellere karşı kayda değer bir üstünlük sergilemektedir:
95% CI — Top-1: [81.63%, 86.82%] · Top-3: [97.74%, 99.37%]
HukukBERT, sıralamada kendisine en yakın model olan Mürsit-Large'a kıyasla Top-1 doğruluğunda +5.60 puan, standart BERTurk modeline kıyasla ise +20.67 puan mutlak iyileşme sağlamıştır.
Sayıların ötesinde, aşağıdaki örnekler HukukBERT'in hukuki terminolojiye olan hakimiyetini somut olarak ortaya koymaktadır:
Mükerrirlere özgü infaz rejiminin ve cezanın infazından sonra denetimli serbestlik tedbirinin, [MASK], suçu meslek edinen kişi veya örgüt mensubu suçlu hakkında da uygulanmasına hükmedilir.
FAILturkish-large-berttaksirli suçlu (0.30) · tesadüfi suçlu=0.25 · asi suçlu=0.23 · itiyadi suçlu=0.22
FAILMürsit-Largetaksirli suçlu (0.80)
FAILBERTurk-Legaltaksirli suçlu (0.82)
FAILTabiBERTasi suçlu (0.41) · taksirli suçlu=0.36 · tesadüfi suçlu=0.20
FAILBERTurk-casedasi suçlu (0.46) · taksirli suçlu=0.24 · itiyadi suçlu=0.15 · tesadüfi suçlu=0.15
FAILBERTurk-128ktaksirli suçlu (0.69)
WINHukukBERTitiyadi suçlu (0.96) · Vocab: örgüt=0.672, terör=0.056, mükerrir=0.052
Mirasbırakanın vefatı ile birlikte, mirasçılara kanun gereği bir bütün olarak geçen malvarlığına [MASK] denir.
FAILturkish-large-bertmiras (0.98)
WINMürsit-Largetereke (0.94)
FAILBERTurk-Legalmiras (0.59) · tereke=0.30
FAILTabiBERTmiras (0.95)
FAILBERTurk-casedmiras (0.98)
FAILBERTurk-128kmiras (0.92)
WINHukukBERTtereke (0.96) · Vocab: tereke=0.924, miras=0.037
İcra mahkemesinin para cezasına ilişkin olmayan nihai kararlarına karşı kural olarak [MASK] kanun yoluna başvurulabilir.
FAILturkish-large-bertitiraz (0.85)
WINMürsit-Largeistinaf (0.84)
FAILBERTurk-Legalitiraz (0.85)
FAILTabiBERTitiraz (0.87)
FAILBERTurk-caseditiraz (0.45) · istinaf=0.30 · karar düzeltme=0.19
WINBERTurk-128kistinaf (0.67)
WINHukukBERTistinaf (0.82) · Vocab: temyiz=0.622, istinaf=0.313, itiraz=0.056
Sözleşmenin taraflarından birinin, sözleşmede öngörülen edimini ifa etmemesi durumunda, diğer tarafın sahip olduğu hakları kullanabilmesi için borçluya uygun bir [MASK] vermesi veya verdirmesi kural olarak zorunludur.
FAILturkish-large-bertceza (0.48) · tazminat=0.38 · ihtarname=0.14
WINMürsit-Largemehil (0.96)
WINBERTurk-Legalmehil (0.97)
FAILTabiBERTtazminat (0.83)
FAILBERTurk-casedihtarname (0.58) · mehil=0.22
FAILBERTurk-128kceza (0.52) · tazminat=0.29 · mehil=0.16
WINHukukBERTmehil (1.00) · Vocab: mehil=0.807, süre=0.114, önel=0.049
Corpus oluşturulurken aşağıdaki birincil kaynaklardan yararlanılmıştır:
| Alan | İçerik | Belge Sayısı | Boyut (GB) |
|---|---|---|---|
| MEVZUAT | Mevzuat | 16.114 | 0,31 |
| İÇTİHAT | Yerel Hukuk | 526.432 | 4,58 |
| İÇTİHAT | KYB | 161 | <0,01 |
| HUKUK | Sözlük | 2.449 | <0,01 |
| İÇTİHAT | İstinaf | 208.901 | 1,90 |
| İÇTİHAT | Yargıtay | 9.584.616 | 16,23 |
| İÇTİHAT | AYM | 21.185 | 0,43 |
| HUKUK DIŞI | Vikipedi | 294.382 | 0,76 |
| HUKUK | Tez | 154 | 0,02 |
| İÇTİHAT | Danıştay | 329.862 | 2,65 |
| HUKUK | Ceza | 644 | 0,03 |
| HUKUK | TBB | 1.981 | 0,09 |
| HUKUK | GSU | 381 | 0,02 |
| TOPLAM | 10.987.262 | 27,02 | |
Hukuki belgeler, kalıp ifadeler ("Gereği düşünüldü", "Aşağıdaki karar verilmiştir" vb.) ve biçimsel tekrarlar
nedeniyle yüksek oranda benzerlik göstermektedir. MinHash LSH yöntemiyle (num_perm=256,
threshold=0.90) benzer belgeler tespit edilerek corpus'tan çıkarılmıştır.
| Alan | İçerik | Belge Sayısı | Boyut (GB) |
|---|---|---|---|
| MEVZUAT | Mevzuat | 16.067 | 0,31 |
| İÇTİHAT | Yerel Hukuk | 476.049 | 4,16 |
| İÇTİHAT | KYB | 161 | <0,01 |
| HUKUK | Sözlük | 2.371 | <0,01 |
| İÇTİHAT | İstinaf | 193.079 | 1,84 |
| İÇTİHAT | Yargıtay | 7.588.993 | 14,48 |
| İÇTİHAT | AYM | 21.013 | 0,43 |
| HUKUK DIŞI | Vikipedi | 275.203 | 0,62 |
| HUKUK | Tez | 152 | 0,02 |
| İÇTİHAT | Danıştay | 320.330 | 2,60 |
| HUKUK | Ceza | 641 | 0,03 |
| HUKUK | TBB | 1.981 | 0,09 |
| HUKUK | GSU | 381 | 0,02 |
| TOPLAM | 8.896.421 | 24,60 | |
Upscale/downscale işlemi uygulanarak kaynaklar arası denge kurulmuştur. Yargıtay kararları ~14.5 GB'dan ~3.5 GB'a daraltılırken; makale, tez ve mevzuat kaynakları çoğaltılarak nihai corpus ~19 GB / ~2.3M belge olarak dengelenmiştir.
Adalet Bakanlığı Hukuk Sözlüğü'nden elde edilen hukuki terimler de dahil edilerek yeni bir tokenizer eğitilmiştir. WordPiece ve Unigram yaklaşımları karşılaştırılmış, Zemberek morfolojik ön-işleme denemeleri yapılmış ve nihai olarak 48K WordPiece tokenizer seçilmiştir.
| Tokenizer | Ort. Subword / Satır | Vocab |
|---|---|---|
| hukukbert-base-48k-cased | 4,82 | 48.009 |
| hukukbert-base-42k-cased-no-zemberek | 4,84 | 42.020 |
| bert-base-turkish-128k-cased | 5,16 | 128.000 |
| Mursit-Large | 5,26 | 59.008 |
| hukukbert-base-42k-cased-zemberek | 5,67 | 42.020 |
| BERTurk-Legal | 5,67 | 128.000 |
| hukukbert-42k-cased-unigram-v1 | 6,23 | 42.102 |
| bert-base-turkish-cased | 6,42 | 32.000 |
| turkish-large-bert-cased | 6,42 | 32.000 |
| TabiBERT | 7,38 | 50.176 |
Domain-Adaptive Pre-Training (DAPT) yöntem ile ilerlenmiş, tokenizer'ın değişmiş olması model ağırlıklarının yeniden ayarlanmasını gerektirmiştir.
| Metrik | Değer |
|---|---|
| Orjinal Model | 128.000 (110.185 bütün kelime · 17.815 continuation) |
| HukukBERT-48K | 48.009 (41.699 bütün kelime · 6.310 continuation) |
| Paylaşılan token sayısı | 36.837 |
| Örtüşme (HukukBERT perspektifi) | 76,7% |
| Örtüşme (Orjinal Model) | 28,8% |
| Kategori | Token | % |
|---|---|---|
| Birebir eşleşme (exact match) | 36.837 | 76,7 |
| Mean initialization | 11.171 | 23,3 |
| Random initialization | 1 | <0,1 |
| Toplam | 48.009 | 100,0 |
Whole Word Masking (WWM): Tek bir kelimenin tüm alt tokenları birlikte maskelenerek modelin bütüncül hukuki kavramları öğrenmesi sağlanmıştır.
Span Masking: SpanBERT'te tanıtılan teknikle ardışık hukuki ifadeler bir bütün olarak maskelenmiştir.
Keyword Masking: 40.000'den fazla hukuki terimden oluşan bir veri seti hazırlanarak maskeleme bütçesinin %30'u bu terimlere ayrılmıştır.
Eğitim, NVIDIA H200 SXM üzerinde toplam 19 saat sürmüştür.
MLM Probability 0.25
Learning Rate 1e-5
Adam β1 / β2 0.9 / 0.98
Batch Size 192
Gradient Accumulation 5
Effective Batch Size 960
Warmup Steps 500
Optimizer AdamW
Scheduler Linear
Epoch 2
Eğitim sürecinde alınan checkpoint'ler aşağıda sunulmuştur:
| Checkpoint | Top-1 | Top-1 95% CI | Top-3 | Top-3 95% CI |
|---|---|---|---|---|
| checkpoint-22000 | 84,13% | [81,35% – 86,57%] | 98,80% | [97,74% – 99,37%] |
| checkpoint-21500 | 84,13% | [81,35% – 86,57%] | 98,80% | [97,74% – 99,37%] |
| checkpoint-20500 | 84,13% | [81,35% – 86,57%] | 98,67% | [97,56% – 99,27%] |
| checkpoint-20000 | 84,13% | [81,35% – 86,57%] | 98,67% | [97,56% – 99,27%] |
| checkpoint-29000 | 83,87% | [81,06% – 86,33%] | 98,67% | [97,56% – 99,27%] |
| checkpoint-28000 (yayınlanan) | 83,87% | [81,06% – 86,33%] | 98,80% | [97,74% – 99,37%] |
| checkpoint-26000 | 83,87% | [81,06% – 86,33%] | 98,80% | [97,74% – 99,37%] |
| Final model | 83,60% | [80,78% – 86,08%] | 98,93% | [97,91% – 99,46%] |
| checkpoint-10500 | 82,53% | [79,65% – 85,08%] | 98,40% | [97,22% – 99,08%] |
| checkpoint-8000 | 80,67% | [77,69% – 83,33%] | 98,00% | [96,73% – 98,78%] |
| checkpoint-4000 | 79,07% | [76,01% – 81,83%] | 97,73% | [96,40% – 98,58%] |
Not: Tam checkpoint listesi için GitHub deposuna başvurabilirsiniz.
Model performansını ölçmek için, hukuki kavram tahmine dayalı özel bir cloze test benchmark'ı oluşturulmuştur.
Benchmark veri seti açık kaynak olarak erişilebilir: hukukbert-cloze-benchmark
Top-1 Accuracy, modelin en yüksek olasılıkla tahmin ettiği seçeneğin doğru cevap olma oranıdır. Top-3 Accuracy ise doğru cevabın ilk üç seçenek arasında bulunma oranını ifade eder. Tüm sonuçlar 750 soruluk test seti üzerinde bootstrap ile hesaplanan %95 güven aralıklarıyla raporlanmıştır. Bu yaklaşım, tekil skorların ötesine geçerek ölçüm belirsizliğini de şeffaf biçimde ortaya koymayı amaçlamaktadır.
HukukBERT, yalnızca genel amaçlı BERTurk modellerini değil, diğer alan-spesifik Türkçe modelleri de önemli bir farkla geride bırakmıştır:
| Model | Top-1 | Top-1 95% CI | Top-3 | Top-3 95% CI |
|---|---|---|---|---|
| turkhukuk.ai/hukukbert | 84,40% | [81,63% – 86,82%] | 98,80% | [97,74% – 99,37%] |
| newmindai/Mursit-Large | 78,80% | [75,73% – 81,57%] | 97,73% | [96,40% – 98,58%] |
| KocLab-Bilkent/BERTurk-Legal | 75,47% | [72,26% – 78,41%] | 96,00% | [94,35% – 97,18%] |
| dbmdz/bert-base-turkish-128k-cased | 71,87% | [68,54% – 74,97%] | 95,20% | [93,43% – 96,51%] |
| boun-tabilab/TabiBERT | 68,13% | [64,71% – 71,37%] | 95,33% | [93,58% – 96,63%] |
| dbmdz/bert-base-turkish-cased | 63,73% | [60,23% – 67,10%] | 93,47% | [91,47% – 95,02%] |
| ytu-ce-cosmos/turkish-large-bert-cased | 61,60% | [58,07% – 65,01%] | 91,20% | [88,96% – 93,02%] |
Aşağıdaki örnekler, farklı hukuk alanlarından seçilmiş sorularda tüm modellerin performansını göstermektedir:
Mükerrirlere özgü infaz rejiminin ve cezanın infazından sonra denetimli serbestlik tedbirinin, [MASK], suçu meslek edinen kişi veya örgüt mensubu suçlu hakkında da uygulanmasına hükmedilir.
FAILturkish-large-berttaksirli suçlu (0.30) · tesadüfi suçlu=0.25 · asi suçlu=0.23 · itiyadi suçlu=0.22
FAILMürsit-Largetaksirli suçlu (0.80)
FAILBERTurk-Legaltaksirli suçlu (0.82)
FAILTabiBERTasi suçlu (0.41) · taksirli suçlu=0.36 · tesadüfi suçlu=0.20
FAILBERTurk-casedasi suçlu (0.46) · taksirli suçlu=0.24 · itiyadi suçlu=0.15 · tesadüfi suçlu=0.15
FAILBERTurk-128ktaksirli suçlu (0.69)
WINHukukBERTitiyadi suçlu (0.96) · Vocab: örgüt=0.672, terör=0.056, mükerrir=0.052
Haksız fiillerde maddi veya manevi tazminat istemi, zarar görenin zararı ve tazminat yükümlüsünü öğrendiği tarihten başlayarak [MASK] yılın ve her halde fiilin işlendiği tarihten başlayarak on yılın geçmesiyle zamanaşımına uğrar.
FAILturkish-large-bertbir (0.38) · beş=0.33 · iki=0.21
WINMürsit-Largeiki (0.79)
FAILBERTurk-Legalbir (0.82)
WINTabiBERTiki (0.75)
FAILBERTurk-casedbir (0.54) · iki=0.25 · beş=0.14
WINBERTurk-128kiki (0.68)
WINHukukBERTiki (0.82) · Vocab: iki=0.803, bir=0.130, beş=0.044
Bölge Adliye Mahkemesi kararı tebliğ edildikten sonra yasal [MASK] olan iki haftalık süre geçtikten sonra davalı vekili tarafından temyiz dilekçesi sunulmuştur. 6100 sayılı Hukuk Muhakemeleri Kanunu hükümleri gereğince, süresinden sonra yapılan bu başvurunun usulden reddine karar verilmesi gerekmiştir.
WINturkish-large-bertbaşvuru süresi (0.98)
WINMürsit-Largebaşvuru süresi (0.58) · hak düşürücü süre=0.27
WINBERTurk-Legalbaşvuru süresi (0.65) · hak düşürücü süre=0.35
FAILTabiBERTzamanaşımı süresi (0.69) · başvuru süresi=0.29
WINBERTurk-casedbaşvuru süresi (0.94)
WINBERTurk-128kbaşvuru süresi (0.65) · zamanaşımı süresi=0.32
WINHukukBERTbaşvuru süresi (0.85) · Vocab: temyiz=0.691, başvuru=0.138, süre=0.037
Kişisel verilerin hukuka uygun işlenmesi için ilgili kişinin aydınlatılması, [MASK] yükümlülüğünün bir sonucudur.
WINturkish-large-bertşeffaflık (0.93)
WINMürsit-Largeşeffaflık (0.62) · sözleşmesel=0.37
WINBERTurk-Legalşeffaflık (0.74)
WINTabiBERTşeffaflık (0.96)
WINBERTurk-casedşeffaflık (0.99)
WINBERTurk-128kşeffaflık (0.46) · cezai=0.35 · sözleşmesel=0.18
WINHukukBERTşeffaflık (1.00) · Vocab: aydınlatma=0.962
Takip borcun tamamen ödenmesiyle sona ermişse, icra mahkemesine yapılan şikayet hakkında [MASK] karar verilir.
FAILturkish-large-bertreddi (0.62) · karar verilmesine yer olmadığı=0.32
FAILMürsit-Largereddi (0.47) · karar verilmesine yer olmadığı=0.39 · görevsizlik=0.11
FAILBERTurk-Legalkarar verilmesine yer olmadığı (0.41) · görevsizlik=0.41 · kabulü=0.18
FAILTabiBERTkabulü (0.64)
FAILBERTurk-casedreddi (0.91)
FAILBERTurk-128kgörevsizlik (0.92)
WINHukukBERTkarar verilmesine yer olmadığı (1.00) · Vocab: bir=0.293, da=0.264, mahkemece=0.119
Sözleşmenin kurulması için karşı tarafa yöneltilen irade açıklamasına [MASK] denir.
FAILturkish-large-bertaldatma (0.73)
WINMürsit-Largeicab (0.81)
FAILBERTurk-Legalmüteselsil borçluluk (0.61) · icab=0.23
WINTabiBERTicab (0.52) · aldatma=0.44
FAILBERTurk-casedaldatma (0.85)
WINBERTurk-128kicab (0.60) · aldatma=0.36
WINHukukBERTicab (0.99) · Vocab: icap=0.657, irade=0.176
Sözleşmenin taraflarından birinin, sözleşmede öngörülen edimini ifa etmemesi durumunda, diğer tarafın sahip olduğu hakları kullanabilmesi için borçluya uygun bir [MASK] vermesi veya verdirmesi kural olarak zorunludur.
FAILturkish-large-bertceza (0.48) · tazminat=0.38 · ihtarname=0.14
WINMürsit-Largemehil (0.96)
WINBERTurk-Legalmehil (0.97)
FAILTabiBERTtazminat (0.83)
FAILBERTurk-casedihtarname (0.58) · mehil=0.22
FAILBERTurk-128kceza (0.52) · tazminat=0.29 · mehil=0.16
WINHukukBERTmehil (1.00) · Vocab: mehil=0.807, süre=0.114, önel=0.049
Mirasbırakanın vefatı ile birlikte, mirasçılara kanun gereği bir bütün olarak geçen malvarlığına [MASK] denir.
FAILturkish-large-bertmiras (0.98)
WINMürsit-Largetereke (0.94)
FAILBERTurk-Legalmiras (0.59) · tereke=0.30
FAILTabiBERTmiras (0.95)
FAILBERTurk-casedmiras (0.98)
FAILBERTurk-128kmiras (0.92)
WINHukukBERTtereke (0.96) · Vocab: tereke=0.924, miras=0.037
Aynı amaçla düzenlenen sözleşmelerin metinlerinin özdeş olmaması, bu sözleşmelerde yer alan hükümlerin [MASK] sayılmasına engel teşkil etmez.
FAILturkish-large-bertsözleşme öncesi bildirimler (0.43) · genel işlem koşulu=0.31 · teamül hükümleri=0.16 · tamamlayıcı yorum kuralları=0.10
WINMürsit-Largegenel işlem koşulu (0.53) · teamül hükümleri=0.30 · tamamlayıcı yorum kuralları=0.14
FAILBERTurk-Legalsözleşme öncesi bildirimler (0.61) · teamül hükümleri=0.21
WINTabiBERTgenel işlem koşulu (0.60) · sözleşme öncesi bildirimler=0.23
WINBERTurk-casedgenel işlem koşulu (0.37) · sözleşme öncesi bildirimler=0.36 · tamamlayıcı yorum kuralları=0.19
WINBERTurk-128kgenel işlem koşulu (0.41) · tamamlayıcı yorum kuralları=0.27 · teamül hükümleri=0.20 · sözleşme öncesi bildirimler=0.12
WINHukukBERTgenel işlem koşulu (0.98) · Vocab: aynı=0.136, tek=0.118, de=0.095
İcra mahkemesinin para cezasına ilişkin olmayan nihai kararlarına karşı kural olarak [MASK] kanun yoluna başvurulabilir.
FAILturkish-large-bertitiraz (0.85)
WINMürsit-Largeistinaf (0.84)
FAILBERTurk-Legalitiraz (0.85)
FAILTabiBERTitiraz (0.87)
FAILBERTurk-caseditiraz (0.45) · istinaf=0.30 · karar düzeltme=0.19
WINBERTurk-128kistinaf (0.67)
WINHukukBERTistinaf (0.82) · Vocab: temyiz=0.622, istinaf=0.313, itiraz=0.056
TurkHukuk.ai ekibi olarak, Türkiye'de bu ölçekte ilk kez gerçekleştirilen bu çalışmayla 21 GB temizlenmiş hukuki corpus kullanılarak HukukBERT modeli eğitilmiştir. Model, hem genel amaçlı Türkçe BERT modellerine hem de mevcut alan-spesifik modellere kıyasla hukuki kavram tahmininde kayda değer bir üstünlük sergilemiştir.
HukukBERT, sonraki aşamalarda hukuki NER (Named Entity Recognition), metin segmentasyonu ve semantik arama gibi downstream görevlerde temel model olarak kullanılmaktadır. oluşturmaktır.