Sade Bir Dille RAG: Yapay Zekâ Asistanınızı Doğru ve Kaynağa Dayalı Tutmak

Bir web sitesi yapay zekâ asistanı ararken, size neredeyse kesinlikle onun doğruluğunu korumak için RAG kullandığı söylenmiştir. Erişim destekli üretim (RAG), bir asistanın, dil modelinin eğitim sırasında rastgele öğrendiği bilgiler yerine sizin işletme içeriğinizden yanıt vermesini sağlamanın en yaygın yoludur. Gerçekten yararlı, aynı zamanda sıklıkla olduğundan fazla pazarlanan bir yöntemdir.

Dürüst özeti basittir. RAG, bir asistanın doğru olma olasılığını artırır ve yanıldığında düzeltilmesini kolaylaştırır. Ancak asistanı yanılmaz kılmaz. Bu farkı anlamak işin özüdür: neyi kurduğunuzu, neyi test ettiğinizi ve kötü bir günde neyle karşılaşacağınızı değiştirir.

Kısa cevap

• RAG, yazmadan önce arar. Bir soru geldiğinde sistem, onaylı içeriğinizde arama yapar ve ardından dil modelinden yalnızca bulduğu bilgiyle yanıt vermesini ister.
• Kaynağa dayandırma halüsinasyonları azaltır; ortadan kaldırmaz. Kaynağa dayalı bir yanıt gerçek belgelere bağlıdır; ancak model yine de yanlış okuyabilir, aşırı genelleme yapabilir veya erişimin atladığı bir boşluğu doldurabilir.
• Yanıt kalitesi, büyük ölçüde bilgi tabanı kalitesidir. Güncelliğini yitirmiş, tekrarlı veya çelişkili içerik, kendinden emin ama yanlış yanıtlar üretir.
• Çoğu hata, erişim ve parçalama aşamasında başlar. Doğru pasaj bulunamazsa, model ne kadar yetenekli olursa olsun onu kullanamaz.
• Kaynak gösterme ve net bir "bilmiyorum", zayıflık değil özelliktir. Kullanıcıların yanıtları doğrulamasını sağlar ve asistanın blöf yapmasını önler.
• Ölçmediğinizi yönetemezsiniz. İyi bir demoyu güvenilir bir sisteme dönüştüren şey, değerlendirme ve koruma bariyerleridir.

RAG gerçekte ne yapar: adım adım

Tek başına bir dil modeli, eğitim verilerinin bulanık ve sıkıştırılmış bir hafızasından yanıt verir. Fiyatlarınız, politikalarınız ya da geçen ay çıkardığınız ürün hakkında güvenilir bir bilgisi yoktur; yine de sorulduğunda çoğu kez makul görünen ama doğrulanmamış bir şey üretir. Bu davranışa halüsinasyon diyoruz.

RAG, yazma adımının önüne bir araştırma adımı yerleştirir. Dört şey olur:

1. Hazırlama. Onaylı içeriğiniz (ürün sayfaları, dokümanlar, politikalar, yardım merkezi makaleleri) pasajlara bölünür ve yalnızca anahtar kelimeyle değil, anlama göre de aranabilecek biçimde saklanır.
2. Erişim. Bir ziyaretçi soru sorduğunda sistem, o belirli soruyla en ilgili pasajları bulur.
3. Zenginleştirme. Bu pasajlar, sağlanan materyali kullanarak yanıt verme talimatıyla birlikte modelin çalışma bağlamına yerleştirilir.
4. Üretim. Model, erişilen pasajlardan bir yanıt yazar ve ideal olarak bilginin kaynağına atıfta bulunur.

Belleğinden yanıt vermesine izin verilmeyen bir asistan düşünün: her soru geldiğinde önce bir dosya dolabına gidip ilgili belgeleri çıkarmak ve yalnızca önündeki bilgiden yanıt vermek zorundadır. Soru artık "model ne biliyor" olmaktan çıkıp "sistem ne bulabilir" hâline gelir; ve bu ikincisi gerçekten kontrol edebileceğiniz bir şeydir.

Kaynağa dayandırma halüsinasyonları azaltır, yok etmez

Kaynağa dayandırma (grounding), yanıtın erişilen materyalle desteklenmesi gerektiği kuralıdır ve güçlü bir kuraldır: güncel fiyat sayfanıza dayandırılan bir asistan, var olmayan bir indirim uydurmaz; yeter ki erişim doğru çalışsın ve sayfa doğru olsun.

Ancak dayandırma, hata biçimlerini ortadan kaldırmaz, yalnızca daraltır. Bir asistan, modelin "zekâsız" olmasıyla ilgisiz biçimlerde hâlâ yanılabilir:

• Erişim ıskalar. İlgili pasaj hiç getirilmezse model bir boşluktan yanıt verir; ya çekingen davranır ya da tahmin eder.
• Kaynak yanlıştır. Dayandırma, güncelliğini yitirmiş bir politikayı güncel olanı kadar kendinden emin biçimde tekrarlar. Asistan, arkasındaki belge kadar doğrudur.
• Model aşırıya kaçar. Doğru üç pasaj verildiğinde bile model, bunları hiçbirinin desteklemediği dördüncü bir iddiaya bağlayabilir.
• Soru belirsizdir. "Kapsama dâhil mi?" sorusu; paket, bölge ve tarih bilinmeden hiçbir şey ifade etmez. Erişim, makul görünen bir soru için yanlış bağlamı getirebilir.

Zorlu alanlarda kaynağa dayalı sistemler üzerinde yapılan bağımsız testler, erişim eklendikten sonra bile kayda değer hata oranlarını defalarca göstermiştir. Buradaki ders, RAG'in başarısız olduğu değil, riskin biçimini değiştirdiğidir: kendinden emin biçimde bir şeyler uyduran bir sistemden, genellikle doğru olan ve arada bir daha dar, daha kolay saptanabilir biçimlerde yanılan bir sisteme geçersiniz. Büyük bir iyileşme; ama yine de sıfır değil.

İlgili yazı: Bilgi Tabanınız Yapay Zekâya Hazır mı? 12 Maddelik İçerik Denetimi

Zincir, ancak en zayıf halkası kadar güçlüdür

Bir RAG asistanını tek bir akıllı bileşen değil, bir zincir olarak görün: herhangi bir halkadaki hata kötü bir yanıt üretir ve her halkanın çözümü farklıdır.

Aşama	Ne ters gidebilir	Çözüm nerede
Kaynak içerik	Güncelliğini yitirmiş, tekrarlı veya çelişkili materyal	Bilgi tabanı hijyeni ve sahiplik
Parçalama	Fikri ortasından bölen ya da ilgisiz içerikle karışmış pasajlar	İçeriğin nasıl bölündüğü ve etiketlendiği
Erişim	Doğru pasajın bulunamaması ya da alt sıralarda yer alması	Arama yapılandırması ve üstveri
Üretim	Modelin aşırı genelleme yapması ya da bağlamı yok sayması	Talimatlar, model seçimi ve kısıtlar
Sunum	Kaynak yok, yedek davranış yok, fazla iddialı ton	Arayüz tasarımı ve davranış kuralları

Çoğu ekip, doğruluk sorunlarının son iki satırda olduğunu, yani sorunun model olduğunu varsayar. Oysa uygulamada önlenebilir hataların çoğuna ilk üç satır yol açar; ilginin karşılığını verdiği yer de burasıdır.

Bilgi tabanı hijyeni: en gösterişsiz ama en önemli iş

Erişim, ancak arkasındaki içerik kadar iyiyse, içerik bakımı yayından önce bir kez yapıp unutacağınız bir angarya değildir; tüm sistemin en yüksek getirili faaliyetidir. Temiz ve erişilebilir bilgi birkaç ortak özelliğe sahiptir:

• Her bilgi için tek bir asıl kaynak. Aynı politika birbirinden hafifçe farklı dört yerde bulunduğunda, erişim er ya da geç yanlış olanı öne çıkarır. Birleştirin, sonra tekrarları silin ya da yönlendirin.
• Güncel ve tarihli. Önemli her belge, görünür bir son gözden geçirme tarihi ve bir sahip taşımalıdır; tarihsiz içerik sessizce çürür.
• Yapılandırılmış. Başlıklar, kısa bölümler ve gerçek tablolar; uzun ve kesintisiz metinlere ya da görsellerin içine hapsolmuş metne göre parçalamadan çok daha sağlam çıkar.
• Üstveriyle etiketlenmiş. Ürün, bölge, dil ve sürüm gibi etiketler, sistemin erişimden önce filtrelemesini sağlar; böylece Türkiye pazarına ait bir soru, yalnızca ABD'ye özgü bir sayfadan yanıtlanmaz.
• Çelişkisiz. Birbiriyle uyuşmayan iki belge, birbiriyle uyuşmayan yanıtlar üretir; bunları uzlaştırmak model işi değil, içerik işidir.

"Yapay zekâ doğruluk sorunu" gibi görünen şeylerin çoğu, aslında kılık değiştirmiş bir içerik sorunudur; asistan, bulduğu her şeyi olduğu gibi tekrarlar.

Parçalama ve erişim kalitesi: anlaşılır terimlerle

İki teknik terimin anlaşılır kılınması gerekir; çünkü sağlayıcılar bunları sürekli kullanır.

Parçalama (chunking), içeriğinizin pasajlara nasıl bölündüğüdür. Çok küçük bölerseniz pasaj, anlamını veren bağlamı kaybeder; "ücretsizdir" der ama "neyin" ücretsiz olduğunu söylemez. Çok büyük bölerseniz gerçekten ilgili cümle, alakasız metnin içinde seyrelir. İyi parçalama, belgenin doğal yapısını izler; bir başlığı kendi metniyle, bir adımı kendi açıklamasıyla birlikte tutar. Tek bir doğru boyut yoktur; asıl ölçüt, erişilen pasajların gerçek sorulara eksiksiz ve kendi içinde tam yanıtlar olarak okunup okunmadığıdır.

Erişim kalitesi, sistemin belirli bir soru için gerçekten en iyi pasajları bulup bulmadığıdır. İki yönde başarısız olur: bazen doğru pasaj hiç getirilmez (bir kapsam/recall sorunu), bazen de alakasız pasajlar iyi olanın önüne geçer (bir kesinlik/precision sorunu). Her ikisi de daha iyi üstveri, filtreleme ve sıralamayla düzeltilebilir; ancak yalnızca biri, yalnızca nihai yanıtlara değil, sistemin neyi getirdiğine de bakıyorsa.

Bu nedenle örnek yanıtların arkasındaki erişilen pasajları da görmek isteyin, yalnızca yanıtları değil: doğru kaynak getirildiği hâlde yanıt yine yanlışsa bu bir üretim sorunudur; yanlış kaynak getirildiyse hiçbir talimat onu kurtarmaz.

İlgili yazı: Çok Dilli Yapay Zekâ Asistanları: Arapça, Türkçe ve İngilizce İçin Kapsamlı Rehber

Kaynak gösterme ve "bilmiyorum" diyebilme cesareti

İki davranış, güvenilir bir asistanı yalnızca kendinden emin bir asistandan ayırır.

Birincisi kaynak göstermedir. Bir yanıt, kullandığı kaynağa geri işaret ettiğinde kullanıcı bunu saniyeler içinde doğrulayabilir ve ekibiniz kötü bir yanıtı belirli bir belgeye kadar izleyebilir. Kaynağını belirtmek zorunda olan bir yanıtı uydurmak da zorlaşır; kaynak gösterme bir süs değil, denetim izidir.

İkincisi gerçek bir "bilmiyorum"dur. Her zaman bir yanıt üreten asistan kendinden emin değildir; kendi belirsizliğini fark edemiyordur. İyi tasarlanmış bir sistem, erişimin yararlı hiçbir şey getirmediğini fark ettiğinde bunu söyler ve mantıklı bir sonraki adım sunar: bir bağlantı, bir çalışana aktarım ya da açıklayıcı bir soru. "Bunu doğrulayamadım, şu kişi yardımcı olabilir" denen bir ziyaretçi, akıcı bir tahmin verilen ziyaretçiye kıyasla sisteme daha az değil, daha çok güvenir.

Değerlendirme: gerçekten işe yaradığını nasıl bilirsiniz

Bir demo, asistanı en iyi gününde gösterir. Değerlendirme ise gerçek ziyaretçilerin soracağı dağınık, belirsiz ve kapsam dışı sorular karşısında nasıl davrandığını gösterir. En yararlı ölçütler:

Ölçüt	Yanıtladığı soru	Neden önemli
Sadakat	Yanıt, kaynakların gerçekte söylediklerinin sınırları içinde kalıyor mu?	Belgelerin desteklemediği kendinden emin eklemeleri yakalar
Yanıt uygunluğu	Yanıt, ziyaretçinin gerçekte sorduğu şeyi karşılıyor mu?	Teknik olarak doğru ama işe yaramayan yanıtları yakalar
Erişim kapsamı	Sistem, yanıtlamak için gereken pasajı getirdi mi?	İçerik boşluklarını model hatalarından ayırır

Başlamak için ayrıntılı bir çerçeveye ihtiyacınız yok. Zor, belirsiz ve kasıtlı olarak kapsam dışı olanlar da dâhil, doğru yanıtları bilinen gerçek sorulardan oluşan bir set oluşturun. Yayından önce çalıştırın, içerik ya da yapılandırma her değiştiğinde yeniden çalıştırın. "Küçük" bir içerik güncellemesinin yirmi yanıtı sessizce bozduğunu müşterilerinizden önce böyle fark edersiniz.

İlgili yazı: Web Sitesi Yapay Zekâ Asistanı Gerçekte Ne Kadara Mal Olur? Toplam Maliyet Çalışma Tablosu

Model çevresindeki güvenlik önlemleri

Değerlendirme, sistemin testte nasıl davrandığını söyler; koruma bariyerleri ise kimsenin öngörmediği bir soru geldiğinde canlı ortamda nasıl davranacağını sınırlar. Makul olanlar şunları içerir:

• Kapsam sınırları. Asistanın girişmeyeceği konulara ilişkin net kurallar ve doğaçlama bir yanıt yerine kibar bir reddediş.
• Hassas konu yönlendirmesi. Hukuki, tıbbi, finansal veya güvenlikle ilgili sorular için üretilmiş bir yanıt yerine önceden tanımlı, deterministik işleme.
• Güven temelli yedek davranış. Erişim zayıf olduğunda sistem, ilerlemeyi zorlamak yerine aktarım yapmalı ya da açıklayıcı bir soru sormalıdır.
• Enjeksiyona direnç. İçerik ve ziyaretçiler, asistanı talimatlarından caydırabilecek konumda olmamalıdır.
• İzlenebilirlik. Ekibiniz; gereksiz kişisel verileri açığa çıkarmadan görüşmeleri, erişilen pasajları ve hataları inceleyebilmelidir.

Sağlayıcıya sorulması gerekenler

Cilalı yanıtların ötesine geçin ve çevrelerindeki sistemi sınayın:

1. Bana kaynakları gösterin. Örnek bir yanıt için, eriştiği tam pasajları ve nereden geldiklerini gösterebilir misiniz?
2. İçerik nasıl güncelleniyor? Değişiklikleri kim yayımlıyor, ne kadar hızlı yürürlüğe giriyor ve tekrarlar ile eskimiş sayfalar nasıl ele alınıyor?
3. Yanıt bilgi tabanında yoksa ne oluyor? Bana "bilmiyorum" davranışını ve yedek yolu gösterin.
4. Erişim pazara göre nasıl ayarlanıyor? Yanlış pazara ait yanıt hiç görünmesin diye dile, bölgeye ve sürüme göre filtreleyebiliyor mu?
5. Kaliteyi nasıl değerlendiriyorsunuz? Kendi zor sorularımı ekleyebileceğim, tekrarlanabilir bir test seti var mı?
6. Hassas konular için hangi koruma bariyerleri var? Hangi konular üretilmek yerine deterministik olarak ele alınıyor?
7. Hataları güvenli biçimde yönettiğini görebilir miyiz? Kapsam dışı bir şey sorun ve kibarca reddedip reddetmediğini ya da blöf yapıp yapmadığını izleyin.

Bu soruların yanıtları, bir slayttaki herhangi bir doğruluk yüzdesinden çok daha fazlasını anlatır.

Kaynağa dayalı bir asistan, bakımı yapılan bir asistandır

RAG, doğru bir web sitesi asistanı için doğru temeldir; ancak "kur ve unut" türünde bir temel değildir. Doğruluk sorusunu, modelin belirsiz belleğinden çıkarıp bilgi tabanınıza, erişim yapılandırmanıza ve değerlendirmenize taşır; yani inceleyebileceğiniz, düzeltebileceğiniz ve zamanla iyileştirebileceğiniz yerlere. Olmasını istediğiniz yer de tam olarak burasıdır.

Orbitra'da web sitesi yapay zekâ asistanlarını; kaynağa dayalı yanıtlar, açık atıflar, dürüst yedek davranışlar ve bunları İngilizce, Türkçe ve Arapçada güvenilir tutan değerlendirme etrafında kuruyoruz. Kendi içeriğiniz üzerinde bir asistanı nasıl doğru tutacağınızı tartıyorsanız, bir platforma bağlanmadan önce bilgi tabanını ve ilk değerlendirme setini birlikte haritalandırmanıza yardımcı olabiliriz.