Gerçekten Önemli Olan Yapay Zekâ Asistanı Metrikleri (Saptırma Oranının Ötesinde)

Pek çok yapay zekâ asistanı panosu tek bir büyük rakamla açılır: saptırma oranı (deflection rate). Raporlaması kolaydır, genellikle etkileyici görünür ve göreceğiniz en az güvenilir sayılardan biridir. Yüksek bir saptırma oranı, asistanınızın soruları iyi çözdüğü anlamına gelebilir; ya da ziyaretçilerin pes edip yanıt alamadan ayrıldığı anlamına da gelebilir.

Sorun, saptırmanın ölçülmesi değildir. Sorun, saptırmanın sanki amaçmış gibi ölçülmesidir. Bir asistan, görüşme bir çalışana aktarılmadığı için değil; ziyaretçi yararlı bir sonuca ulaştığı ve işletme bunun gerçekten olup olmadığını dürüstçe görebildiği için başarılı olur.

Bu yazı, gerçek performansı ortaya koyan metrikleri ele alıyor: kapsama ve çözüm arasındaki fark, memnuniyet, efor, aktarım kalitesi, soru kapsamı ve işletmeyle gerçekten bağlantılı gelir ölçütleri. Ve rahatsız edici kısımla bitiyor: bu metrikler nasıl manipüle edilir ve buna direnen bir puan kartı nasıl kurulur?

Kısa cevap

• Saptırma oranı tek başına bir gösteriş metriğidir. Çözülen sorunları değil, bir insana ulaşmaktan kaçınan görüşmeleri sayar. Hedef hâline getirildiğinde, insanları bıkkınlıkla ayrılmaya iten asistanları ödüllendirir.
• Kapsamayı çözümden ayırın. Kapsama, görüşmenin asistanda kaldığını söyler; çözüm ise ziyaretçinin sorununun gerçekten giderilip giderilmediğini söyler. Gerçek, ikisi arasındaki farkta gizlidir.
• Sahte çözüme dikkat edin. “Çözüldü” olarak işaretlenen ama iki gün sonra tekrar başvuruya, yeniden açılan bir talebe veya düşük bir puana yol açan bir görüşme, başarı etiketi taşıyan bir başarısızlıktır.
• Her verimlilik metriğini bir kalite sinyaliyle eşleştirin. CSAT, efor veya tekrar başvuru verisi olmadan ölçülen kapsama, sonuçsuz döngüleri ödüllendirebilir.
• Yalnızca aktarım oranını değil, aktarım kalitesini ölçün. Bağlamı taşıyan temiz bir aktarım, başarısızlık değil iyi bir sonuçtur.
• Bilgi boşluklarını bulmak için soru kapsamını kullanın ve az sayıda metriği gelirle ilişkilendirin; dürüstçe ve savunabileceğiniz bir atıf yöntemiyle.

Saptırma oranı neden yanıltır?

Saptırma oranı genellikle, hiçbir zaman bir çalışana ulaşmayan başvuruların oranı olarak tanımlanır. Bu tanımı bir kez daha okuyun: bir sonucu değil, bir yokluğu ölçer. Yanıtını bulan ziyaretçi saptırılmıştır. Sohbeti bıkkınlıkla terk eden ziyaretçi de saptırılmıştır. Sekmeyi kapatana dek dönüp duran bir asistan tarafından yorulup bırakan ziyaretçi de, kâğıt üzerinde, saptırılmıştır.

Saptırmanın bu kadar kötü bir hedef olmasının nedeni budur. Bir ekip bu metrikle ölçülmeye başladığı anda, rakamı iyileştirmenin en kolay yolu insana ulaşmayı zorlaştırmaktır: aktarımı gizlemek, sürtünme eklemek, görüşmeyi asistanda “tutmak”. Metrik yükselir; deneyim kötüleşir. Bu, bir ölçütün hedef hâline geldiği anda yararlı olmaktan çıkmasının ders kitaplık bir örneğidir. Saptırmanın, kapasite planlaması açısından bir değeri vardır; ekibinize kabaca ne kadar hacmin hiç ulaşmadığını gösterir. Ancak bir kalite ölçütü olarak, aşağıdaki metrikler yanında olmadan neredeyse anlamsızdır.

Saptırma, gösterdiğinden fazlasını gizleyen tek rahat sayı değildir:

Rahat metrik	Neyi gizleyebilir	Bunun yerine neyi ölçmeli
Saptırma oranı	Yanıt almadan ayrılan ziyaretçileri	Niyet bazında doğrulanmış gerçek çözümü
Kapsama oranı	Ziyaretçiyi yorarak kapatılan görüşmeleri	CSAT ve tekrar başvuruyla eşleştirilmiş kapsamayı
Toplam görüşme sayısı	Herhangi birinin yararlı bir sonuca ulaşıp ulaşmadığını	Asistan destekli dönüşümü ve nitelikli potansiyel müşteri oranını
Ortalama yanıt süresi	Hızlı ama yararsız veya hatalı yanıtları	Efor puanını ve çözümü birlikte

Kapsama ile çözüm aynı sayı değildir

Asistan analitiğindeki en önemli ayrım, kapsama (containment) ile çözüm (resolution) arasındadır.

Kapsama, bir çalışan devralmadan asistan içinde tamamlanan görüşmelerin oranıdır. Bir kanal metriğidir: ziyaretçi sohbete girdiğinde başlar, ayrıldığında veya aktarıldığında biter. Çözüm ise ziyaretçinin gerçek sorununun giderildiği görüşmelerin oranıdır; bir sonuç metriğidir ve bir çalışanın devreye girip girmediğinden bağımsız olarak geçerlidir.

Bir görüşme, çözülmeden de kapsanabilir. Ziyaretçi bir soru sorar, muğlak bir yanıt alır, iç geçirir ve pencereyi kapatır. Kapsandı mı: evet. Çözüldü mü: hayır. Yanında bir çözüm rakamı olmayan bir kapsama rakamı, yorumlayamayacağınız bir sayıdır.

İkisi arasındaki fark, panonuzdaki en tanılayıcı sinyaldir. Küçük bir fark, kapsanan görüşmelerin gerçekten çözüldüğü anlamına gelir. Büyük bir fark ise asistanın, aslında çözmediği görüşmeleri elinde tuttuğu anlamına gelir; yani yüksek bir saptırma oranının gizlediği başarısızlığın ta kendisi.

Tek bir “çözüldü” etiketinin içinde saklanan üç sonuç

Çözüm rakamları, tek bir etiket birbirinden çok farklı üç sonucu kapsadığında yanıltır.

Etiket ne diyor	Aslında ne olabilir	Farkı nasıl anlarsınız
Çözüldü	Gerçek çözüm: sorun giderildi, takip yok, tekrar başvuru yok	O niyette istikrarlı CSAT ve düşük tekrar başvuru/yeniden açılma oranları
Çözüldü	Sahte çözüm: asistan görüşmeyi zorla kapattı; ziyaretçi geri döner veya şikâyet eder	Aynı ziyaretçi ya da aynı niyet günler içinde yeniden belirir; “çözüm” sonrası puan düşer
Çözüldü	Terk: ziyaretçi pes etti ve sessizce ayrıldı	Onay adımı, geri dönüş ve puan içermeyen kısa oturumlar

Ölçülmeye değer sonuç gerçek çözümdür. Tehlikeli olan ise sahte çözümdür, çünkü basit bir panoda başarıdan ayırt edilemez. Bunu, çözümü aynı niyetteki tekrar başvuru oranı ve CSAT eğilimiyle karşılaştırarak açığa çıkarırsınız: görüşmeler çözüldü olarak işaretlendiği hâlde aynı kişiler aynı şeyleri sormayı sürdürüyorsa, asistan sorunları çözmüyor, görüşmeleri kapatıyordur.

İlgili yazı: Web Sitesi Yapay Zekâ Asistanı Gerçekte Ne Kadara Mal Olur? Toplam Maliyet Çalışma Tablosu

Memnuniyet ve efor, verimlilikle aynı satırda yer alır

Verimlilik metrikleri (kapsama, çözüm, görüşme başına maliyet) ancak yanlarında bir kalite sinyali olduğunda bir anlam taşır. Bunlardan ikisi özellikle önemlidir.

CSAT (müşteri memnuniyeti) en iyi biçimde bir kupa olarak değil, operasyonel olarak kullanılır. Memnuniyet belirli bir akışta düştüğünde, bu, düzeltilmesi gereken akışın haritasıdır. Mutlak rakamdan çok, o rakamın zaman içinde niyet bazındaki hareketi önemlidir.

Müşteri eforu farklı bir soru sorar: ziyaretçi o sonuca ulaşmak için ne kadar uğraşmak zorunda kaldı? Bir asistan doğru bir yanıt üretip yine de kişiyi yolda yorabilir; fazla açıklayıcı soru, fazla döngü, fazla yeniden ifade etme. Efor genellikle, “başarılı” bir akışın sessizce insanları rahatsız ettiğine dair en erken uyarıdır; bu yüzden bir verimlilik sayısı asla yanında bir kalite sinyali olmadan dolaşmamalıdır.

Aktarım kalitesi, aktarım oranından daha önemlidir

Pek çok ekip, aktarım oranını (bir çalışana devredilen görüşmelerin oranını) en aza indirilmesi gereken bir maliyet olarak görür. Bu bakış açısı tersinedir. Aktarım bir başarısızlık değildir; muhakeme, empati, kimlik doğrulama veya asistanda bulunmaması gereken bir yetki gerektiren sorular için tasarlanmış bir yoldur. Düşük bir aktarım oranı yalnızca memnuniyet korunduğunda iyi görünür; oran düşükken CSAT de düşüyorsa ziyaretçiler otomasyon tarafından yardım edilmiyor, otomasyonun içinde sıkışıp kalıyordur. Aniden yükselen bir oran ise genellikle bozuk bir asistana değil, bir bilgi boşluğuna veya yakın zamanlı bir değişikliğe işaret eder.

Bu yüzden aktarımın yalnızca sıklığını değil, kalitesini ölçün:

• Aktarım tamamlanması: görüşme, kullanılabilir bir bağlamla doğru destek kuyruğuna ulaştı mı?
• Bağlam aktarımı: ziyaretçi her şeyi baştan anlatmak zorunda mı kaldı, yoksa asistan özeti taşıdı mı?
• Aktarım sonrası çözüm: çalışan sorunu çözebildi mi ve ne kadar sürdü?
• Aktarım nedeni: en çok hangi niyetler aktarılıyor ve bunlar doğru nedenlerle mi aktarılıyor?

Temiz bir aktarım (doğru kuyruk, tam bağlam, hızlı çözüm) iyi bir sonuçtur. Ziyaretçiyi çıkmazda bırakan, önlenmiş bir aktarım ise kapsama sayınızı iyileştirse bile kötü bir sonuçtur.

Kapsam: Asistanınızın yanıtlayamadığı sorular

Bir asistanın ürettiği en yararlı veri, çoğu zaman kendi sınırlarına ilişkindir. Kapsam (coverage), asistanınızın gerçek soru kümesinin ne kadarını onaylı bilgiden gerçekten karşılayabildiğini ölçer.

Yanıtlanamayan her soru, düşük güvenli her yanıt ve her “emin değilim” bir sinyaldir. Niyete göre gruplandığında, bilgi tabanının nerede zayıf olduğunu ve terminolojinin modeli nerede şaşırttığını gösterirler. İlk birkaç haftadan sonra düşük kalan bir kapsama oranı genellikle zayıf bir modele değil, eksik kapsama işaret eder; aktarımlardaki ani bir sıçrama ise çoğu kez bir bilgi boşluğunun açıldığı anlamına gelir; bir politika değişti, bir ürün çıktı, bir sayfa taşındı.

Kapsamı bir utanç değil, bir yapılacaklar listesi olarak görün: boşluklar, yazılacak içeriklerin ve öğretilecek niyetlerin önceliklendirilmiş bir listesidir. Kendi kör noktalarını açıkça ortaya koyan bir asistan, kendinden emin biçimde tahmin yürüten bir asistandan daha değerlidir.

İlgili yazı: Kurumsal Yapay Zekâ ROI Çerçevesi: Pilot Arafının Ötesinde Finansal Modeller, TCO ve Değer Ölçümü

Az sayıda metriği gelirle ilişkilendirmek

Bir web sitesi asistanı için en önemli sonuçların bir kısmı ticaridir; ancak gelir metrikleri disiplin gerektirir, çünkü abartılması en kolay olanlardır. Görüşmeleri gelire dönüştürme üzerine kardeş yazımız stratejiyi derinlemesine ele alıyor; burada odak ölçümdür. Küçük ve dürüst bir set izleyin:

• Asistan destekli dönüşüm oranı: uygun asistan destekli oturumlar içinde hedef bir işlemi (talep, randevu, başvuru veya satın alma) tamamlayanların oranı.
• Nitelikli potansiyel müşteri oranı: toplanan potansiyel müşteriler içinde üzerinde anlaşılmış bir nitelendirme ölçütünü karşılayanların oranı; ham iletişim sayısı değil.
• Randevu veya ödeme tamamlanması: rehberli bir işleme başlayıp onu başarıyla bitiren ziyaretçilerin oranı.
• Sonraki aşama sonucu: sistemlerinizin ve onayın bağlantı kurmaya izin verdiği yerde, asistan destekli yolculukla ilişkilendirilen nihai fırsat, satış veya elde tutma.

Buradaki disiplin atıftır. Asistan destekli bir dönüşüm, otomatik olarak asistanın neden olduğu bir dönüşüm değildir: sohbeti açan ziyaretçiler zaten daha güçlü bir niyet taşıyor, cihaz değiştiriyor ya da harekete geçmeden önce birçok sayfa okuyup bir kişiyle konuşuyor olabilir. Asistan destekli dönüşümü yönlendirici bir sinyal olarak kullanın; hacim el verdiğinde dikkatle eşleştirilmiş grupları karşılaştırın veya kontrollü testler yapın ve atıf pencerenizi belgeleyin. Savunabileceğiniz mütevazı bir sonuç, asistanla inandırıcı bir bağı olmayan etkileyici bir sayıdan daha değerlidir.

Uygulanabilir bir ölçüm çerçevesi

Kırk metriğe ihtiyacınız yok. Niyete göre bölümlenmiş, verimliliği kaliteyle eşleştiren küçük bir puan kartına ihtiyacınız var.

1. Önce niyete göre bölümleyin. Bir randevu akışı, bir ürün bulucu ve bir destek sorgusu farklı işler yapar. Bunları tek bir “otomasyon oranı” içinde toplamak, neyin işlediğini gizler. Aşağıdaki her metrik niyet bazında okunmalıdır.
2. Saptırmayı değil, çözümü ölçün. Her niyet için “çözüldü”nün ne anlama geldiğini tanımlayın; yapabildiğiniz yerde bunu doğrulayın (bir onay adımı, tamamlanmış bir işlem, bir takip sinyali) ve bir insanın yokluğu yerine gerçek çözümü izleyin.
3. Verimliliği daima kaliteyle eşleştirin. Kapsama, CSAT’in yanında durur. Çözüm, efor ve tekrar başvuru oranının yanında durur. Bir verimlilik sayısının asla tek başına dolaşmasına izin vermeyin.
4. Sahte çözümü doğrudan ölçün. Niyet bazında tekrar başvuru ve yeniden açılma oranlarını izleyin. Günler içinde bir geri dönüş üreten “çözüldü” etiketi bir başarısızlıktır ve panonuz bunu söylemelidir.
5. Aktarım kalitesini puanlayın. Yalnızca ham aktarım oranını değil; tamamlanmayı, bağlam aktarımını ve aktarım sonrası çözümü izleyin.
6. Kapsamı bir yapılacaklar listesi olarak işletin. Yanıtlanamayan ve düşük güven puanlı soruları kaydedin, niyete göre gruplayın ve içerik ile tasarım çalışmalarında kullanın.
7. Az sayıda metriği dürüstçe gelirle bağlayın —her biri, belgelenmiş bir atıf yaklaşımı ve korunan bir asistansız yol ile.
8. Yalnızca kazanımları değil, başarısızlıkları da inceleyin. Toplu sayılar nereye bakacağınızı söyler; dökümler ise nedenini.

Bu metrikler nasıl manipüle edilir ve buna nasıl direnilir?

Hedefe yükseltilen her metrik çarpıtmaya davetiye çıkarır. Sonucu değil sayıyı ödüllendirirseniz, birileri (veya bir optimizasyon döngüsü) sayıya giden en kısa yolu bulur.

• Kapsamayı ödüllendirin, aktarımlar gömülür. Çözüm: kapsamayı memnuniyetle eşleştirin ve aktarım kalitesini ölçün; böylece insan yolunu gizlemek, düşen CSAT olarak ortaya çıkar.
• Çözümü ödüllendirin, görüşmeler zorla kapatılır. Çözüm: tekrar başvuru ve yeniden açılma oranlarını ölçün; böylece sahte çözüm gizlenmek yerine görünür olur.
• CSAT’i ödüllendirin, anketler yalnızca mutlu görünen oturumlara gösterilir. Çözüm: anket örneklemesini tutarlı tutun ve memnuniyeti niyete göre bölümleyin.
• Asistan destekli dönüşümü ödüllendirin, sohbet penceresine yakın her satış sahiplenilir. Çözüm: eşleştirilmiş gruplar, kontrollü testler ve belgelenmiş bir atıf penceresi.

Savunma her seferinde aynıdır: hiçbir zaman tek bir sayıyı optimize etmeyin. Niyete göre bölümlenmiş ve gerçek görüşmelerle birlikte okunan, dengeli çiftlerden oluşan bir puan kartı, tek bir manşet rakamından çok daha zor manipüle edilir; çünkü onu bir eksende sahtekârca iyileştirmek başka bir ekseni kötüleştirir.

İnsan temasının yokluğunu değil, sonucu ölçün

Saptırma oranı, çıkarması kolay ve sunması rahat olduğu için hayatta kalır. Ama insanlardan kaçınan bir asistan, insanlara yardım eden bir asistanla aynı şey değildir ve bu ikisini birbirinden ayıramayan bir pano, yönetmeye değer hiçbir şeyi ölçmüyordur. Daha iyi yol, daha fazla metrik değil, daha az ve dürüst olanlardır: saptırma yerine çözüm, her verimlilik rakamının yanında kalite, ne kadar iyi işlediğine göre değerlendirilen aktarım, bir rehber olarak ele alınan kapsam ve yalnızca bağlantısını savunabildiğiniz yerde sahiplenilen gelir.

Orbitra, web sitesi yapay zekâ asistanlarını ölçümü baştan tasarıma katarak kurar: niyet bazında çözüm ve kalite sinyalleri, bağlamı taşıyan aktarım ve ekibinizin gerçekten güvenebileceği bir puan kartı. Mevcut panonuz size saptırma oranını söylüyor ama ziyaretçilere yardım edilip edilmediğini söylemiyorsa, siteniz için “çözüldü”nün gerçekte ne anlama geldiğini tanımlamanıza ve bunu dürüstçe ölçmenize yardımcı olabiliriz.