ChatGPT ya da Claude Şirket Verinizi Analiz Edebilir mi? Genel Modellerin Durduğu Yer
Bir Excel dosyasını genel bir yapay zeka modeline yükleyip bir dakika içinde grafikler ve sonuçlar alabilirsiniz. Hızlı bir bakış için bu işe yarar. Bütçeyi ya da insanları yerinden oynatan bir karar için yetmez. Bu yazı nedenini ve ciddi bir analizin neyi farklı yaptığını anlatıyor.
Genel modeller neyi iyi yapıyor?
Genel amaçlı modeller olağanüstü araçlar. Önüne bir dosya koyduğunuzda özetler, grafik çizer, regresyonun kodunu yazar ve sonucu sade bir dille açıklar. Bir veri setini keşfetmek ya da ilk izlenimi almak için bundan iyisi zor bulunur. Bu modelleri biz de her gün kullanıyoruz.
O halde soru yerinde: bir model bunların hepsini yapabiliyorsa, bir şirket veri analizi için neden birine para ödesin?
Bir analiz, doğru analiz demek değildir
Çünkü bir analiz ile verinize uygun doğru analiz arasında fark var.
Genel bir model, her şeye makul bir cevap vermek için tasarlanmıştır. Ona daha çok satış ziyaretinin daha çok satış getirip getirmediğini sorun; çoğunlukla tablonun tamamı üzerinde tek bir regresyon çalıştırır ve eğimi raporlar. Yöntem akla yatkındır. Cevap ise gerçeğin tam tersi olabilir.
Nasıl mı? Üç bölgenin her birinde aynı örüntü olsun: daha çok ziyaret edilen müşteriler daha çok alıyor. Ama müşteri başına en az ziyaret yapılan bölge, aynı zamanda en büyük müşterilerin olduğu bölge. Hepsini bir araya koyduğunuzda eğilim tersine döner: daha çok ziyaret daha düşük satışla birlikte görünür. İstatistikçiler buna Simpson paradoksu der ve iş verisinde nadir değildir. Dosyayı olduğu gibi kabul eden bir model, birleştirilmiş sonucu düzgün bir grafikle raporlar ve devam eder.
Çıktıdaki hiçbir şey hangi okumanın doğru olduğunu söylemez. Bölgelere ayırmak gerektiğini bilmek, verinin nasıl oluştuğunu bilmeyi gerektirir.
Atlanan dört şey
Varsayımlar. Her yöntem bir şey varsayar: gözlemlerin bağımsız olduğunu, mevsimsellik olmadığını, eksik değerlerin rastgele eksik olduğunu. Varsayım tutmadığında sonuç, grafikte görünmeyen biçimlerde yanlış olur. Kontrol etmek emek ister; genel bir model, istenmedikçe bunu nadiren yapar.
Belirsizlik. "Mart ayında talep 1.320 adet olacak" kesin gibi durur. Gerçek bir tahmin bir aralıktır ve o aralığın genişliği kararınızı değiştirmelidir. Tam 1.320'ye göre stok yaparsanız, yaklaşık iki seferden birinde eksik kalırsınız.
Doğrulama. Bir modelin dürüst sınavı, geçmişte haklı çıkıp çıkmayacağıdır. Bu, verinin bir kısmını ayırıp onu tahmin etmek ve karşılaştırmak demektir. Bu adım olmadan elinizde kanıt değil, bir hikâye vardır.
Bağlam. Veriyi doğa değil, bir işletme üretir. Mümessiller zorlanan müşterileri daha sık ziyaret eder. İndirimler gitmek üzere olan müşterilere verilir. Dönemin ortasında bir fiyat değişmiştir. Bunların hiçbiri dosyada yazmaz ve hepsi rakamların ne anlama geldiğini değiştirir.
Kendinden emin olmak, doğru olmak değildir
Rahatsız edici olan şu: yanlış bir analiz ile doğrusu aynı görünür. İkisi de akıcı açıklamalar, temiz grafikler ve kendinden emin bir tonla gelir. Genel bir model, ince buz üzerindeyken daha temkinli konuşmaz.
Gündelik bir soru için bu önemli değildir. Gelecek yılın bütçesinin nereye gideceğine dair bir kararda ise kendinden emin yanlış bir cevabın bedeli aylar sonra ortaya çıkar; geri almak pahalı, nedenini bulmak zordur.
Biz neyi farklı yapıyoruz?
Geçmişimiz matematik, istatistik ve makine öğrenmesi araştırması. Verinizi bir chatbot'a verip söylediğini size aktarmıyoruz. İş şöyle ilerler:
- Karardan başlarız. Neye karar vermeye çalışıyorsunuz ve fikrinizi ne değiştirir?
- Veriyi inceleriz. Neye cevap verebilir, neye veremez ve nasıl üretilmiş?
- Yöntemleri karşılaştırırız. Akla ilk gelen makul yöntem yerine, birbirine karşı sınanan birkaç yaklaşım.
- Gerçeğe karşı test ederiz. Her model, görmediği veri üzerinde sınanır.
- Belirsizliği raporlarız. Tek bir sayı değil; bir aralık ve ona ne kadar güvenilebileceği.
- Kullanılabilir bir şey teslim ederiz. Bir sunum değil; ekibinizin bakıp harekete geçtiği bir sistem.
Yol boyunca genel modelleri de kullanırız, işe yaradıkları yerde: kodu daha hızlı yazmak, özetlemek, taslak çıkarmak için. Verinizde neyin doğru olduğuna dair yargı ise bizde kalır.
Genel bir model ne zaman yeter?
Çoğu zaman. Soru keşif amaçlıysa, risk düşükse ve karar kolayca geri alınabiliyorsa, genel bir modelden hızlı bir cevap almak akıllıca bir seçimdir.
Cevap parayı, stoğu ya da insanları yerinden oynatacaksa yetmez olur: bütçe nasıl bölünecek, ne kadar sipariş verilecek, hangi müşterilere öncelik verilecek, hangi müşteriler risk altında. Yanlış nedenlerle kabaca doğru olmanın en pahalıya patladığı sorular bunlardır.
Son söz
Genel modeller analizi kolay gösterdi; basit sorular için artık gerçekten kolay. Zor olan hiçbir zaman bir grafik üretmek değildi. Hangi grafiğin doğru olduğunu bilmekti.
Verinize dayanan bir kararınız varsa nasıl çalıştığımıza bakın ya da neye karar vermeye çalıştığınızı anlatın. Verinizin neye cevap verip neye veremeyeceğini dürüstçe söyleriz.


