Dark Data (Karanlık Veri) Hakkında Bilmeniz Gerekenler
Gerektiği zaman anlamlı bilgi bütünleri yaratarak kullanmak üzere, şirketler sundukları hizmetler aracılığıyla müşterilerinden bilgi toplarlar. Gelişen internet teknolojileri ile bu bilgi havuzunun devasa boyutlara ulaşması hepimizin bildiği “Big Data” terimini ortaya çıkardı.
Kişilerin ürünlerini nasıl deneyimledikleri, web sitesi kullanıcı istatistikleri gibi metrikler big data için önemli metriklerdir. Bu bilgileri işleyerek ortaya anlamlı bütünler çıkarmak ve bunu işlemek şirketler için oldukça önemli.
Burada inceleyeceğimiz “Dark Data” ise big data’nın alt kümesi olarak kendini konumlandırır. Big data gibi büyük bir bilgi yığınındansa daha küçük kümelere odaklanmak şirketler tarafından ise efektif bulunmaz. Bu nedenle dark data’ya “kullanılmayan imkanlar” da denilmektedir.
Peki, şirketler neden “kullanılmayan imkanlar”ı hala depolamaya devam ediyorlar? Bu soruya verilebilecek net bir cevap maalesef yok. International Data Center’a (IDC) göre işlenmemiş data’nın %90’ı asla analiz edilmiyor. Peki, dark data neden önemli? Dark data’nın önemine dair farklı iki fikir belirtiliyor. Bunlardan ilki, analiz edilmeyen bu dark data’nın içinde aslında değerli bilgiler barındırıyor olması. İkincisi ise bu tür data’nın kullanımı sırasında hukuki açıdan çeşitli problemlerle karşı karşıya kalınabileceği gerçeği. IDC’nin açıklamaları gösteriyor ki Amerika’da üretilen ve tüketilerin bitlerin hacimlerinin toplamı 2020 yılında 6.6 zetabayta kadar çıkacak. Tüketilen ve üretilen bu bilgilerin büyük bir kısmının ise dark data olarak konumlanacağı bekleniyor.
Yapılandırılmayan müşteri bilgileri, eski çalışan bilgileri, anket bilgileri, mail karşılıkları, notlar, hesap bilgileri, log dosyaları gibi bilgiler dark data’nın parçaları olarak bilinir.
Standford Üniversitesi’nde bir araştırma projesi olarak ortaya çıkan ve sonrasında Lattice Data olarak yoluna devam eden, big data ve machine learning (yapay öğrenmesi) üzerine çalışmalar yapan şirket, 200 milyon $ dolar karşılığında Apple’a satıldı ve 20 mühendisi de Apple’ın bünyesine geçti.
Lattice Data’nın yaptığı işi özetleyecek olursak, dark data’yı yapay öğrenme yöntemiyle insan yeteneği ile ulaşılabilecek kalitede işlenmiş data haline getirmek. Apple’ın bu hamlesindeki temel amacı ise iPhone ve iPad uygulamarında kullanıcılara eşsiz bir deneyim sunmak olarak biliniyor.
T.C. Cumhurbaşkanlığı - Savunma Sanayii Başkanlığı himayesinde yürütülmektedir.
