Son yıllarda teknoloji ile ilgilenenlerin sıklıkla duyduğu kavramlar arasında big data (büyük veri) da yer almaktadır. Peki, big data (büyük veri) nedir? Kullanım alanları ve avantajları nelerdir?
Big Data (Büyük Veri) Nedir?
Big data (büyük veri); verilerin, farklı teknik ve yöntemler kullanılarak anlamlı hale getirilmesidir. Anlamlı hale getirilme sürecinde verilerin analizi yapılır, sınıflandırılır ve işlenir. Bütün bu süreçlerin sonunda ise adeta anlamsız bir yığın olan veriler, anlamlı hale gelerek farklı alanlarda kullanılabilir.
Günümüzde kullanılan teknolojik cihazlar nedeniyle kurum, kuruluş ve işletmelerin elde ettiği veriler devasa boyuttadır. Her ne kadar büyük öneme sahip olsa da, devasa boyuttaki verileri direkt olarak kullanmak veya bunlardan yararlanmak mümkün değildir. Zira ilk toplandığı anda, bu veriler anlamsız olarak görülür.
Büyük veri, toplanan bu dataların anlamlı hale getirilmesi sürecidir. Bu süreçte farklı teknik ve yöntemler kullanılsa da genel süreç aşağıdaki gibi işler:
- Veriler, tek bir kaynaktan gelmez. Örneğin; bir kuruluşun web sitesinden, mobil uygulamasından ve müşteri hizmetlerinden veri akışı vardır. İlk aşamada, farklı kaynaklardan gelen veriler birleştirilir.
- Gelen verilerin birleştirilmesinin ardından ise yönetim aşamasına geçilir. Buradaki yönetim; sınıflandırma, ayıklama ve depolama gibi işlemlerden oluşur. Gelen verilerin sayısının çok olması, yönetim aşamasını gerekli kılan hususların başında gelir.
- Son aşama ise anlamlandırmadır. Verilerin anlamlı hale gelmesi, ne söylediklerinin anlaşılması için veriler analiz edilir.
Büyük verinin normal verilerden farkı, boyut ve sayı olarak fazla olması ve buradaki süreçlerle anlamlı hale getirilmesidir.
Büyük Verinin Temel Bileşenleri
Büyük verinin 5V olarak da bilinen; çeşitlilik (Variety), hacim (Volume), hız (Velocity), doğruluk (Veracity), değer (Value) özelliklerini barındırması gerekmektedir. Bunlar, büyük verinin temel bileşenleri olarak kabul edilir. Söz konusu büyük veri bileşenleri şu şekilde açıklanabilir:
- Volume (Hacim): Big data, genellikle terabaytlar düzeyinde büyük veri kümelerini ifade eder. Hacim, verinin miktarı için kullanılan terimdir. Veri hacmi ve hızı her geçen gün hızla artmaktadır. Bu sayede hacim, big data ile çalışırken her zaman dikkat edilmesi gereken özellik haline gelmiştir.
- Velocity (Hız): Big data, hızlı bir şekilde üretilen ve işlenmesi gereken verileri içerir. Hız oranının yüksekliği değerliliğini arttırmaktadır.
- Variety (Çeşitlilik): Üretilen verilerin birbirlerinden farklı formatlara sahip olmasıdır. Bunlar yapılandırılmış ve yapılandırılmamış veri şekilleridir. Yapılandırılmış veri, geleneksel ilişkisel veri tabanlarında bulunan tablo formatındaki verileri ifade etmektedir; öte yandan, yapılandırılmamış veri, metin, ses, görüntü veya video gibi daha karmaşık veri tiplerini ifade etmektedir. Big data, bu farklı veri tiplerini işlemek ve analiz etmek için farklı yöntemler gerektirmektedir.
Buradaki üç bileşen, 3V olarak ifade edilir. Büyük veri (big data) ile ilgili geçmişte yapılan tanımlamalarda, buradaki bileşenler yer almıştır. Sonraki dönemlerde ise bunlara ek olarak yeni bileşenlerin de olması gerektiği görüşü ortaya atılmış ve bu görüş kabul edilmiştir. Böylece 3V, 5V olarak güncellenmiştir. Diğer bileşenler şunlardır:
- Verification (Doğrulama): Veri güvenliği en önemli konulardan biridir. Çalışmalarımızda sağlıklı ve verimli sonuç alabilmek için anlamsız ve hatalı verilerin temizlenmesi gerekir.
- Value (Değer): İşlenen veriler bir amaca hizmet ettiği, anlamlı olduğu ve kuruma değer kattığı sürece değerlidir.
Buradaki iki bileşen, verilerin doğruluğu ve değeri ile ilgilidir. Verilerin anlamlandırılması için mutlaka doğru olması ve bir değer taşıması gerekir.
Big Data (Büyük Veri) Neden Önemlidir?
Veriler veya bilinen diğer ismiyle datalar, hemen her alanda büyük bir öneme sahiptir. Özellikle verilerin sayısının ve boyutunun artması ile bunların söyledikleri veya taşıdıkları anlamları, günümüzdeki kurum, kuruluş ve işletmeler açısından çok değerli olmasına neden olmuştur.
Üretim ve hizmet sektöründeki rekabetin artması, bu sektörlerdeki anlayışın değişmesine neden olmuştur. Geçmişte iş odaklı bir anlayış bulunurdu. Yani hizmet veya ürün üretilir, ihtiyacı olanlar ise alırdı.
Değişen dünya ve artan rekabet ortamı ile iş ve hizmet sektöründeki anlayış, müşteri odaklı olmaya başlamıştır. Müşterilerin istedikleri ürün ve hizmetlerin belirlenmesi ve buna göre faaliyet gösterilmesi esas olmuştur. Bu noktada müşterilerin istek ve beklentilerinin nasıl belirleneceği konusu gündeme gelmiştir. Buradaki ihtiyaç, big data ile karşılanmaktadır.
İnsanlardan alınan veriler, ilk başta anlamsız ve değersiz bilgi yumağı olarak görünmesine karşın, big data ile bunlar anlamlı hale getirilmektedir. Böylece müşterilerin istek ve beklentileri net olarak görülmektedir. Hangi yaştan, hangi cinsiyetten kişilerin, ne tür ürün istedikleri, hizmet seçimini nasıl yaptıkları, büyük veri ile tespit edilebilmektedir.
Şirketler, işletmeler, kurum ve kuruluşlar, büyük verinin söylediklerine göre faaliyetlerini düzenlemekte ve verimliliklerini artırmaktadır. Buradaki olumlu etkiler, neredeyse tüm sektörler için geçerlidir. Dolayısıyla bu alanda rekabet gücünü korumak isteyen işletmelerin ve kuruluşların, büyük datadan yararlanması ve büyük veriyi kullanması, bir tercih değil, adeta bir zorunluluktur.
Büyük Veri Yönetiminde Kullanılan Araçlar
Büyük veri, birkaç sayfadan veya birkaç kişiden alınan veriler değildir. Büyük veri, binlerce kişiden ve farklı kaynaklar üzerinden alınan verilerdir. Ortadaki veri miktarı çok fazladır ve bunların geleneksel yöntemlerle yönetilmesi, kategorize edilmesi, analiz edilmesi ve anlamlandırılması mümkün değildir. Bundan dolayı büyük verinin analizi için bazı araçlar geliştirilmiştir. Geliştirilen araçlar ve bunlara ilişkin detaylar şu şekildedir:
- Spark: Bir veri işleme motoru olan Spark, gerçek zamanlı olarak verilerin işlenmesini sağlar. Bu araç sayesinde verilerin toplanması ve depolanmasını beklemek gerekmez. Gerçek zamanlı veri işleme konusunda son derece verimli ve hızlı bir araçtır.
- Hadoop: Açık kaynak yapısına sahip bir platform olan Hadoop, büyük verinin işlenmesi ve depolanması süreçlerinde kullanılmaktadır. Spark ile kıyaslandığında, nispeten daha yavaş çalıştığı ifade edilebilir.
- Veri Madenciliği: Büyük veri analitiği içerisinde kullanılan yöntemlerden biri olan veri madenciliği, veriler arasındaki ilişkilerin ortaya konması noktasında çok başarılıdır.
Bunların haricinde de farklı araçlar bulunmaktadır. Ayrıca söz konusu araçların geliştirilmesine yönelik çalışmalar devam etmektedir. Devasa boyuttaki verilerin çok daha etkili kullanılması, geliştirilecek araçlar ile çok daha kolay olacaktır.
Big Data (Büyük Veri) Kullanım Alanları
Big data (büyük veri), günümüzde neredeyse her alanda kullanılır. Etrafınıza baktığınız her nesnenin, her ürünün ve her cihazın üretiminde büyük veri önemli bir role sahiptir. Kullanımı ise tek bir tipte olmayıp, farklı şekillerdedir. Bazı kullanım şekilleri şöyledir:
- Ürün Geliştirme
En fazla kullanıldığı alanlardan birinin, ürün veya hizmet geliştirme olduğunu söylemek yanlış olmayacaktır. Birçok şirketin ürün geliştirme ve ürünlerini güncelleme sürecinde sosyal medya başta olmak üzere farklı veri kaynaklarından elde ettikleri verileri kullandığı bilinmektedir. Big data, bu noktada verilerin anlamlı hale gelmesini ve doğru ürünler geliştirilmesini sağlamaktadır.
- Müşteri Deneyimi
Bir ürünün başarılı olması ve tutulması için kaliteli müşteri deneyimi sağlaması gerekir. Müşteri deneyimini yüksek seviyede sağlamayan ürünlerin veya hizmetlerin, kalıcı olması söz konusu dahi değildir. Sosyal medya, internet siteleri, müşteri hizmetleri ve diğer kaynaklardan gelen veriler big data ile anlamlandırıldığında, ne ölçüde müşteri deneyimi sağladığı görülür. Bu verilere göre müşteri deneyimini artıracak düzenlemeler yapılır.
- Makine Öğrenimi
Makine öğrenimi, geleceğin merkezinde olması beklenen bir teknolojidir. Makinelerin öğrenerek işlevlerini daha yüksek kalitede yerine getirmesi hedeflenmektedir. Makine öğrenimi için big data ile anlamlandırılan veriler çok büyük bir önem taşımaktadır.
- Verimlilik
Büyük verinin en önemli etkilerinden biri de verimliliği olumlu yönde etkilemesidir. Toplanan verilerin anlamlandırılması sayesinde üretim sürecindeki kesintiler minimize edilir, müşteri memnuniyeti artırılarak iadeler azaltılır, talepler tahmin edilerek üretim sürecinin optimizasyonu yapılır. Bütün bunlar ise verimliliğin artması anlamına gelir.
Büyük Veri (Big Data) Dezavantajları
Büyük veri, birçok yarar ve avantaj sağlamaktadır. Üretimden dağıtıma, müşteri memnuniyetinden kullanıcı deneyimine kadar her alanı olumlu etkilemektedir. Buna karşın bazı dezavantajları ve zorlukları da bulunmaktadır.
Öncelikle big data içerisindeki veriler gerçekten çok fazla ve büyüktür. Bunların depolanması, analiz edilmesi ve işlenmesi için ciddi kaynakların ayrılması gerekir. Ayrıca veri miktarı sabit değildir ve sürekli artar. Çok kısa bir sürede veriler ikiye katlanabilir, eski veriler geçerliliğini yitirebilir. Bütün bu süreçlerin verimli olarak yönetilmesi için yeni araçlara ve yeni teknolojilere ihtiyaç vardır.
Big data (büyük veri) nedir sorusunun cevabına dair küçük bir özet, bu şekildedir. Büyük veri, çok daha kapsamlı bir kavram olup, insanlığın geleceği açısından büyük bir öneme sahiptir.
