1948 yılında Amerikalı mühendis ve matematikçi Claude Shannon, “Bir iletişim kanalında bilgi ne kadar taşınabilir?” sorusuna yanıt ararken yalnızca mühendislikte değil aynı zamanda felsefede, fizikte, biyolojide ve hatta sosyolojide dalga etkisi yaratacak bir kavram geliştirdi. Kavramın adı entropi idi. Ancak onun tanımladığı entropi, klasik termodinamikte daha önce R. Clusius tarafından adı konan ve ısı makinelerinde kaybolan enerjiyle ilgili olan entropi değildi. Bu, bilginin belirsizliği ile ilgiliydi. Dolayısıyla yeni kavrama onun adı verildi: Shannon Entropisi.
Bilgi ve Belirsizlik
Shannon’a göre bilgi, belirsizliğin ortadan kalkmasıdır. Bir mektup açılmadan önce onun içinde neler yazıldığı bilinemez diğer ifadeyle ilk başta belirsizlik hâkimdir. Ama mektup okunduğu anda, içeriği ortaya çıkar ve belirsizlik azalır. İşte tam da bu azalma yani “bilgi edinme” süreci, Shannon entropisiyle ölçülebilir.
Matematiksel olarak söz konusu entropi, bir olayın olasılığına bağlı olarak tanımlanır:
H = -∑p(x) ln p(x)
Bu formül, bir olayın ne kadar öngörülemez (yani ne kadar bilgi taşıdığı) üzerine kuruludur. Mesela bir yazı-tura atışında yazı gelme olasılığı %50 ise bu eylem maksimum entropi içerir. Ama eğer bozuk para hileliyse ve her zaman yazı geliyorsa artık sistemin entropisi yoktur. Çünkü şaşırtıcı (belirsiz) bir durum kalmamıştır.
Günlük Hayatta Shannon Entropisi
Şimdi bu soyut kavramı hayatın içindeki örneklerle düşünelim. Cep telefonundaki mesajlaşma uygulamaları, veri sıkıştırma algoritmaları, YouTube’da izlenilen videoların çözünürlüğü, hatta Google’ın arama tahminlerinin hepsi Shannon entropisini temel alan hesaplarla çalışmaktadır.
Bir fotoğraf ne kadar “tahmin edilebilir” örüntülerden oluşuyorsa, o kadar az bilgi (ve entropi) taşıyacak yani daha sıkıştırılabilir olacaktır. Hâlbuki çok karmaşık, yüksek çözünürlüklü ve ayrıntılı bir görüntü ise daha fazla entropiye sahip olacak ve bu yüzden daha fazla yer kaplayacaktır.
Kaostan Anlam Üretmek
İlginçtir ki Shannon entropisi sadece fiziksel sistemleri değil, toplumsal sistemleri de açıklamak için kullanılır. Sosyal medya algoritmaları, kullanıcı davranışlarını tahmin etmeye çalışırken entropi kavramına başvurur. Bir kişinin neyi beğenip neyi beğenmeyeceği ne kadar belirsizse sistemin entropisi de o kadar yüksek olacaktır. Davranışları öngörülebilir hale geldiğinde ise sistemdeki entropisi azalacak, bu da algoritmaların kişileri daha kolay yönlendirmesine imkân tanıyacaktır.
Hatta bazı araştırmacılar, modern toplumlarda bilgi entropisinin çok yüksek olduğunu savunmaktadır. Zira maruz kalınan bilgi akışı aşırı yoğun, kontrolsüz ve dağınıktır. Bu da insanların neye inanacağı, neyi dikkate alacağı konusundaki kararsızlığının derecesini artıracak ve yönlerini şaşırmasına neden olacaktır.
Bir İletişim Devrimi
Claude Shannon’un yaptığı şey, bilginin ölçülebileceğini göstermekti. Bu sadece mühendislik açısından değil, insanlık açısından da devrimsel bir adımdı. Çünkü ilk kez, bilgi matematiksel bir nesne olarak tanımlanabiliyordu. Bu sayede bugün dijital iletişim sistemleri, yapay zekâ algoritmaları, kriptografi ve veri güvenliği gibi pek çok alan şekillenmiştir. Onun için Shannon entropisi sadece bir formül değil, belirsizliğin dili ve anlamın matematiğidir.
Son Söz
Bugün 1 ve 0’lardan oluşan dijital dünyada, her bir “bit” ile konuşan makineler, aslında Shannon’un entropi yasasına göre hareket etmektedir. Bilginin değerini anlamak istiyorsanız, önce onun ne kadar belirsizlik taşıdığını sormanız gerekir. Claude Shannon bu soruyu sordu ve yanıtladı. Sonucu ise sessizce (görünmeden, hissettirmeden) hepimizin cebine (telefon olarak) girmesine neden oldu.