Kodlama teorisi veriyi en az sembolle iletmenin yollarını inceliyor

Kodlama teorisi, bilginin bir kaynaktan diğerine aktarılması veya saklanması sırasında mesajların kod sözcüklerine dönüştürülmesini ele alır. Fenerle haberleşmeye çalışan iki kişinin basit denemeleri üzerinden açıklanan bu alan, harflerin fener kırpmalarına atanmasıyla başlar. Temel bir sistemde her harfe alfabedeki sırası kadar kırpma verildiğinde iletişim oldukça uzun sürerken, dilde en sık kullanılan harflere daha az kırpma atanması toplam sinyal sayısını hızla düşürür.

Sinyal sayısı ikili tabana taşındığında Mors alfabesi gibi yapılar ortaya çıkar. Ancak Mors alfabesindeki harfleri doğru ayırt edebilmek için semboller, harfler ve kelimeler arasında duraklama bırakmak gerekir. Bu duraklamalar iletim süresini uzatır ve yalnızca iki durumu destekleyen dijital belleklerde üçüncü bir durum gibi davranarak saklamayı zorlaştırır. Duraklamaları kaldırmak amacıyla ASCII gibi sabit uzunluklu kodlama yaklaşımları veya hiçbir kod sözcüğünün diğerinin öneki olmadığı yapılar tercih edilir.

Huffman kodlaması, frekans analizini öneksiz ikili ağaç mimarisiyle birleştirerek iletişimi en verimli seviyeye taşır. Sık kullanılan harflere ağacın köküne yakın kısa kodlar, nadir karakterlere ise ağacın derinliklerinde daha uzun dizilimler ayrılır. Bu sayede hiçbir kod bir diğerinin öneki haline gelmez, ek duraklama ihtiyacı olmadan veriler kesintisiz olarak çözülebilir.