Karar Ağaçları (Decision Trees), veriyi sınıflandırmak için yukarıdan aşağıya doğru bir dizi sıralı kural oluşturarak çalışır ve veriyi iyi ayrılmış bölgelere böler. Ancak, algoritma bu bölmeleri nasıl belirler? Bu noktada "Entropy" (Entropi) kavramı devreye girer. Entropi, bir değişkenin veya olayın içerdiği bilgi miktarını ölçer ve benzer (saf) veya farklı (saf olmayan) öğelerden oluşan bölgeleri tanımlamak için kullanılır.
Entropi, bir örneklemdeki belirsizliği veya "saflığı" nicelendirir. Tüm olasılıklar eşit olduğunda maksimum değere ulaşır, bu da en belirsiz veya "saf olmayan" durumu ifade eder. Öte yandan, yalnızca bir olasılık 1 olduğunda (yani sonuçta belirsizlik olmadığında) entropi sıfır olur; bu da tamamen "saf" bir örneklemi gösterir. Karar Ağaçları, bu entropi ölçümünü kullanarak düğümlerin saflığını belirler. Birden fazla sınıf içeren bir düğüm saf değilken, yalnızca tek bir sınıf içeren bir düğüm saftır.
Algoritma, Karar Ağaçlarını eğitirken "Information Gain" (Bilgi Kazancı) adı verilen bir metrik tanımlayarak entropiyi kullanır. Bilgi Kazancı, bir bölme işlemi sonucunda entropideki azalmayı ölçer ve bu sayede algoritma, veriyi en etkili şekilde bölecek koşullu kural dizilerini seçer. ID3 gibi algoritmalar, bu prensibi temel alarak Karar Ağaçlarını oluşturur ve karmaşık veri setlerini anlaşılır karar kurallarına dönüştürür.
Karar Ağaçları, veriyi sınıflandırmak ve karmaşık ilişkileri anlaşılır karar kurallarına dönüştürmek için güçlü ve yorumlanabilir bir makine öğrenimi yaklaşımı sunar.