TabICL ve TabPFN eğitimsiz tahminle XGBoost modelini geride bıraktı

Sentetik verilerle önceden eğitilen ve bağlam içi öğrenme (in-context learning) yöntemiyle çalışan tablosal temel modeller, geleneksel gradyan artırma yöntemlerine karşı Grinsztajn kıyaslama setinde test edildi. Ayrı bir eğitim süreci veya hiperparametre araması gerektirmeyen TabICL ve TabPFN, 14 farklı veri kümesi üzerinde optimize edilmiş XGBoost modeliyle karşılaştırıldı. Test sonuçlarına göre Inria Soda ekibi tarafından geliştirilen TabICL, AUC metriğinde 14 görevin tamamında hiperparametre ayarı yapılmış XGBoost modelini geçmeyi başardı.

Araştırmada modellerin doğruluğu kadar çalışma süreleri arasındaki fark öne çıktı. Optimize edilmiş XGBoost modeli veri seti başına 0,7 ile 27,2 saniye arasında hiperparametre optimizasyonu süresine ihtiyaç duyarken, TabICL herhangi bir optimizasyon adımı olmadan sonuçları bir saniyenin altında üretti. Modellerin satır sayısı arttıkça tıkanacağı yönündeki yaygın beklentinin aksine, jannis veri setinde yapılan ölçekleme testinde 32 bin satıra kadar TabICL modelinin performans avantajını koruduğu ve XGBoost ile arasındaki farkı açtığı görüldü.

Buna karşın modellerin sınırları geniş sütun yapısına sahip tablolarda ortaya çıktı. 419 sütun içeren Bioresponse veri kümesinde TabPFN belirgin bir performans kaybı yaşayarak ayarlanmamış temel modellerin dahi gerisine düştü ve işlem süresi 18,1 saniyeye uzadı. Aynı veri kümesinde en yüksek başarıyı gösteren TabICL modelinin çalışma süresi de 6 saniyeye yükseldi. Süreç sırasında ayrıca TabPFN modelinin 8.3.0 sürümünde ağırlık indirme işlemine hesap ve lisans şartı getirdiği saptandı.