Makale, dahili ajanlar oluştururken kod odaklı ve büyük dil modeli (LLM) odaklı çalışma akışlarını karşılaştırıyor. Yazar, başlangıçta LLM'lerin karmaşık süreçleri çözebileceğine inanırken, zamanla bazı sorunların geleneksel yazılımlarla daha basit, ucuz ve hızlı çözülebileceğini fark ettiğini belirtiyor. Bu durum, özellikle determinizm (belirlilik) gerektiren durumlarda LLM'lerin sınırlılıklarını ortaya koyuyor.
Yazar, bu durumu bir örnekle açıklıyor: Slack kanalındaki pull request'lerin (çekme istekleri) durumunu otomatik olarak işaretlemek için bir LLM destekli iş akışı oluşturuluyor. Amaç, bir pull request birleştirildiğinde veya kapatıldığında otomatik olarak ":merged:" reaksiyonunu eklemek. Başlangıçta bu çözüm çok başarılı görünse de, LLM'nin bazen birleştirilmemiş pull request'lere yanlışlıkla ":merged:" reaksiyonu eklemesi ciddi bir soruna yol açıyor. Bu hata, insanların hangi pull request'lerin gerçekten incelenmesi gerektiğini anlamasını engelliyor ve otomasyonun güvenilirliğini zedeliyor.
Bu deneyim, yazarın LLM'lerin akıllı araç kullanımı yeteneklerine rağmen, pratik uygulamalarda deterministik ve güvenilir sonuçlar elde etmenin zorluklarını görmesini sağlıyor. Sonuç olarak, ekip hem kod odaklı hem de LLM odaklı iş akışlarını destekleyen bir yaklaşım benimsemeye karar veriyor. Makale, bu hibrit yaklaşımın neden gerekli olduğunu ve geleneksel yazılımın belirli senaryolarda neden hala üstün olduğunu vurguluyor.
LLM'lerin otomasyon potansiyeli yüksek olsa da, determinizm gerektiren kritik iş akışlarında geleneksel kod odaklı çözümlerin güvenilirliği ve doğruluğu vazgeçilmezdir.