Logic mühendisleri, günlük iş akışlarında birden fazla yapay zeka kodlama asistanı kullanıyor ve yeni modeller çıktıkça performanslarını merak ediyorlar. Bu merak, farklı asistanların kodlama yaklaşımlarını daha eğlenceli ve karşılaştırmalı bir şekilde inceleme fikrini doğurdu. Sonuç olarak, her bir yapay zeka asistanının hangi Hogwarts evine ait olacağını belirlemek için "bilimsel olmayan" bir değerlendirme yapmaya karar verdiler.
Değerlendirme için bu yılki Advent of Code yarışmasının ilk on iki problemi kullanıldı. Her asistana, minimum talimatlarla bu problemlerin ilk kısımları verildi ve amaç, on iki adet çalıştırılabilir program üretmekti. Asistanlara herhangi bir yardım veya tekrar deneme hakkı tanınmadı. Nicel sonuçlar, tüm asistanların on iki problemi de 20 dakikadan kısa sürede tamamladığını gösterdi, ancak hiçbiri tüm çözümleri doğru bir şekilde tamamlayamadı. Codex ve Gemini benzer performans sergilerken, Codex hiç yorum bırakmazken Gemini 168 yorumla dikkat çekti. Claude, Day 12 probleminde takıldığı için biraz daha uzun sürse de, temiz başlık ve ilgili yorumlarıyla öne çıktı. Mistral ise her uygulamada sınıflar kullanarak "katedraller inşa eden" bir yaklaşıma sahipti.
Niteliksel değerlendirmede ise, 48 çözüm "Pragmatist", "Wizard", "Over-Engineer" ve "Professor" gibi altı farklı kodlama arketipine göre sınıflandırıldı. Bu analiz, her bir asistanın problem çözme tarzına dair sübjektif ama kategorik bir bakış açısı sundu. Örneğin, Pragmatist temiz ve deyimsel kod yazarken, Wizard performans odaklı, yoğun ve okunabilirliği düşük çözümler üretiyor. Over-Engineer gereksiz soyutlamalarla sınıf hiyerarşileri kurarken, Professor ise kapsamlı yorumlarla kodunu açıklıyor. Bu eğlenceli karşılaştırma, yapay zeka kodlama asistanlarının kendine özgü kişiliklerini ve yaklaşımlarını gözler önüne serdi.
Yapay zeka kodlama asistanlarının farklı problem çözme yaklaşımları ve kodlama stilleri, geliştiricilerin ihtiyaçlarına göre doğru aracı seçmelerine yardımcı olabilecek önemli ipuçları sunuyor.