Beş Qwen3.8-27B modeli Memdoor iş akışıyla Fable 5'i geride bıraktı

GVS5H yöntemini temel alan Memdoor iş akışı, beş adet Qwen3.8-27B modelini çoklu ajan mimarisinde bir araya getirerek LiveCodeBench Hard testlerinde Fable 5 modelini geride bıraktı. Planlayıcı, iki fikir üretici, çözücü ve yönetici rollerinden oluşan sistem, ilk on problem üzerinde yapılan beşer denemede ortalama 10 üzerinden 9,8 puan elde etti. Aynı testlerde tek başına çalışan Fable 5 modeli 8,0 ortalamada kaldı.

Mimaride yer alan ajanlar ortak bir sohbet geçmişi yerine yalnızca disk üzerindeki dosyalardan okuma ve yazma yaparak iletişim kuruyor. Başarı ölçütü olarak bir modelin değerlendirmesi yerine doğrudan örnek girdileri çalıştıran kabuk betiklerinin sonuçları esas alınıyor. Toplam 50 çalıştırmada 49 problem başarıyla çözüldü ve bu süreçte 15,3 milyon çıktı belirteci üretilerek 35,79 dolar maliyet oluştu.

Testler yerel donanım yerine OpenRouter üzerinden Modal, CoreWeave ve Wafer gibi sağlayıcılar aracılığıyla yürütüldü. Çalıştırmalarda medyan süre 40 dakika olarak ölçülürken problem başına ortalama 0,39 dolar harcandı. Proje ekibi, yöneticinin hatalı karşıt örnekler üretmesi gibi kurgusal aksaklıkların giderilmesiyle başarımın daha da artırılabileceğini bildirdi.