Pokémon Showdown ortamı çoklu yapay zeka koordinasyonunu ölçtü

Araştırmacılar, büyük dil modellerinin stratejik iş birliği ve iletişim yeteneklerini test etmek amacıyla Pokémon Showdown platformunun ikiye iki maç formatını kullanan bir simülasyon ortamı geliştirdi. Eksik bilgiye ve rastlantısal dinamiklere dayalı bu oyun yapısında, takımdaki her canavarı farklı bir yapay zeka etmeni yönetti. Qwen3.8-27B modeliyle yürütülen deneylerde etmenlerin birbirleriyle serbestçe konuşabildiği senaryo, iletişim kurulmayan senaryoya göre belirgin başarı sağladı.

Test sonuçlarına göre serbest iletişim kurabilen etmenler kural tabanlı bota karşı yüzde 64 kazanma oranına ulaştı. Tek bir modelin iki karakteri aynı anda yönettiği senaryo yüzde 54 başarı verirken, aralarında tek bir mesaj paylaşan modeller yüzde 52, hiç iletişim kuramayanlar ise yüzde 42 galibiyet oranı yakaladı. Ortamdaki konuşma süreci başarıyı artırırken maç başına tüketilen girdi boyutunu 978 bin tokene yükselterek maliyeti neredeyse dört katına çıkardı.

Sistemin model yeteneklerini ayrıştırma gücünü ölçmek için farklı ölçeklerdeki rakiplerle de maçlar yapıldı. Qwen3.8-27B ekibi, 2 milyar parametreli rakip modele karşı yüzde 96, 9 milyar parametreli takıma karşı ise yüzde 74 galibiyet elde etti. Çalışmayı yürüten ekip, bu altyapıyı modeller arası karşılaştırmalı bir liderlik panosuna dönüştürmeyi ve takviyeli öğrenme yoluyla iş birliği davranışlarını eğitmeyi planlıyor.