Gamow Labs biyoloji robotları için LabRobotBench testini duyurdu
Öne çıkanlar
- GPT tabanlı SolCodex yüzde 46,7 başarı sağlarken Opus yüzde 23,0 ve Gemini yüzde 20,9 puanda kaldı.
- Ajanlar, 200 saniyelik kimyasal ekleme ve 240 saniyelik soğuk saklama sınırları arasında seçim yaptı.
- Biyoloji deneylerinde hücre tepkisi değiştiği için işlemlerin 30 dakikalık ölçüm süresinde tamamlanması gerekiyor.
Gamow Labs, ıslak laboratuvar ortamlarında yapay zeka ajanlarının robotik iş akışlarını yönetme becerisini ölçen LabRobotBench v0.1 testini yayımladı. Çalışmada yapay zeka modelleri, yarıda kesilen biyolojik deneyleri tamamlama, hücre örneklerini işleme ve soğuk zincir malzemelerini koruma gibi senaryolarda değerlendirildi. Test sonuçlarına göre GPT tabanlı SolCodex yüzde 46,7 başarı oranı elde ederken Opus Claude Code yüzde 23,0 ve Gemini Argon yüzde 20,9 seviyesinde kaldı.
Değerlendirme senaryoları, fiziksel laboratuvar kısıtlamalarını ve zaman duyarlılığını doğrudan yansıtıyor. Bir testte robot yarıda durduğunda ajanın hangi adımların tamamlandığını belirlemesi, hücre yıkama işlemlerini bitirmesi ve ölçüm cihazını çalıştırması gerekti. Başka bir senaryoda ise ajanın 200 saniye içinde kimyasal ekleme yapması ve 240 saniyeyi aşmadan soğuk depolama malzemelerini yerine koyması istendi. Tek bir robot kolunun aynı anda tüm işleri yapamaması, ajanları öncelik sıralaması yapmaya zorladı.
Gamow Labs, canlı biyoloji deneylerinde hücre tepkilerinin zamanla değişmesi nedeniyle ölçümlerin tam vaktinde alınmasının kritik olduğunu belirtti. Testlerde GPT modeli soğuk zincir malzemelerini zamanında yerine koyarken bir deneyi bitirmekte yetersiz kaldı. Opus ise deneyleri tamamlamasına rağmen soğuk depolama malzemelerini dışarıda çok uzun süre bekletti. Laboratuvar otomasyonu geliştiren ekip, nadir hastalıkların anlaşılması için robotik sistemleri yönetecek yapay zeka modelleri geliştirmeye devam ediyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.