Typesafe bilgisayar kullanım maliyetini adım başına düşürdü
Öne çıkanlar
- Adım başına 0,0002 dolar maliyetle çalışan sistem, büyük modellere kıyasla 150 kat tasarruf sağladı.
- Ekrandaki ögeleri Vision OCR ve macOS erişilebilirlik ağacından toplayarak deterministik kararlar alıyor.
- Büyük dil modelleri yalnızca metin yazma veya nihai yanıtı özetleme adımlarında çağrılıyor.
Geliştiriciler, Mac bilgisayarları doğrudan metin komutlarıyla yönlendiren açık kaynaklı "typesafe-computer-use" adlı yeni bir otomasyon aracını kullanıma sundu. Sistem, her işlem adımında büyük dil modellerine ekran görüntüsü gönderme zorunluluğunu ortadan kaldırarak deterministik ekran okuma ve küçük sınıflandırıcı modelleri tercih etti. Bu yöntem sayesinde adım başına işlem maliyeti 0,0002 dolara kadar indi ve genel harcamalar sınır modellerine kıyasla yüz kattan fazla azaldı.
Sistem, ekran görüntüsünü Vision OCR ile okuyup macOS erişilebilirlik ağacından gelen verilerle birleştiriyor ve kullanıcı arayüzündeki ögeleri listeliyor. TypeSafe karar modeli, en fazla 255 seçenek arasından milisaniyeler içinde seçim yaparak tıklama, kaydırma veya uygulama değiştirme kararlarını alıyor. Yalnızca form alanlarına metin yazılması veya son sonucun okunması gerektiğinde Claude gibi büyük dil modelleri devreye giriyor. Ekranın yalnızca değişen bölümlerini tarayan önbellek yapısı da işlem süresini belirgin şekilde kısaltıyor.
Yazılım, güvenlik amacıyla parola alanlarına doğrudan veri girişini engelliyor ve kimlik doğrulama için tarayıcı yöneticilerine güveniyor. Geliştiriciler, aracın şu an macOS 14 ve Python 3.12 üzerinde çalıştığını, sistemin fare ve erişilebilirlik izinlerine ihtiyaç duyduğunu ve terminal tabanlı bir denetim döngüsü sağladığını belirtti. Tasarımın işletim sistemi katmanını ayıran modüler yapısı sayesinde projenin yakında Linux ve AT-SPI tarafına taşınabileceği de aktarıldı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.