Pi-Autoresearch, Davebcn87 tarafından geliştirilen ve karpathy/autoresearch projesinden ilham alan, otomatik bir araştırma ve optimizasyon aracıdır. Temel amacı, bir fikri denemek, performansını ölçmek, işe yarayanı korumak ve yaramayanı elemek suretiyle sürekli iyileştirme döngüleri oluşturmaktır. Bu araç, test hızı, paket boyutu, büyük dil modeli (LLM) eğitimi, derleme süreleri veya Lighthouse skorları gibi çeşitli optimizasyon hedefleri için kullanılabilir ve alan bağımsız bir altyapı sunar.
Sistem, init_experiment ile tek seferlik oturum yapılandırması yapar; run_experiment ile herhangi bir komutu çalıştırır, süresini ölçer ve çıktısını yakalar; log_experiment ile sonuçları kaydeder, otomatik olarak commit eder ve kullanıcı arayüzünü günceller. autoresearch-create yeteneği, kullanıcının hedefini, komutunu, metriğini ve kapsamdaki dosyaları belirlemesine yardımcı olur. Ardından, oturum detaylarını içeren autoresearch.md ve kıyaslama betiğini içeren autoresearch.sh adında iki dosya oluşturarak optimizasyon döngüsünü başlatır.
Pi-Autoresearch ajanı, özerk bir şekilde çalışır: kod düzenler, commit eder, deneyi çalıştırır, sonuçları kaydeder, başarılı olanı korur veya başarısız olanı geri alır ve bu döngüyü kesintisiz olarak tekrarlar. Her deney sonucu, projenizin autoresearch.jsonl dosyasına eklenir. Bu yapı, oturumların yeniden başlatmalara ve bağlam sıfırlamalarına dayanıklı olmasını sağlar. Ayrıca, autoresearch.md dosyası sayesinde yeni bir ajan bile tüm geçmiş bağlama sahip olabilir. Araç, editör üzerinde sürekli görünür bir durum widget'ı ve detaylı sonuçlar tablosu sunan bir /autoresearch paneli ile kullanıcıya anlık geri bildirim sağlar.
Geliştiricilerin ve araştırmacıların yazılım performansını ve verimliliğini sürekli olarak otomatik bir şekilde optimize etmelerini sağlayan güçlü bir araçtır.