Autoresearch, Andrej Karpathy tarafından geliştirilen ve yapay zeka araştırmalarının geleceğine dair bir vizyon sunan deneysel bir projedir. Projenin temel amacı, bir yapay zeka ajanının küçük ama gerçekçi bir Büyük Dil Modeli (LLM) eğitim ortamında otonom olarak deneyler yapmasını sağlamaktır. Geleneksel araştırma yöntemlerinin aksine, bu yaklaşımda insan araştırmacılar doğrudan Python koduna müdahale etmek yerine, ajanlara bağlam ve hedefler sağlayan program.md adlı Markdown dosyalarını programlar. Bu sayede ajan, belirlenen yönergeler doğrultusunda kendi kendine araştırma yapabilir.
Sistem, ajanın train.py dosyasını otonom olarak düzenlemesi prensibine dayanır. Ajan, model mimarisi, hiperparametreler, optimizasyon algoritmaları ve batch boyutu gibi çeşitli eğitim parametrelerini değiştirir. Her bir değişiklik sonrası, model 5 dakikalık sabit bir süre boyunca eğitilir ve val_bpb (validation bits per byte) metriği kullanılarak performansı değerlendirilir. Elde edilen sonuçlar iyileşme gösterirse değişiklikler korunur, aksi takdirde geri alınır ve ajan yeni bir deneye başlar. Bu döngü, araştırmacının sabah uyandığında bir dizi deney kaydı ve umut vadeden, daha iyi bir modelle karşılaşmasını hedefler.
Proje, nanochat'in basitleştirilmiş, tek GPU'lu bir uygulamasını kullanır ve prepare.py dosyasının sabit kalmasıyla veri hazırlığı ve temel yardımcı programları yönetir. Autoresearch, tek bir NVIDIA GPU (H100 üzerinde test edildi), Python 3.10+ ve uv proje yöneticisi gerektirir. Bu platform, yapay zeka modellerinin geliştirilme sürecini otomatize ederek, insan müdahalesini stratejik yönlendirmelerle sınırlayan yeni bir araştırma paradigması sunmaktadır.
Bu proje, yapay zeka modellerinin geliştirilmesinde insan müdahalesini azaltarak otonom araştırma ve optimizasyon süreçlerine kapı aralıyor.