TimeCapsuleLLM, modern önyargıları azaltmak ve belirli bir dönemin sesini, kelime dağarcığını ve dünya görüşünü taklit etmek amacıyla, yalnızca 1800-1875 yılları arasındaki verilerle sıfırdan eğitilmiş bir dil modelidir. Proje, bir yapay zeka modelinin sadece tarihsel gibi davranmakla kalmayıp, gerçekten o döneme ait olmasını hayal ediyor. İlk versiyonlar (v0 ve v0.5) Andrej Karpathy'nin nanoGPT'si üzerine inşa edilirken, v1 Microsoft'un Phi 1.5'i temel almıştır.
Modelin erken denemeleri, 1800'lerin dilini ve davranışını yansıtan yanıtlar verdiğini gösteriyor; modern kavramlardan bahsetmiyor ve çoğunlukla döneme uygun kelime dağarcığı kullanıyor. Başlangıçta cümleler tutarsız olsa da (yaklaşık 187MB'lık eğitim verisi için beklenen bir durum), v1 ile önemli gelişmeler kaydedildi. Bu versiyon, Viktorya dönemi yazı stilini, doğru noktalama işaretlerini ve çoğunlukla dilbilgisel cümleleri sergiledi. Ancak, yüksek oranda olgusal halüsinasyonlar ve OCR gürültüsü ("Digitized by Google") çıktıların bir parçası olmaya devam etti.
En dikkat çekici başarılarından biri, modelin gerçek bir tarihi olayı veri setindeki gerçek bir figürle ilişkilendirebilmesiydi. Örneğin, "It was the year of our Lord 1834" istemine verilen yanıt, Londra'daki protestoları ve Lord Palmerston'ı içeren döneme ait detayları içeriyordu. Proje, 90GB'lık v2 veri setinden alınan 15GB'lık bir örnekle eğitilmiş ve 10K adıma kadar ilerlemiştir. Bazı tokenizasyon sorunları nedeniyle çıktılar zaman zaman parçalı görünse de, TimeCapsuleLLM, yapay zekanın geçmişi yeniden canlandırma potansiyelini gösteren yenilikçi bir deneme olarak öne çıkıyor.
Bu proje, yapay zeka modellerinin belirli tarihi dönemlerin dilini ve dünya görüşünü taklit ederek modern önyargılardan arındırılmış, otantik bir geçmiş deneyimi sunma potansiyelini keşfediyor.