Makale, dil modellerinin yaratıcılığı ortadan kaldırmak yerine sıkıcı, otomatikleştirilebilir ve faydalı görevlerde kullanılması gerektiğini savunuyor. Yazar, bu prensiple yola çıkarak Hacker News'teki blog yazılarında yazım hatalarını tespit edip yazarları bilgilendiren bir sistem geliştirmeyi amaçlıyor. Bu süreç, binlerce yazıyı toplamak, dil modelleri kullanarak hataları ve yazarın e-posta adresini belirlemek ve ardından iyi niyetli bir e-posta göndermekten oluşuyor.
Sistem, Hacker News'in Algolia API'si üzerinden makaleleri çekiyor ve blog olmayan siteleri filtreliyor. Ardından, Haiku 4.5 gibi küçük bir dil modeli, sayfanın bireysel bir yazara ait olup olmadığını sınıflandırıyor ve güven puanlarıyla birlikte yazım hatalarını listeliyor. Modern dil modelleri, geleneksel yazım denetleyicilerinin aksine, belirli hata türlerini tanımlama ve hata olasılıklarını anlamlı bir şekilde sunma yeteneği sayesinde bu projenin temelini oluşturuyor. Bir hata bulunduğunda, başka bir model yazarın web sitesinde iki ek bağlantı atlama bütçesiyle e-posta adresini bulmaya çalışıyor.
Yazar, yazım denetimi gibi basit bir görevde bile modelin tutarlı çıktı vermekte zorlandığını belirtiyor. İngiliz ve Amerikan yazım farklılıkları, argo, yaratıcı neolojizmler ve metin kodlama sorunları gibi faktörler yanlış pozitiflere yol açıyor. Modelin güven puanları ve doğru yönlendirmelerle yanlış pozitif oranının düşürülebildiği, ancak yine de manuel incelemenin tamamen atlanamadığı vurgulanıyor. Pilot çalışma sonucunda incelenen 30 yazıdan 3'ünde düzeltilebilir hatalar ve ulaşılabilir e-posta adresleri tespit edilmiş.
Dil modelleri, yaratıcılığı engellemek yerine tekrarlayan ve faydalı görevleri otomatikleştirmek için kullanılabilecek büyük bir potansiyele sahiptir.