Hafif PDF ayrıştırıcısı papero yapay zeka modelleri olmadan çalışıyor
Öne çıkanlar
- papero, makine öğrenimi modeli gerektirmeden sadece CPU üzerinde PDF bloklarını ayrıştırıyor.
- 54 arXiv makalesini kapsayan testlerde sayfa başına 39 milisaniye ortanca süre ölçüldü.
- Tarayıcıda istemci tarafında çalışarak belgeleri sunucuya göndermeden Word ve Markdown çıktıları üretiyor.
Beatriz Almeida, makine öğrenimi modellerine ihtiyaç duymadan salt geometri algoritmalarıyla çalışan açık kaynaklı PDF ayrıştırıcısı papero'yu yayımladı. Geliştirici, PDF belgelerindeki sütun düzeni, tablolar, formüller ve blok konumlarını GPU kullanmadan doğrudan CPU veya tarayıcı üzerinde çözümleyen sistemi erişime sundu. RAG ve büyük dil modelleri için yapılandırılmış veri üretmeyi amaçlayan araç, Python kütüphanesi, REST API ve istemci tarafı tarayıcı uygulaması olarak çalışıyor.
Sistem, PDFium tabanlı bir düzen motoru ile Apache Tika altyapısını birlikte kullanıyor. Düzen motoru, sütun duyarlı XY-cut yöntemiyle gliflerin konumlarını ve boyutlarını inceleyerek okuma sırasını yeniden oluşturuyor; Tika ise metaveri çıkarımı, etiketli PDF başlıkları ve Tesseract ile OCR desteğini sağlıyor. Aracın JavaScript sürümü tarayıcı içinde pdf.js üzerinde yerel olarak çalışıyor ve belgeleri sunucuya yüklemeden Word, Markdown, CSV veya JSON formatlarına dönüştürüyor.
Yoğun metinli 54 arXiv makalesi üzerinde yapılan testlerde sistem, sayfa başına ortanca 39 milisaniye hız kaydetti ve başarısızlık vermedi. Geliştirici, karmaşık matrisler veya çok dar sütun aralıklı tablolarda eksiklikler olabileceğini, ancak formüllerin kırpılmış görsel ve yaklaşık LaTeX olarak saklandığını aktardı. Proje, PyPI üzerinden papero-extract adıyla MIT lisansı altında dağıtılıyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.