نجات میراث کهن با یادگیری ماشین و دوربین‌های اقتصادی؛ تلاش ۱۰ ساله یک تیم برای حفظ زبان اردو-فارسی

در دورانی که ابرشرکت‌های هوش مصنوعی با اسکن‌های انبوه و بعضاً آسیب‌رسان به کتاب‌های نایاب به دنبال آموزش چت‌بات‌های خود هستند، یک پروژه مستقل به نام کتابخانه دیجیتال ابتدا (Ibteda Digital Library) روایتی شگفت‌انگیز از تعهد و نوآوری خلق کرده است. سه دوست پاکستانی که در تلاشی ده‌ساله بیش از ۱۸۰۰ جلد از کتاب‌های نایاب اردو و فارسی را از نابودی نجات دادند.

این تیم کار خود را با حداقل امکانات، شامل یک دوربین نیکون D5300، چند لامپ LED خانگی و یک صفحه شیشه‌ای جداشده از دستگاه کپی (برای صاف نگه‌داشتن صفحات) آغاز کرد. پس از ثبت ۵۷۶ هزار شات روی مدل D5300 و ۳۲۶ هزار شات روی مدل ارزان‌تر D3300 (که رکوردی چشمگیر فراتر از طول عمر استاندارد شاتر این دوربین‌ها محسوب می‌شود)، ۵۲۶ هزار تصویر دوصفحه‌ای اسکن شد.

برای تکمیل این پروژه بیش از 900 هزار شات با دوربین قدیمی نیکون زده شده است.

با این حال، بزرگ‌ترین مانع فنی پس از ثبت تصاویر آغاز شد: پردازش و تصحیح هندسی (Homography) اسکن‌ها جهت دستیابی به کیفیت بایگانی استاندارد.

دیجیتالی‌سازی متون نستعلیق و متون کهن چاپ سنگی به دلیل وجود اِعراب، نقطه‌های پرتعداد، یادداشت‌های حاشیه‌ای نامنظم، تاخوردگی عمیق عطف کتاب و تنوع ضخامت صفحات، با ابزارهای سنتی بینایی ماشین (OpenCV) غیرقابل انجام بود. چرا که هر کتاب شرایط هندسی کاملاً منحصربه‌فردی داشت.

به گزارش tom’s HARDWARE، راه‌حل نبوغ‌آمیز این تیم، استفاده از ویرایش‌های دستی قبلی در فتوشاپ به عنوان داده‌های برچسب‌گذاری‌شده جهت آموزش یک شبکه عصبی بود. مدل هوش مصنوعی با یادگیری نحوه تصحیح اعوجاج، جداسازی حاشیه‌ها و حذف لکه‌ها بدون پاک کردن نقطه‌ها و علائم نگارشی خط اردو، توانست پردازش صدها هزار صفحه باقی‌مانده را خودکار کند.

نکته فنی جالب در روند آموزش این مدل، عملکرد بهتر با داده‌های محدود و تخصصی بود. این تیم دریافتند استفاده از مدل‌های بزرگ‌تر یا داده‌های تعمیمی، دقت تشخیص حاشیه‌ها را به دلیل تنوع ساختاری چاپ سنگی کاهش می‌دهد. در نهایت، سیستم نهایی تنها با ۱۰ نمونه کالیبراسیون دستی برای هر کتاب جدید، کل جلد را به صورت خودکار تصحیح، پردازش و خروجی نهایی را در یک استخر ذخیره‌سازی ZFS همراه با چک‌سام‌های رمزنگاری‌شده BLAKE3 ذخیره کرد.

حاصل این تلاش کم‌نظیر اکنون در آرشیو اینترنت (این آدرس) به صورت رایگان برای پژوهشگران در دسترس قرار گرفته است.