کتابخانه transformer

کتابخانه Transformers یک کتابخانه یادگیری ماشین است که توسط Hugging Face و جامعه کاربران نگهداری می‌شود. این کتابخانه APIها و ابزارهایی را فراهم می‌کند که به سادگی می‌توان مدل‌های پیش‌ آموزش‌دیده پیشرفته را دانلود و آموزش داد، که این کار هزینه‌های محاسباتی را کاهش می‌دهد و زمان و منابع مورد نیاز برای آموزش مدل از ابتدا را صرفه‌جویی می‌کند.

این کتابخانه از طیف گسترده‌ای از وظایف در حوزه‌های مختلف پشتیبانی می‌کند. در حوزه پردازش زبان طبیعی (NLP)، وظایفی مانند دسته‌بندی متن، تشخیص موجودیت‌های نام‌دار، پاسخ‌دهی به سوالات، مدل‌سازی زبان، خلاصه‌سازی، ترجمه، انتخاب چند گزینه‌ای، و تولید متن را پشتیبانی می‌کند. در حوزه بینایی کامپیوتری (Computer Vision)، از وظایفی مانند دسته‌بندی تصاویر، تشخیص اشیاء و تقسیم‌بندی تصاویر پشتیبانی می‌کند. برای صوت، از تشخیص گفتار خودکار و دسته‌بندی صوتی پشتیبانی می‌کند. همچنین از وظایف چندوجهی (Multimodal) مانند پاسخ‌دهی به سوالات جدولی، تشخیص کاراکتر نوری (OCR)، استخراج اطلاعات از اسناد اسکن شده، دسته‌بندی ویدئو، و پاسخ‌دهی به سوالات بصری نیز پشتیبانی می‌کند.

کتابخانه Transformers با سه کتابخانه معروف یادگیری عمیق یعنی PyTorch، TensorFlow و JAX سازگار است و از طریق متد pipeline() یک API ساده برای انجام استنتاج بر روی انواع وظایف ارائه می‌دهد.

این کتابخانه هزاران مدل پیش‌ آموزش‌دیده را برای انجام وظایف مختلف در حوزه‌هایی مثل متن، تصویر و صوت فراهم می‌کند. این مدل‌ها به سادگی از طریق API سطح بالا با استفاده از تابع pipeline یا AutoModel برای کنترل بیشتر، قابل دسترسی و استفاده هستند.

علاوه بر مدل‌ها، کتابخانه Transformers همچنین نزدیک به 2000 مجموعه داده و APIهای چندلایه‌ای ارائه می‌دهد که به برنامه‌نویسان اجازه می‌دهد به راحتی با این مدل‌ها از طریق کتابخانه‌های مختلف تعامل کنند.