من من به عنوان یک تأمین کننده ترانسفورماتور ، اغلب در مورد چگونگی ترانسفورماتورها از وابستگی های طولانی مدت استفاده می کنند. این یک موضوع فوق العاده مهم است ، به خصوص در فناوری امروز - دنیای سنگین که پردازش و ارتباط داده ها در مسافت های طولانی یک هنجار است. بنابراین ، بیایید در آن حفر کنیم!
درک وابستگی های طولانی - دامنه
اول از همه ، وابستگی های طولانی - دامنه چیست؟ به زبان ساده ، این در مورد چگونگی بخش های مختلف یک دنباله (مانند یک جمله در پردازش زبان طبیعی یا یک سری از نقاط داده در یک زمان - تجزیه و تحلیل سری) است ، حتی اگر از هم دور باشند. به عنوان مثال ، در یک جمله طولانی ، آغاز و پایان ممکن است ارتباطی داشته باشد که برای درک کل معنی بسیار مهم باشد.
در معماری های سنتی شبکه عصبی ، رسیدگی به این وابستگی های طولانی مدت کمی چالش برانگیز بوده است. شبکه های عصبی مکرر (RNN) یکی از تلاشهای اولیه برای مقابله با داده های متوالی بودند. اما آنها از مشکل شیب ناپدید شده رنج می برند ، و این باعث می شود که اطلاعات را از دور در دنباله به یاد بیاورند. حافظه کوتاه کوتاه - کوتاه (LSTM) و واحد مکرر دروازه (GRU) پیشرفت هایی بودند ، اما وقتی دنباله های واقعاً طولانی به وجود آمد ، هنوز محدودیت هایی داشتند.
وارد ترانسفورماتور شوید
معماری ترانسفورماتور همراه شد و بازی را تغییر داد. در سال 2017 در مقاله "توجه همه شما نیاز دارید" معرفی شد ، و از آن زمان به بعد ، تبدیل به الگوی بسیاری از کارهای پردازش زبان طبیعی و همچنین سایر زمینه هایی مانند دید رایانه و تشخیص گفتار شد.
نوآوری کلیدی ترانسفورماتور مکانیسم خود توجه است. خود توجه به مدل اجازه می دهد تا هنگام پردازش هر عنصر ، اهمیت قسمتهای مختلف دنباله ورودی را وزن کند. به جای پردازش مرحله توالی - به صورت - مانند RNN ، ترانسفورماتور می تواند به طور هم زمان به تمام عناصر موجود در دنباله نگاه کند و بفهمد که چگونه آنها با یکدیگر ارتباط دارند.
بیایید چگونگی عملکرد خود را تجزیه کنیم. فرض کنید ما یک توالی ورودی از کلمات داریم. هر کلمه ابتدا به بازنمایی بردار تبدیل می شود. سپس ، برای هر کلمه ، مدل سه چیز را محاسبه می کند: یک بردار پرس و جو ، یک بردار کلید و یک بردار مقدار. از این بردارها برای محاسبه نمرات توجه استفاده می شود.
نمرات توجه به مدل می گوید که هنگام پردازش یک کلمه خاص ، باید روی کلمات دیگر در دنباله متمرکز شود. نمرات با گرفتن محصول نقطه ای از بردار پرس و جو کلمه فعلی با بردارهای کلیدی تمام کلمات دیگر در دنباله محاسبه می شود. سپس این نمرات از طریق یک عملکرد SoftMax عبور می کنند تا احتمالات را بدست آورند ، که برای وزن گیری بردارهای ارزش استفاده می شود. مبلغ وزنی بردارهای ارزش ، خروجی مکانیسم توجه خود برای آن کلمه است.
توجه چند - سر
اما ترانسفورماتور فقط از یک مکانیسم شخصی خود استفاده نمی کند. از توجه چند سر استفاده می کند ، به این معنی که فرآیند خود را به صورت موازی چندین بار انجام می دهد. هر "سر" می تواند انواع مختلفی از روابط بین عناصر موجود در دنباله را بیاموزد. به عنوان مثال ، یک سر ممکن است روی روابط نحوی متمرکز شود ، در حالی که دیگری ممکن است روی روابط معنایی متمرکز شود.
با ترکیب خروجی های تمام سرها ، ترانسفورماتور می تواند مجموعه ای از وابستگی های متنوع تر و جامع تر را در دنباله ضبط کند. این یکی از دلایلی است که باعث می شود در استفاده از وابستگی های طولانی - دامنه بسیار خوب باشد. این می تواند به دنباله از چندین منظر نگاه کند و اتصالی را پیدا کند که ممکن است توسط یک مکانیسم توجه یک سر از دست رفته باشد.
رمزگذاری موضعی
نکته قابل توجه این است که از آنجا که ترانسفورماتور تمام عناصر موجود در دنباله را به یکباره پردازش می کند ، حس ذاتی از ترتیب عناصر ندارد. برای پرداختن به این موضوع ، رمزگذاری موقعیتی به تعبیه های ورودی اضافه می شود. رمزگذاری مثبت راهی برای افزودن اطلاعات در مورد موقعیت هر عنصر در دنباله به بازنمایی بردار است.
روش های مختلفی برای انجام رمزگذاری موقعیت وجود دارد. یک روش متداول استفاده از توابع سینوسی برای ایجاد مجموعه ای از بردارها است که نشان دهنده موقعیت هر عنصر است. این بردارها به تعبیه های ورودی اضافه می شوند ، بنابراین مدل می تواند هنگام محاسبه نمرات توجه از اطلاعات موقعیت استفاده کند.
برنامه های کاربردی در دنیای واقعی
توانایی ترانسفورماتور برای رسیدگی به وابستگی های طولانی مدت به برخی از برنامه های شگفت انگیز منجر شده است. در پردازش زبان طبیعی ، از آن برای کارهایی مانند ترجمه ماشین ، تولید متن و سوال - سیستم های پاسخگو استفاده می شود. به عنوان مثال ، مدلهایی مانند GPT (ترانسفورماتور پیش ساخته تولیدی) و BERT (بازنمایی رمزگذار دو طرفه از ترانسفورماتورها) بر اساس معماری ترانسفورماتور ساخته شده و به دست آمده از وضعیت - از - - نتیجه ART در بسیاری از معیارهای NLP است.
در دید رایانه ، ترانسفورماتور نیز وعده بزرگی نشان داده است. ترانسفورماتورهای بینایی (VITS) برای پردازش تصاویر توسعه یافته اند. به جای استفاده از شبکه های عصبی سنتی Convolutional (CNN) ، VITS تصویر را به تکه ها می شکند و آنها را به عنوان دنباله ای از عناصر درمان می کند. از مکانیسم خود توجه می توان برای ضبط وابستگی های طولانی مدت بین قسمت های مختلف تصویر استفاده کرد که می تواند برای کارهایی مانند تشخیص شی و طبقه بندی تصویر مفید باشد.
ترانسفورماتورهای ما
در شرکت ما ، ما طیف گسترده ای از ترانسفورماتورها را ارائه می دهیم که برای تأمین نیازهای مختلف طراحی شده اند. آیا شما به دنبال یکترانسفورماتور جریان محافظبرای حفاظت از الکتریکی یا الفترانسفورماتور اندازه گیریبرای اندازه گیری دقیق ، ما شما را تحت پوشش قرار داده ایم. ما هم داریمولتاژ بالا CTگزینه هایی برای برنامه های ولتاژ بالا.
ترانسفورماتورهای ما با جدیدترین فناوری ساخته شده و به استانداردهای دقیق کیفیت پایبند هستند. ما اهمیت رسیدگی به وابستگی های طولانی مدت ، به ویژه در سیستم های الکتریکی پیچیده را درک می کنیم. محصولات ما برای اطمینان از عملکرد قابل اعتماد و انتقال دقیق داده ها در مسافت های طولانی طراحی شده اند.
برای تهیه با ما تماس بگیرید
اگر در بازار ترانسفورماتورها هستید و می خواهید در مورد چگونگی محصولات ما به شما در رسیدگی به وابستگی های طولانی در برنامه های خود کمک کنید ، از دستیابی به آنها کمک نکنید. ما در اینجا هستیم تا به سوالات شما پاسخ دهیم و در مورد الزامات خاص شما بحث کنیم. چه شما یک تجارت کوچک باشید و چه یک شرکت بزرگ ، ما می توانیم با شما همکاری کنیم تا راه حل مناسب ترانسفورماتور را پیدا کنیم.
منابع
- Vaswani ، A. ، Shazeer ، N. ، Parmar ، N. ، Uszkoreit ، J. ، Jones ، L. ، Gomez ، An ، ... & Polosukhin ، I. (2017). توجه همه شما نیاز دارید. arxiv preprint arxiv: 1706.03762.
