‘اوایل پرنده” می سازد آموزش هوش مصنوعی سبزتر

یک سیستم جدید به نام پرنده زود هنگام باعث می شود آموزش عمیق شبکه های عصبی نوعی از هوش مصنوعی بیشتر انرژی کارآمد محققان گزارش.

عمیق شبکه های عصبی (DNNs) در حال پشت self-driving cars, هوشمند, دستیاران, تشخیص چهره و ده ها تن بیشتر با تکنولوژی بالا برنامه های کاربردی.

پرنده زود هنگام می تواند با استفاده از 10.7 برابر کمتر انرژی برای آموزش DNN به همان سطح از دقت و یا بهتر از معمولی آموزش.

“یک نیروی محرک اصلی در سال های اخیر هوش مصنوعی پیشرفت معرفی بزرگتر و گران تر DNNs” می گوید: Yingyan Lin, مدیر کارآمد و هوشمند و محاسبات (EIC) آزمایشگاه و استادیار مهندسی برق و کامپیوتر در قهوه ای دانشکده فنی و مهندسی در دانشگاه رایس است.

“اما آموزش این DNNs مطالبات قابل توجهی انرژی است. برای نوآوری بیشتری به پرده برداری از آن ضروری است برای پیدا کردن ‘سبز’ روش های آموزشی است که هر دو آدرس نگرانی های زیست محیطی و کاهش موانع مالی از تحقیقات هوش مصنوعی.”

آموزش برش لبه DNNs است پر هزینه و گران. یک 2019 مطالعه از آلن موسسه هوش مصنوعی در سیاتل در بر داشت تعداد زیادی از محاسبات مورد نیاز برای آموزش بالا پرواز عمیق شبکه عصبی افزایش 300000 بار بین 2012-2018 و متفاوت 2019 مطالعه از محققان در دانشگاه ماساچوست امهرست در بر داشت کربن برای آموزش تک نخبگان DNN بود تقریبا معادل طول عمر انتشار دی اکسید کربن از پنج ما بزند.

DNNs حاوی میلیونها یا حتی میلیاردها نورون مصنوعی که یاد بگیرند به انجام وظایف تخصصی. بدون هیچ گونه صریح, برنامه نویسی, عمیق شبکه های عصبی مصنوعی می توانند یاد بگیرند که به انسان مانند تصمیم گیری—و حتی بهتر از انسان کارشناسان—با “مطالعه” تعداد زیادی از نمونه قبلی.

برای مثال اگر یک DNN مطالعات عکس گربه ها و سگ ها را می آموزد به رسمیت شناختن سگ ها و گربه ها. AlphaGo های شبکه آموزش بازی تخته, بازی, رفتن, ضرب و شتم یک حرفه ای انسان بازیکن در سال 2015 پس از مطالعه دهها هزار نفر از قبلا بازی های انجام شده.

“دولت از هنر راه برای انجام DNN آموزش است به نام مترقی آلو و قطار می گوید:” Lin.

“شما قطار متراکم انجمن شبکه و سپس حذف بخش هایی که به نظر نمی آید و مهم مانند هرس درخت. سپس شما آموزش مجدد به هرس شبکه برای بازگرداندن عملکرد به دلیل عملکرد تنزل پس از هرس. و در عمل شما نیاز به هرس و آموزش مجدد چند بار به عملکرد خوب است.”

هرس ممکن است به دلیل تنها کسری از نورون مصنوعی در شبکه به طور بالقوه می تواند انجام این کار به صورت یک کار تخصصی. آموزش تقویت ارتباط بین سلول های عصبی لازم و نشان می دهد که آنهایی که می توان هرس دور. هرس باعث کاهش سایز و محاسباتی هزینه ساخت آن را بیشتر مقرون به صرفه برای استقرار آموزش کامل DNNs به خصوص در دستگاه های کوچک با محدود حافظه و قابلیت پردازش.

“اولین گام, آموزش, متراکم, غول, شبکه, گران ترین” لین می گوید. “ایده ما در این کار این است که برای شناسایی نهایی و کاملا کاربردی هرس شبکه است که ما آن را “اوایل پرنده بلیط” در آغاز مرحله از این هزینه گام اول است.”

به دنبال کلید اتصال به شبکه و الگوهای اولیه در آموزش محققان قادر به کشف وجود بلیط اوایل پرنده و استفاده از آنها برای ساده کردن DNN آموزش. در آزمایش های مختلف الگوبرداری مجموعه داده و DNN مدل آنها در بر داشت در اوایل پرنده می تواند ظهور به عنوان کمی به عنوان یک دهم یا کمتر از راه را از طریق مرحله اول آموزش.

“روش ما می تواند به طور خودکار شناسایی اوایل پرنده بلیط در عرض کمتر از 10% یا کمتر از آموزش متراکم غول شبکه های” لین می گوید. “این به این معنی شما می توانید آموزش DNN برای رسیدن به مشابه و یا حتی بهتر دقت برای یک کار داده می شود در حدود 10 درصد و یا کمتر از زمان مورد نیاز به صورت سنتی آموزش است که می تواند منجر به بیش از یک منظور صرفه جویی در هر دو محاسبات و انرژی است.”

در حال توسعه تکنیک های هوش مصنوعی سبزتر است و تمرکز اصلی Lin گروه. نگرانی های زیست محیطی هستند که انگیزه اولیه اما لین می گوید: وجود مزایای متعدد.

“هدف ما این است که هوش مصنوعی هم بیشتر سازگار با محیط زیست دوستانه و فراگیر تر,” او می گوید. “مطلق اندازه پیچیده AI مشکلات نگهداری از بازیکنان کوچکتر است. سبز AI می تواند باز کردن درب محققان را قادر می سازد با یک لپ تاپ و یا محدود منابع محاسباتی به بررسی هوش مصنوعی و نوآوری.”

محققان به اشتراک گذاشته یک مقاله پژوهشی در ICLR 2020, کنفرانس بین المللی یادگیری تضمینی. اضافی نویسندگان از دانشگاه رایس و Texas A&M University.

این پژوهش با حمایت بنیاد ملی علوم.

منبع: دانشگاه رایس

tinyurlis.gdclck.ruulvis.netshrtco.de