Машины сургалтанд ашигладаг гиперпараметрүүд юу вэ?

/ / онд хэвлэгдсэн Хиймэл оюун, EITC/AI/GCML Google Cloud Machine Learning, Оршил, Машины сургалт гэж юу вэ

Машин сургалтын хүрээнд, ялангуяа Google Cloud Machine Learning гэх мэт платформуудыг ашиглах үед гиперпараметрийг ойлгох нь загварыг хөгжүүлэх, оновчтой болгоход чухал ач холбогдолтой юм. Гиперпараметрүүд нь сургалтын үйл явцыг зааж, машин сургалтын алгоритмын гүйцэтгэлд нөлөөлдөг загвараас гадуурх тохиргоо эсвэл тохиргоо юм. Сургалтын явцад өгөгдлөөс олж авдаг загварын параметрүүдээс ялгаатай нь гиперпараметрүүдийг сургалт эхлэхээс өмнө тохируулдаг бөгөөд бүх хугацаанд тогтмол байдаг.

Гиперпараметрүүдийг машин сургалтын дамжуулах хоолойд гүйцэтгэх үүрэг, функцээр нь ерөнхийд нь хэд хэдэн төрөлд ангилж болно. Эдгээр ангилалд загвар гиперпараметр, оновчлолын гиперпараметр, өгөгдөл боловсруулах гиперпараметр орно. Төрөл бүр нь загвар нь өгөгдлөөс хэрхэн суралцаж, шинэ, үл үзэгдэх өгөгдлүүдийг нэгтгэн дүгнэхэд тодорхой үүрэг гүйцэтгэдэг.

Загварын гиперпараметрүүд

1. Архитектурын гиперпараметрүүд: Эдгээр нь загварын бүтцийг тодорхойлдог. Жишээлбэл, мэдрэлийн сүлжээнд архитектурын гиперпараметрүүд нь давхаргын тоо, нэг давхарга дахь зангилааны тоо, идэвхжүүлэх функцүүдийн төрлийг агуулдаг. Жишээлбэл, гүн мэдрэлийн сүлжээ нь 128, 64, 32 зангилаа бүхий гурван далд давхаргыг зааж өгөх гиперпараметрүүдтэй байж болох ба идэвхжүүлэх функц болгон ReLU (Rectified Linear Unit) байж болно.

2. Зохицуулалтын гиперпараметрүүд: Загвар өмсөгч үндсэн хэв маягаас илүү сургалтын өгөгдлөөс чимээ шуугианыг олж мэдэх үед үүсдэг хэт тохируулгаас урьдчилан сэргийлэхийн тулд тогтворжуулах арга техникийг ашигладаг. Түгээмэл зохицуулалтын гиперпараметрүүдэд L1 ба L2 зохицуулалтын коэффициентүүд орно. Эдгээр коэффициентүүд нь загварт том жинд хэрэглэх торгуулийг хянадаг. Жишээлбэл, L2 зохицуулалтын коэффициентийг илүү өндөр болгох нь том жинг илүү их шийтгэх бөгөөд ингэснээр загварыг бага жинтэй байлгах, ерөнхий ойлголтыг сайжруулах боломжийг олгоно.

3. Сургуулиа завсардах хувь: Мэдрэлийн сүлжээнд сургууль завсардалт нь сургалтын явцад санамсаргүй байдлаар сонгосон мэдрэлийн эсүүдийг үл тоомсорлодог зохицуулалтын арга юм. Сургуулийн завсардах хувь нь сургалтын давталт бүрийн үед буурах мэдрэлийн эсийн хэсгийг тодорхойлдог гиперпараметр юм. 0.5 завсарлага гэдэг нь давталт бүрт нейронуудын 50% нь санамсаргүй байдлаар унадаг гэсэн үг бөгөөд энэ нь хэт ачааллыг бууруулахад тусалдаг.

Оновчлолын гиперпараметрүүд

1. Сурах хувь: Энэ нь мэдрэлийн сүлжээг сургах хамгийн чухал гиперпараметрүүдийн нэг байж магадгүй юм. Сурах хурд нь алдагдлын функцийн хамгийн бага хэмжээнд хүрэх алхамуудын хэмжээг тодорхойлдог. Суралцах түвшин өндөр байх нь загварыг хэт хурдан оновчтой бус шийдэлд нэгтгэхэд хүргэдэг бол суралцах хурд бага байх нь сургалтын үйл явцыг хэт удаашруулж эсвэл орон нутгийн минимумд гацахад хүргэдэг.

2. Багцын хэмжээ: Энэхүү гиперпараметр нь сургалтын үйл явцын нэг давталтанд ашигласан сургалтын дээжийн тоог тодорхойлдог. Багцын хэмжээ бага байх нь градиентийг илүү нарийвчлалтай тооцоолоход хүргэж болох ч тухайн эрин үеийг дуусгахад шаардагдах хугацааг нэмэгдүүлэх боломжтой. Үүний эсрэгээр, том багцын хэмжээ нь сургалтыг хурдасгах боловч нарийвчлал багатай загварт хүргэж болзошгүй юм.

3. эрч: Стохастик градиентийн уналт зэрэг оновчлолын алгоритмд ашигладаг энэхүү гиперпараметр нь градиент векторуудыг зөв чиглэлд хурдасгахад тусалдаг бөгөөд ингэснээр илүү хурдан нийлэхэд хүргэдэг. Энэ нь оновчтой болгох зам дахь хэлбэлзлийг жигдрүүлэхэд тусалдаг.

4. Эрин үеийн тоо: Энэ гиперпараметр нь сургалтын өгөгдлийн багцаар дамжин өнгөрөх бүрэн дамжуулалтын тоог тодорхойлдог. Илүү олон эрин үе нь загварт өгөгдлөөс суралцах илүү их боломжийг олгодог боловч энэ нь хэт тохирох эрсдэлийг нэмэгдүүлдэг.

Мэдээлэл боловсруулах гиперпараметрүүд

1. Онцлогийн масштаб: Загвар өмсөгчийг сургахаасаа өмнө онцлог шинж чанаруудыг ихэвчлэн томруулж байх шаардлагатай. Онцлогийн масштабтай холбоотой гиперпараметрүүдэд Мин-Макс масштаб эсвэл Стандартчилал зэрэг масштабын аргын сонголт орно. Энэ сонголт нь загварын гүйцэтгэлд ихээхэн нөлөөлдөг, ялангуяа Support Vector Machines болон K-Means кластер гэх мэт функцүүдийн масштабыг өөрчлөхөд мэдрэмтгий алгоритмуудын хувьд.

2. Өгөгдлийг нэмэгдүүлэх параметрүүд: Зураг боловсруулах даалгавруудад өгөгдлийн өсгөлтийг өгөгдлийн багц дахь зургийн өөрчилсөн хувилбарыг үүсгэх замаар сургалтын өгөгдлийн багцын хэмжээг зохиомлоор томруулахад ашигладаг. Энд байгаа гиперпараметрүүд нь эргүүлэх, хөрвүүлэх, эргүүлэх, томруулах зэрэг ашигласан хувиргалтуудын төрлүүд болон хувиргах бүрийн магадлалыг агуулдаг.

3. Дээж авах аргууд: Өгөгдөл тэнцвэргүй байгаа тохиолдолд цөөнхийн ангиллыг хэт түүвэрлэх эсвэл олонхийн ангиллыг дутуу түүвэрлэх гэх мэт аргуудыг ашиглаж болно. Энд байгаа гиперпараметрүүд нь цөөнхийн болон олонхийн ангийн дээжийн харьцааг агуулдаг.

Гиперпараметрийг тааруулах

Хамгийн оновчтой гиперпараметрийг сонгох үйл явцыг гиперпараметр тааруулах гэж нэрлэдэг. Гиперпараметрийн сонголт нь загварын гүйцэтгэлд ихээхэн нөлөөлдөг тул энэ нь маш чухал алхам юм. Гиперпараметрийг тохируулах нийтлэг аргууд нь:

1. Торон хайлт: Энэ арга нь гиперпараметрийн утгуудын сүлжээг тодорхойлж, хослол бүрийг сайтар туршиж үзэх явдал юм. Энгийн боловч сүлжээ хайлт нь тооцооллын хувьд үнэтэй, ялангуяа олон тооны гиперпараметртэй байж болно.

2. Санамсаргүй хайлт: Санамсаргүй хайлт нь боломжит бүх хослолыг туршиж үзэхийн оронд гиперпараметрийн санамсаргүй хослолыг сонгодог. Энэ арга нь ихэвчлэн сүлжээний хайлтаас илүү үр дүнтэй байдаг бөгөөд ялангуяа цөөн хэдэн гиперпараметрүүд нөлөөлсөн үед илүү сайн үр дүнд хүргэдэг.

3. Bayesian оновчлол: Энэ нь гиперпараметрүүдийн гүйцэтгэлийг магадлалын функц болгон загварчлах илүү боловсронгуй арга бөгөөд хайгуул, ашиглалтыг тэнцвэржүүлэх замаар гиперпараметрүүдийн хамгийн сайн багцыг олохыг эрмэлздэг.

4. Автоматжуулсан машин сургалт (AutoML): Google Cloud AutoML гэх мэт платформууд нь хамгийн сайн гиперпараметрүүдийг автоматаар хайхад дэвшилтэт алгоритмуудыг ашигладаг. Энэ нь ялангуяа машин сургалтын талаар гүнзгий мэдлэггүй байж болох дадлагажигчдад цаг хугацаа, нөөцийг хэмнэж чадна.

Практик жишээнүүд

Google Cloud Machine Learning ашиглан дүрс ангилахын тулд эвхэгддэг мэдрэлийн сүлжээг (CNN) сургаж байгаа хувилбарыг авч үзье. Гиперпараметрүүд нь дараахь зүйлийг агуулж болно.

– Архитектурын гиперпараметр болох эвдрэлийн давхаргын тоо ба тэдгээрийн шүүлтүүрийн хэмжээ.
– Оновчлолын гиперпараметр болох сургалтын хурд ба багцын хэмжээ.
– Өгөгдлийн боловсруулалтын гиперпараметр болох эргүүлэх, эргүүлэх зэрэг өгөгдлийг нэмэгдүүлэх арга техник.

Эдгээр гиперпараметрүүдийг системтэйгээр тохируулснаар тухайн загварын нарийвчлал, ерөнхий чадварыг эрс сайжруулж чадна.

Өөр нэг жишээнд, шийдвэрийн модны ангилагчийг ашиглах үед гиперпараметрүүд нь модны хамгийн их гүн, зангилааг хуваахад шаардагдах дээжийн хамгийн бага тоо, хуваахад ашигласан шалгуурыг багтааж болно. Эдгээр гиперпараметр бүр нь загварын нарийн төвөгтэй байдал, түүнийг ерөнхийлөн дүгнэх чадварт нөлөөлж болно.

Үндсэндээ гиперпараметрүүд нь машин сургалтын үйл явцын үндэс суурь болж, загварын сургалтын үр ашиг, үр дүнтэй байдалд нөлөөлдөг. Тэдгээрийг анхааралтай сонгох, тааруулах нь сургалтын өгөгдөл дээр сайн гүйцэтгэлтэй төдийгүй шинэ, үл үзэгдэх өгөгдлийг үр дүнтэй нэгтгэдэг загваруудыг бий болгож чадна.

Сүүлийн үеийн бусад асуулт, хариулт EITC/AI/GCML Google Cloud Machine Learning:

EITC/AI/GCML Google Cloud Machine Learning-ээс бусад асуулт, хариултуудыг харна уу

Илүү олон асуулт, хариулт:

Доор тэмдэглэгдсэн: , , , , ,