Алгоритмын гиперпараметр гэж юу вэ?

/ / онд хэвлэгдсэн Хиймэл оюун, EITC/AI/GCML Google Cloud Machine Learning, Оршил, Машины сургалт гэж юу вэ

Машин сургалтын салбарт, ялангуяа Хиймэл оюун ухаан (AI) болон Google Cloud Machine Learning зэрэг үүлэнд суурилсан платформуудын хүрээнд гиперпараметрүүд нь алгоритмын гүйцэтгэл, үр ашигтай байдалд чухал үүрэг гүйцэтгэдэг. Гиперпараметрүүд нь сургалтын үйл явц эхлэхээс өмнө тогтоосон гадаад тохиргоо бөгөөд сургалтын алгоритмын үйл ажиллагааг удирдаж, загварын гүйцэтгэлд шууд нөлөөлдөг.

Гиперпараметрийг ойлгохын тулд тэдгээрийг параметрүүдээс ялгах нь чухал юм. Параметрүүд нь загварын дотоод шинж чанартай бөгөөд сургалтын явцад сургалтын өгөгдлөөс суралцдаг. Параметрүүдийн жишээнд мэдрэлийн сүлжээн дэх жин эсвэл шугаман регрессийн загвар дахь коэффициент орно. Харин гиперпараметрүүдийг сургалтын өгөгдлөөс сурдаггүй, харин эмч урьдчилан тодорхойлсон байдаг. Тэд загварын сургалтын үйл явц, бүтцийг хянадаг.

Гиперпараметрийн төрлүүд

1. Загварын гиперпараметрүүд: Эдгээр нь загварын бүтцийг тодорхойлдог. Жишээлбэл, мэдрэлийн сүлжээнд гиперпараметрүүд нь давхарга бүрийн тоо, мэдрэлийн эсийн тоог агуулдаг. Шийдвэрлэх модны хувьд гиперпараметрүүд нь модны хамгийн их гүн эсвэл зангилааг хуваахад шаардагдах дээжийн хамгийн бага тоог агуулж болно.

2. Алгоритм гиперпараметрүүд: Эдгээр нь сургалтын үйл явцыг өөрөө хянадаг. Жишээлбэл, градиент өгөлтийн алгоритм дахь суралцах хурд, мини-багцын градиент уналт дахь багцын хэмжээ, сургалтын эрин үеийн тоо зэрэг орно.

Гиперпараметрүүдийн жишээ

1. Сурах хувь: Энэ нь градиент уналт гэх мэт оновчлолын алгоритмуудын чухал гиперпараметр юм. Энэ нь алдагдлын функцийн доод тал руу шилжих үед давталт бүрийн алхамын хэмжээг тодорхойлдог. Суралцах түвшин өндөр байх нь загварыг хэт хурдан оновчтой бус шийдэлд нэгтгэхэд хүргэдэг бол суралцах түвшин бага байх нь орон нутгийн минимумд гацах сургалтын үйл явцыг уртасгахад хүргэдэг.

2. Багцын хэмжээ: Стохастик градиент уналт (SGD) болон түүний хувилбаруудад багцын хэмжээ нь нэг давталтад ашигласан сургалтын жишээнүүдийн тоо юм. Бага хэмжээний багц нь градиентийг илүү нарийвчлалтай тооцоолох боломжийг олгодог боловч тооцооллын хувьд үнэтэй, дуу чимээ ихтэй байж болно. Үүний эсрэгээр, илүү том багцын хэмжээ нь тооцооллыг хурдасгах боловч градиентийг бага нарийвчлалтай тооцоолоход хүргэдэг.

3. Эрин үеийн тоо: Энэхүү гиперпараметр нь сургалтын алгоритмыг бүхэлд нь сургалтын өгөгдлийн багцад хэдэн удаа ажиллуулахыг тодорхойлдог. Илүү олон эрин үе нь илүү сайн суралцахад хүргэж болохоос гадна загвар нь сургалтын өгөгдлийн чимээ шуугианыг сурсан тохиолдолд хэт тохирох эрсдэлийг нэмэгдүүлдэг.

4. Сургуулиа завсардах хувь: Мэдрэлийн сүлжээнд сургууль завсардалт нь сургалтын явцад санамсаргүй байдлаар сонгосон мэдрэлийн эсүүдийг үл тоомсорлодог зохицуулалтын арга юм. Сургуулиас завсардах хувь нь буурсан мэдрэлийн эсийн хэсэг юм. Энэ нь сүлжээ нь тодорхой нейронуудад хэт их найдвар тавихгүй байхыг баталгаажуулснаар хэт ачаалал үүсэхээс урьдчилан сэргийлэхэд тусалдаг.

5. Тогтворжуулах параметрүүд: Эдгээрт загварт том жинг шийтгэдэг L1 ба L2 зохицуулалтын коэффициентүүд орно. Тогтмол тохируулга нь том жинд торгууль нэмж, илүү энгийн загваруудыг урамшуулах замаар хэт ачааллаас урьдчилан сэргийлэхэд тусалдаг.

Гиперпараметрийг тааруулах

Гиперпараметрийг тааруулах нь сургалтын алгоритмын гиперпараметрийн оновчтой багцыг олох үйл явц юм. Гиперпараметрийн сонголт нь загварын гүйцэтгэлд ихээхэн нөлөөлдөг учраас энэ нь чухал юм. Гиперпараметрийг тохируулах нийтлэг аргууд нь:

1. Торон хайлт: Энэ арга нь гиперпараметрийн багцыг тодорхойлж, боломжит бүх хослолыг туршиж үзэх явдал юм. Хэдийгээр бүрэн гүйцэд боловч тооцооллын хувьд үнэтэй, цаг хугацаа их шаарддаг.

2. Санамсаргүй хайлт: Бүх хослолыг оролдохын оронд санамсаргүй хайлт нь урьдчилан тодорхойлсон зайнаас гиперпараметрийн хослолыг санамсаргүй байдлаар түүвэрлэдэг. Энэ арга нь ихэвчлэн сүлжээний хайлтаас илүү үр дүнтэй бөгөөд цөөн давталттай сайн гиперпараметрүүдийг олох боломжтой.

3. Bayesian оновчлол: Энэ нь зорилгын функцийн магадлалын загварыг бий болгож, үнэлэхэд хамгийн ирээдүйтэй гиперпараметрүүдийг сонгоход ашигладаг илүү боловсронгуй арга юм. Энэ нь хайгуул, ашиглалтыг тэнцвэржүүлж оновчтой гиперпараметрүүдийг үр ашигтайгаар олох болно.

4. Гипербанд: Энэ арга нь санамсаргүй хайлтыг эрт зогсоохтой хослуулсан. Энэ нь олон тохиргооноос эхэлж, муу гүйцэтгэлтэй тохиргоог эрт зогсоосноор хайлтын орон зайг аажмаар нарийсгадаг.

Практик жишээнүүд

Google Cloud Machine Learning дээрх TensorFlow хүрээг ашиглан дүрс ангилах мэдрэлийн сүлжээний загварыг авч үзье. Дараах гиперпараметрүүдийг авч үзэж болно.

1. Сурах хувь: Ердийн муж нь [0.001, 0.01, 0.1] байж болно. Хамгийн оновчтой утга нь тодорхой өгөгдлийн багц болон загварын архитектураас хамаарна.

2. Багцын хэмжээ: Нийтлэг утгуудад 32, 64, 128 орно. Сонголт нь боломжтой тооцоолох нөөц болон өгөгдлийн багцын хэмжээнээс хамаарна.

3. Эрин үеийн тоо: Энэ нь загвар хэр хурдан нийлэхээс хамаарч 10-аас 100 ба түүнээс дээш байж болно.

4. Сургуулиа завсардах хувь: 0.2, 0.5, 0.7 гэх мэт утгуудыг дутуу тохируулсан болон хэт тохируулгын хоорондох хамгийн сайн тохирлыг олохын тулд туршиж болно.

5. Зохицуулалтын коэффициент: L2 зохицуулалтын хувьд 0.0001, 0.001, 0.01 зэрэг утгуудыг авч үзэж болно.

Загварын гүйцэтгэлд үзүүлэх нөлөө

Загварын гүйцэтгэлд гиперпараметрийн нөлөө маш их байж болно. Жишээлбэл, суралцах чадварын тохиромжгүй байдал нь загварыг хамгийн багадаа хэлбэлзэж эсвэл хэт удаан нийлэхэд хүргэдэг. Үүний нэгэн адил багцын хэмжээ хангалтгүй байгаа нь шуугиантай градиент тооцоололд хүргэж, сургалтын үйл явцын тогтвортой байдалд нөлөөлж болзошгүй. Зохицуулалтын параметрүүд нь хэт тохируулгыг хянах, ялангуяа олон параметр бүхий нарийн төвөгтэй загваруудад чухал ач холбогдолтой.

Хэрэгсэл ба хүрээ

Хэд хэдэн хэрэгсэл, хүрээ нь гиперпараметрийг тааруулахад тусалдаг. Google Cloud Machine Learning нь Google-ийн дэд бүтцийг ашиглан оновчтой гиперпараметр хайх ажиллагааг автоматжуулдаг AI Platform Hyperparameter Tuning зэрэг үйлчилгээг үзүүлдэг. Бусад алдартай хүрээнүүд нь:

1. Керас тааруулагч: Гиперпараметрийг хялбархан оновчтой болгох боломжийг олгодог Keras-д зориулсан өргөтгөл.
2. Оптуна: Үр дүнтэй дээж авах, тайрах стратеги ашиглан гиперпараметрийн оновчлолыг автоматжуулах програм хангамжийн хүрээ.
3. Scikit-learn-ийн GridSearchCV болон RandomizedSearchCV: Эдгээр нь scikit-learn загварт гиперпараметр тааруулах энгийн хэрнээ хүчирхэг хэрэгсэл юм.

Шилдэг туршлага

1. Бүдүүн хайлтаар эхэл: Загварын гүйцэтгэлд үзүүлэх нөлөөллийг ойлгохын тулд өргөн хүрээний гиперпараметрүүдийн талаар өргөн хайлт хийж эхэл.
2. Хайлтыг сайжруулах: Ирээдүйтэй бүс нутгийг тодорхойлсны дараа хамгийн оновчтой гиперпараметрийг олж мэдэхийн тулд тухайн бүс нутагт илүү нарийн хайлт хийнэ.
3. Cross-Validation ашиглана уу: Гиперпараметрүүд нь үл үзэгдэх өгөгдөлд сайн ерөнхийлсөн эсэхийг баталгаажуулахын тулд хөндлөн баталгаажуулалтыг ашиглана.
4. Хэт тохируулж байгаа эсэхийг хянах: Хэт тохируулгыг эрт илрүүлэхийн тулд баталгаажуулалтын өгөгдөл дээрх загварын гүйцэтгэлийг ажиглаарай.
5. Автоматжуулсан хэрэгслийг ашиглах: Цаг хугацаа болон тооцооллын нөөцийг хэмнэхийн тулд гиперпараметр тохируулах автомат хэрэгслийг ашиглана уу.

Гиперпараметрүүд нь машин сургалтын үндсэн тал бөгөөд анхааралтай авч үзэх, тохируулах шаардлагатай байдаг. Эдгээр нь сургалтын үйл явц, загваруудын бүтцийг удирдаж, гүйцэтгэл, ерөнхий чадварт ихээхэн нөлөөлдөг. Гиперпараметрийг үр дүнтэй тааруулах нь загварын нарийвчлал, үр ашгийг мэдэгдэхүйц сайжруулахад хүргэдэг бөгөөд энэ нь машин сургалтын ажлын урсгалд чухал алхам болдог.

Сүүлийн үеийн бусад асуулт, хариулт EITC/AI/GCML Google Cloud Machine Learning:

EITC/AI/GCML Google Cloud Machine Learning-ээс бусад асуулт, хариултуудыг харна уу

Илүү олон асуулт, хариулт:

Доор тэмдэглэгдсэн: , , , , ,