SVM дээрх функцийн багцын ангилал нь шийдвэрийн функцийн тэмдгээс хэрхэн хамаардаг вэ (текст{sign}(mathbf{x}_i cdot mathbf{w} + b))?

/ / онд хэвлэгдсэн Хиймэл оюун, Python ашиглан EITC/AI/MLP Machine Learning, Дэмжлэгийн вектор машин, Вектор машины оновчлолыг дэмжих, Шалгалтын тойм

Дэмжлэгийн вектор машинууд (SVMs) нь ангилал болон регрессийн даалгаварт ашиглагддаг, хяналттай сургалтын хүчирхэг алгоритм юм. SVM-ийн үндсэн зорилго нь өндөр хэмжээст орон зайд өөр өөр ангиудын өгөгдлийн цэгүүдийг хамгийн сайн тусгаарлах оновчтой гипер хавтгайг олох явдал юм. SVM дахь олонлогийн шинж чанаруудын ангилал нь шийдвэрийн функцтэй, ялангуяа түүний тэмдэгтэй гүнзгий холбоотой байдаг бөгөөд энэ нь тухайн өгөгдлийн цэг нь гипер хавтгайн аль талд байрлаж байгааг тодорхойлоход чухал үүрэг гүйцэтгэдэг.

SVM дахь шийдвэрийн функц

SVM-ийн шийдвэрийн функцийг дараах байдлаар илэрхийлж болно.

    \[ f(\mathbf{x}) = \mathbf{w} \cdot \mathbf{x} + b \]

хаана:
- \mathbf{w} нь гипер хавтгайн чиглэлийг тодорхойлох жингийн вектор юм.
- \mathbf{x} нь ангилж буй өгөгдлийн цэгийн онцлог вектор юм.
- b нь гипер хавтгайг шилжүүлдэг хэвийсэн нэр томъёо юм.

Өгөгдлийн цэгийг ангилах \mathbf{x}_i, шийдвэрийн функцийн тэмдгийг ашиглана:

    \[ \text{sign}(f(\mathbf{x}_i)) = \text{sign}(\mathbf{w} \cdot \mathbf{x}_i + b) \]

Энэ тэмдэг нь өгөгдлийн цэг байрлах гипер хавтгайн талыг тодорхойлно.

Ангилал дахь тэмдгийн үүрэг

Шийдвэр гаргах функцийн тэмдэг (\text{sign}(\mathbf{w} \cdot \mathbf{x}_i + b)) нь өгөгдлийн цэгт хуваарилагдсан ангийн шошгыг шууд тодорхойлдог \mathbf{x}_i. Энэ нь хэрхэн ажилладагийг энд харуулав.

1. Эерэг тэмдэг: Хэрэв \mathbf{w} \cdot \mathbf{x}_i + b > 0, шийдвэрийн функцийн тэмдэг эерэг байна. Энэ нь өгөгдлийн цэг гэсэн үг юм \mathbf{x}_i эерэг анги байрлаж байгаа гипер хавтгайн талд байрладаг. Тиймээс, \mathbf{x}_i эерэг ангилалд хамаарах гэж ангилдаг (ихэвчлэн +1 гэж тэмдэглэдэг).

2. Сөрөг тэмдэг: Хэрэв \mathbf{w} \cdot \mathbf{x}_i + b < 0, шийдвэрийн функцийн тэмдэг сөрөг байна. Энэ нь өгөгдлийн цэг байгааг харуулж байна \mathbf{x}_i сөрөг анги байрладаг гиперплангийн талд байрладаг. Тиймээс, \mathbf{x}_i сөрөг ангилалд хамаарах гэж ангилдаг (ихэвчлэн -1 гэж тэмдэглэдэг).

3. Тэг: Ховор тохиолдолд хаана \mathbf{w} \cdot \mathbf{x}_i + b = 0, өгөгдлийн цэг \mathbf{x}_i яг гиперплан дээр байрладаг. Энэ хувилбар нь онолын хувьд боломжтой боловч бодит үнэ цэнэтэй өгөгдлийн тасралтгүй шинж чанараас шалтгаалан практикт ховор тохиолддог.

Геометрийн тайлбар

Шийдвэрлэх функцийн геометрийн тайлбар нь SVM-ууд өгөгдлийн цэгүүдийг хэрхэн ангилж байгааг ойлгоход зайлшгүй шаардлагатай. Гипер хавтгайг тодорхойлсон \mathbf{w} \cdot \mathbf{x} + b = 0 хоёр ангийн хоорондох шийдвэрийн хилийн үүрэг гүйцэтгэдэг. Энэ гиперплангийн чиглэл ба байрлалыг жингийн вектороор тодорхойлно \mathbf{w} болон хэвийсэн нэр томъёо b.

1. Маржийн: Хэмжээ нь анги тус бүрийн хамгийн ойрын өгөгдлийн цэгүүд болон гипер хавтгай хоорондын зай юм. SVM нь гипер хавтгай нь ангиудыг тусгаарлаад зогсохгүй хамгийн ойрын өгөгдлийн цэгүүдээс хамгийн их зайтай байхын тулд энэ зөрүүг нэмэгдүүлэх зорилготой юм. Эдгээр хамгийн ойр өгөгдлийн цэгүүдийг дэмжих векторууд гэж нэрлэдэг.

2. Дэмжих векторууд: Туслах векторууд нь гипер хавтгайд хамгийн ойр байрлах өгөгдлийн цэгүүд юм. Эдгээр нь гиперплангийн байрлал, чиглэлийг тодорхойлоход маш чухал юм. Эдгээр дэмжлэгийн векторуудын байрлал дахь аливаа өөрчлөлт нь гиперпланг өөрчилнө.

Жишээ нь

Бидэнд хоёр ангиллын өгөгдлийн цэгүүд бүхий хоёр хэмжээст функцийн орон зай байгаа энгийн жишээг авч үзье. Эерэг ангийг +1, сөрөг ангийг -1 гэж тэмдэглэе. Жингийн вектор гэж бодъё \mathbf{w} = [2, 3] болон хэвийсэн нэр томъёо b = -6.

Өгөгдлийн цэгийн хувьд \mathbf{x}_i = [1, 2], бид шийдвэрийн функцийг дараах байдлаар тооцоолж болно.

    \[ f(\mathbf{x}_i) = \mathbf{w} \cdot \mathbf{x}_i + b = (2 \cdot 1) + (3 \cdot 2) - 6 = 2 + 6 - 6 = 2 \]

оноос хойш f(\mathbf{x}_i) > 0, шийдвэрийн функцийн тэмдэг эерэг, улмаар өгөгдлийн цэг \mathbf{x}_i эерэг ангилалд хамаарагдана (+1).

Өөр нэг мэдээллийн цэгийн хувьд \mathbf{x}_j = [3, 1], бид шийдвэрийн функцийг дараах байдлаар тооцоолно.

    \[ f(\mathbf{x}_j) = \mathbf{w} \cdot \mathbf{x}_j + b = (2 \cdot 3) + (3 \cdot 1) - 6 = 6 + 3 - 6 = 3 \]

Дахин хэлэхэд, f(\mathbf{x}_j) > 0, тэгэхээр тэмдэг нь эерэг, ба \mathbf{x}_j эерэг ангилалд хамаарагдана (+1).

Одоо өгөгдлийн цэгийг авч үзье \mathbf{x}_k = [0, 0]:

    \[ f(\mathbf{x}_k) = \mathbf{w} \cdot \mathbf{x}_k + b = (2 \cdot 0) + (3 \cdot 0) - 6 = -6 \]

Энэ тохиолдолд, f(\mathbf{x}_k) < 0, тэгэхээр тэмдэг нь сөрөг, ба \mathbf{x}_k сөрөг ангилалд хамаарагдана (-1).

Математик томъёолол

SVM-ийн математик томъёолол нь оновчтойг олохын тулд оновчлолын асуудлыг шийдвэрлэхэд оршино \mathbf{w} болон b сургалтын өгөгдлийг зөв ангилахын зэрэгцээ ахиу хэмжээг нэмэгдүүлэх. Оновчлолын асуудлыг дараах байдлаар илэрхийлж болно.

    \[ \min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2 \]

    \[ \text{харьяа } y_i (\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1, \quad \forall i \]

хаана y_i нь өгөгдлийн цэгийн ангийн шошго юм \mathbf{x}_i, мөн хязгаарлалт нь бүх өгөгдлийн цэгүүдийг хамгийн багадаа 1-ийн зөрүүтэй зөв ангилахыг баталгаажуулдаг.

Цөмийн трик

Олон практик хэрэглээнд өгөгдөл нь анхны функцын орон зайд шугаман байдлаар хуваагддаггүй байж болно. Үүнийг шийдвэрлэхийн тулд SVM-үүдийг цөмийн заль мэхийг ашиглан шугаман бус ангилалд шилжүүлж болно. Цөмийн функц K(\mathbf{x}_i, \mathbf{x}_j) өгөгдлийг шугаман тусгаарлах боломжтой өндөр хэмжээст орон зайд далд байдлаар буулгана. Түгээмэл хэрэглэгддэг цөмийн функцуудад олон гишүүнт цөм, радиаль суурь функц (RBF) цөм, сигмоид цөм орно.

Цөмжүүлсэн SVM дахь шийдвэрийн функц нь:

    \[ f(\mathbf{x}) = \sum_{i=1}^N \alpha_i y_i K(\mathbf{x}_i, \mathbf{x}) + b \]

хаана \alpha_i нь оновчлолын бодлогын хос хэлбэрээс олж авсан Лагранжийн үржүүлэгчид юм.

Python хэрэгжилт

Python-д `scikit-learn` номын сан нь `SVC` ангиар дамжуулан SVM-ийг шууд хэрэгжүүлэх боломжийг олгодог. Өгөгдлийн багцыг ангилахад `SVC`-г хэрхэн ашиглах жишээг доор харуулав.

python
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

# Load the dataset
iris = datasets.load_iris()
X = iris.data
y = iris.target

# Select only two classes for binary classification
X = X[y != 2]
y = y[y != 2]

# Split the dataset into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Create an SVM classifier with a linear kernel
clf = SVC(kernel='linear')

# Train the classifier
clf.fit(X_train, y_train)

# Predict the class labels for the test set
y_pred = clf.predict(X_test)

# Calculate the accuracy of the classifier
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy * 100:.2f}%')

Энэ жишээнд `SVC` анги нь шугаман цөм бүхий SVM ангилагчийг үүсгэхэд ашиглагддаг. Ангилагчийг сургалтын багц дээр сургаж, нарийвчлалыг тестийн багц дээр үнэлдэг. SVM дахь шинж чанарын багцын ангилал нь шийдвэрийн функцийн тэмдгээс үндсэндээ хамаардаг. \text{sign}(\mathbf{x}_i \cdot \mathbf{w} + b). Энэ тэмдэг нь өгөгдлийн цэг нь гипер хавтгайн аль талд байгааг тодорхойлж, улмаар түүнийг харгалзах ангид хуваарилдаг. Шийдвэрлэх функц, оновчтой гипер хавтгайг олох оновчлолын үйл явц, шугаман бус салгах чадварыг зохицуулах цөмийн функцуудыг ашиглах боломж зэрэг нь SVM-ийн чухал бүрэлдэхүүн хэсэг юм. Эдгээр талыг ойлгох нь SVM-үүд хэрхэн ажилладаг, тэдгээрийг янз бүрийн машин сургалтын ажилд ашиглах талаар цогц ойлголтыг өгдөг.

Сүүлийн үеийн бусад асуулт, хариулт Python ашиглан EITC/AI/MLP Machine Learning:

Python ашиглан EITC/AI/MLP Machine Learning-д илүү олон асуулт, хариултыг харна уу

Илүү олон асуулт, хариулт:

Доор тэмдэглэгдсэн: , , , , ,