Хоёртын энтропи нь сонгодог энтропиас юугаараа ялгаатай вэ, хоёр үр дүн бүхий хоёртын санамсаргүй хэмжигдэхүүнд хэрхэн тооцдог вэ?
Шаннон энтропи гэгддэг хоёртын энтропи нь хоёртын санамсаргүй хэмжигдэхүүний тодорхойгүй байдал эсвэл санамсаргүй байдлыг хэмждэг мэдээллийн онолын ойлголт юм. Энэ нь хоёртын хувьсагчдад тусгайлан хамаатай байдгаараа сонгодог энтропиээс ялгаатай бол сонгодог энтропи нь хэдэн ч үр дүн бүхий хувьсагчид хэрэглэж болно.
Хоёртын энтропийг ойлгохын тулд эхлээд энтропи гэдэг ойлголтыг ойлгох хэрэгтэй. Энтропи нь санамсаргүй хэмжигдэхүүнд агуулагдах мэдээллийн дундаж хэмжээ эсвэл тодорхойгүй байдлын хэмжүүр юм. Энэ нь санамсаргүй хэмжигдэхүүний үр дүнг урьдчилан таамаглах аргагүй болохыг тоон байдлаар илэрхийлдэг. Өөрөөр хэлбэл, энэ нь санамсаргүй хэмжигдэхүүний үр дүнг ажиглахад ямар их "гайхшрал" хүлээж болохыг хэлж өгдөг.
Хоёр үр дүн бүхий хоёртын санамсаргүй хэмжигдэхүүний хувьд эдгээр үр дүнг 0 ба 1 гэж тэмдэглэе. H(X) гэж тэмдэглэсэн энэ хувьсагчийн хоёртын энтропийг дараах томъёогоор тооцоолно.
H(X) = -p(0) * log2(p(0)) – p(1) * log2(p(1))
Энд p(0) ба p(1) нь 0 ба 1 үр дүнг ажиглах магадлал юм. Үүссэн энтропийн утгыг битээр хэмжихийн тулд логарифмыг 2-р суурь руу аваачна.
Хоёртын энтропийг тооцоолохын тулд бид хоёр үр дүнгийн магадлалыг тодорхойлох хэрэгтэй. Хэрэв магадлалууд тэнцүү бол, өөрөөр хэлбэл p(0) = p(1) = 0.5 бол хоёртын энтропи хамгийн их болж, хамгийн их тодорхойгүй байдлыг илэрхийлнэ. Учир нь энэ хоёр үр дүн нь адилхан магадлалтай бөгөөд аль нь гарахыг бид таамаглах боломжгүй юм. Энэ тохиолдолд хоёртын энтропи нь H(X) = -0.5 * log2(0.5) – 0.5 * log2(0.5) = 1 бит байна.
Нөгөөтэйгүүр, хэрэв нэг үр дүн нөгөөгөөсөө илүү магадлалтай бол хоёртын энтропи буурч, тодорхойгүй байдал бага байгааг илтгэнэ. Жишээлбэл, p(0) = 0.8 ба p(1) = 0.2 бол хоёртын энтропи нь H(X) = -0.8 * log2(0.8) – 0.2 * log2(0.2) ≈ 0.72 бит байна. Энэ нь бид энэ хоёртын санамсаргүй хэмжигдэхүүний үр дүнг илэрхийлэхийн тулд дунджаар нэг битээс бага мэдээлэл хэрэгтэй гэсэн үг юм.
Хоёртын энтропи нь үргэлж сөрөг биш, тэгээс их буюу тэнцүү байна гэдгийг анхаарах нь чухал. Энэ нь хоёр үр дүнгийн магадлал тэнцүү үед хамгийн ихэсдэг бөгөөд нэг үр дүн нь 1, нөгөө нь 0 магадлалтай үед хамгийн бага байдаг.
Хоёртын энтропи нь хоёр үр дүн бүхий хоёртын санамсаргүй хэмжигдэхүүний тодорхойгүй байдал эсвэл санамсаргүй байдлыг хэмждэг. Үүнийг -p(0) * log2(p(0)) – p(1) * log2(p(1)) томъёог ашиглан тооцдог бөгөөд p(0) ба p(1) нь хоёр үр дүнгийн магадлал юм. . Үүссэн энтропийн утгыг битээр хэмждэг бөгөөд өндөр утга нь тодорхойгүй байдал их байгааг, бага утга нь тодорхой бус байдлыг илтгэнэ.
Сүүлийн үеийн бусад асуулт, хариулт Сонгодог энтропи:
- Энтропийг ойлгох нь кибер аюулгүй байдлын салбарт хүчирхэг криптографийн алгоритмыг боловсруулах, үнэлэхэд хэрхэн хувь нэмэр оруулдаг вэ?
- Энтропийн хамгийн их утга хэд вэ, хэзээ түүнд хүрдэг вэ?
- Ямар нөхцөлд санамсаргүй хэмжигдэхүүний энтропи алга болдог ба энэ нь хувьсагчийн талаар юу гэсэн үг вэ?
- Энтропийн математик шинж чанарууд юу вэ, яагаад сөрөг биш байдаг вэ?
- Санамсаргүй хэмжигдэхүүний энтропи нь нэг үр дагаварт хазайсантай харьцуулахад үр дүнгийн хооронд жигд тархсан үед хэрхэн өөрчлөгдөх вэ?
- Хувьсах уртын кодчилолд санамсаргүй хэмжигдэхүүний энтропи болон кодын үгсийн хүлээгдэж буй уртын хооронд ямар хамаарал байдаг вэ?
- Мэдээллийг үр дүнтэй кодлохын тулд хувьсах урттай кодчилолын схемд сонгодог энтропи ойлголтыг хэрхэн ашигладаг талаар тайлбарлана уу.
- Сонгодог энтропийн шинж чанарууд юу вэ, энэ нь үр дүнгийн магадлалтай хэрхэн холбоотой вэ?
- Сонгодог энтропи нь тухайн систем дэх тодорхойгүй байдал эсвэл санамсаргүй байдлыг хэрхэн хэмждэг вэ?