Энтропи бол мэдээллийн онолын үндсэн ойлголт бөгөөд кибер аюулгүй байдал, квант криптограф зэрэг янз бүрийн салбарт чухал үүрэг гүйцэтгэдэг. Сонгодог энтропийн нөхцөлд энтропийн математик шинж чанарууд нь маш нарийн тодорхойлогдсон бөгөөд мэдээллийн мөн чанар, түүний тодорхой бус байдлын талаар үнэ цэнэтэй ойлголтыг өгдөг. Энэ хариултанд бид эдгээр математик шинж чанаруудыг судалж, энтропи яагаад сөрөг биш байдгийг тайлбарлах болно.
Эхлээд энтропийг тодорхойлъё. Мэдээллийн онолд энтропи нь санамсаргүй хэмжигдэхүүнд агуулагдах мэдээллийн дундаж хэмжээг хэмждэг. Энэ нь санамсаргүй хэмжигдэхүүний боломжит үр дүнтэй холбоотой тодорхойгүй байдлыг тоон байдлаар илэрхийлдэг. Математикийн хувьд P(X) магадлалын массын функц бүхий дискрет санамсаргүй хэмжигдэхүүн X-ийн хувьд H(X) энтропи дараах байдлаар өгөгдөнө.
H(X) = -∑ P(x) log₂ P(x)
Энд нийлбэрийг X-ийн бүх боломжит x утгууд дээр авна. Логарифмыг ихэвчлэн 2-р суурь дээр авдаг бөгөөд энтропийг битээр хэмждэг.
Одоо энтропийн математик шинж чанарыг авч үзье. Эхний шинж чанар нь энтропи үргэлж сөрөг биш байдаг. Энэ нь санамсаргүй хэмжигдэхүүн эсвэл системийн энтропи сөрөг байж болохгүй гэсэн үг юм. Энтропи яагаад сөрөг биш байдгийг ойлгохын тулд логарифмын функцийн шинж чанарыг авч үзэх хэрэгтэй.
Логарифмын функц нь зөвхөн эерэг утгуудын хувьд тодорхойлогддог. Энтропийн томъёонд магадлалын массын функц P(x) нь x утга бүрийн үүсэх магадлалыг илэрхийлдэг. Магадлал нь сөрөг биш (өөрөөр хэлбэл P(x) ≥ 0) тул сөрөг бус магадлалын логарифм тодорхойлогдоно. Түүнчлэн 1-ийн логарифм нь 0-тэй тэнцүү байна. Иймээс энтропийн томъёоны нийлбэр дэх гишүүн бүр нь сөрөг биш эсвэл тэгтэй тэнцүү байх болно. Үүний үр дүнд сөрөг бус нөхцлийн нийлбэр нь мөн сөрөг биш байх ба энтропи сөрөг биш байх болно.
Энэ өмчийг харуулахын тулд шударга зоос шидэлтийг авч үзье. Санамсаргүй хэмжигдэхүүн X нь зоос шидэлтийн үр дүнг илэрхийлдэг бөгөөд толгойн хувьд X = 0, сүүлний хувьд X = 1 байна. Магадлалын массын функц P(X) нь P(0) = 0.5 ба P(1) = 0.5-аар өгөгдсөн. Эдгээр утгыг энтропийн томъёонд оруулснаар бид дараахь зүйлийг олж авна.
H(X) = -(0.5 log₂ 0.5 + 0.5 log₂ 0.5) = -(-0.5 – 0.5) = 1
Шударга зоос шидэлтийн энтропи нь 1 бит бөгөөд энэ нь зоос шидэлтийн үр дүнтэй холбоотой нэг бит тодорхойгүй байдал байгааг харуулж байна.
Энтропи нь сөрөг биш байхаас гадна бусад чухал шинж чанартай байдаг. Эдгээр шинж чанаруудын нэг нь бүх үр дүн ижил магадлалтай үед энтропи хамгийн их байх болно. Өөрөөр хэлбэл, магадлалын массын функц P(x) нь бүх боломжит х утгуудын хувьд P(x) = 1/N байвал N нь боломжит үр дүнгийн тоо бол энтропи хамгийн их байна. Энэ шинж чанар нь бүх үр дүн ижил магадлалтай үед хамгийн их тодорхойгүй байдал байдаг гэсэн бидний зөн совинтой нийцдэг.
Цаашилбал, энтропи нь бие даасан санамсаргүй хэмжигдэхүүнүүдэд нэмэлт юм. Хэрэв бид X ба Y хоёр бие даасан санамсаргүй хэмжигдэхүүнтэй бол тэдгээрийн хамтарсан тархалтын энтропи нь тэдгээрийн бие даасан энтропийн нийлбэр юм. Математикийн хувьд энэ шинж чанарыг дараах байдлаар илэрхийлж болно.
H(X, Y) = H(X) + H(Y)
Энэ шинж чанар нь нийлмэл системийн энтропийг шинжлэх эсвэл мэдээллийн олон эх сурвалжтай ажиллахад ялангуяа ашигтай байдаг.
Сонгодог мэдээллийн онол дахь энтропийн математик шинж чанарууд нь маш сайн тодорхойлогдсон байдаг. Энтропи нь сөрөг биш, бүх үр дүн нь тэнцүү байх үед хамгийн их байх ба бие даасан санамсаргүй хэмжигдэхүүнүүдэд нэмэлт юм. Эдгээр шинж чанарууд нь мэдээллийн мөн чанар, түүний тодорхой бус байдлыг ойлгох бат бөх суурийг бүрдүүлдэг.
Сүүлийн үеийн бусад асуулт, хариулт Сонгодог энтропи:
- Энтропийг ойлгох нь кибер аюулгүй байдлын салбарт хүчирхэг криптографийн алгоритмыг боловсруулах, үнэлэхэд хэрхэн хувь нэмэр оруулдаг вэ?
- Энтропийн хамгийн их утга хэд вэ, хэзээ түүнд хүрдэг вэ?
- Ямар нөхцөлд санамсаргүй хэмжигдэхүүний энтропи алга болдог ба энэ нь хувьсагчийн талаар юу гэсэн үг вэ?
- Санамсаргүй хэмжигдэхүүний энтропи нь нэг үр дагаварт хазайсантай харьцуулахад үр дүнгийн хооронд жигд тархсан үед хэрхэн өөрчлөгдөх вэ?
- Хоёртын энтропи нь сонгодог энтропиас юугаараа ялгаатай вэ, хоёр үр дүн бүхий хоёртын санамсаргүй хэмжигдэхүүнд хэрхэн тооцдог вэ?
- Хувьсах уртын кодчилолд санамсаргүй хэмжигдэхүүний энтропи болон кодын үгсийн хүлээгдэж буй уртын хооронд ямар хамаарал байдаг вэ?
- Мэдээллийг үр дүнтэй кодлохын тулд хувьсах урттай кодчилолын схемд сонгодог энтропи ойлголтыг хэрхэн ашигладаг талаар тайлбарлана уу.
- Сонгодог энтропийн шинж чанарууд юу вэ, энэ нь үр дүнгийн магадлалтай хэрхэн холбоотой вэ?
- Сонгодог энтропи нь тухайн систем дэх тодорхойгүй байдал эсвэл санамсаргүй байдлыг хэрхэн хэмждэг вэ?