發(fā)文章
發(fā)文工具
撰寫
網(wǎng)文摘手
文檔
視頻
思維導(dǎo)圖
隨筆
相冊
原創(chuàng)同步助手
其他工具
圖片轉(zhuǎn)文字
文件清理
AI助手
留言交流
1.3.3 離散信源的信息量
二、非等概率出現(xiàn)的離散消息的度量
設(shè)離散信息源是由個(gè)符號組成的集合,稱為符號集。符號集中的每一個(gè)符號在消息中分別按概率獨(dú)立出現(xiàn),又設(shè)符號集中各符號出現(xiàn)的概率為
則 所包含的信息量分別為 、 、 。則每個(gè)符號所含信息量的統(tǒng)計(jì)平均值,即平均信息量為
由于和熱力學(xué)中的熵形式相似,故通常又稱它為信息源的熵,其單位為bit/符號。
來自: 淮橘為枳 > 《原理》
0條評論
發(fā)表
請遵守用戶 評論公約
通信原理第1章緒論
通信原理通信原理第1章 緒論第1章 緒論1. 1 通信的基本概念通信的目的:傳遞消息中所包含的信息。第1章 緒論1.2.2 模擬通信系統(tǒng)模型和數(shù)字通信系統(tǒng)模型模擬信號和數(shù)字信號模擬信號:代表消息 的信號參...
仙農(nóng)
信息到底是什么?
信息的基本單位:比特。如果這枚硬幣并不是理想的硬幣,而是正面更重一點(diǎn),拋硬幣有更大的概率是正面朝下,反面朝上。你甚至可以把比特想象成人民幣,假設(shè)1比特就是一塊錢,每次做選擇時(shí)都要花一塊錢,...
信息論第四章
第四章:信道及其容量§4.1信道分類§4.2離散無記憶信道§4.5信道的組合§4.6時(shí)間離散的無記憶連續(xù)信道§4.7波形信道§4.1信道分類信道是傳輸信息的媒質(zhì)或通道。(又稱該信道...
熵(一)
越有可能發(fā)生的事情,信息量越少,越不可能發(fā)生的事情,信息量就越多呢?如果把信息量用字母I表示,概率用p表示,那它倆是不是就可以建...
信道編碼,信道容量,信道帶寬
輸入和輸出都是單一的情況,這類信道是單用戶信道,或簡稱為信道。只有當(dāng)這個(gè)信源分別用編碼器變換后再一起送入信道,或在信道的輸出上接...
多媒體數(shù)據(jù)壓縮編碼技術(shù)(一)
.預(yù)測編碼 .變換編碼 .向量量化編碼 .統(tǒng)計(jì)編碼 .子帶編碼 .模型編碼。.預(yù)測編碼。具體方法有輪廓編碼、域分割編碼、分析合成編碼、識別...
程序員:學(xué)校教的數(shù)學(xué)知識,編程根本用不到!
程序員:學(xué)校教的數(shù)學(xué)知識,編程根本用不到!他們在高中里所教的數(shù)學(xué)課程并不是為你的編程生涯做準(zhǔn)備的,簡單的事實(shí)是,多數(shù)的編程工作...
信息熵
信息熵是信息論中用于度量信息量的一個(gè)概念。在他的通信數(shù)學(xué)模型中,清楚地提出信息的度量問題,他把哈特利的公式擴(kuò)大到概率pi不同的情況,得到了著名的計(jì)算信息熵H的公式:H=∑-pi log pi如果計(jì)算中的...
微信掃碼,在手機(jī)上查看選中內(nèi)容