1樓：曠古的聲音
資料壓縮不僅起源於 40 年代由 claude shannon 首創的資訊理論，而且其基本原理即資訊究竟能被壓縮到多小，至今依然遵循資訊理論中的一條定理，這條定理借用了熱力學中的名詞「熵」( entropy )來表示一條資訊中真正需要編碼的資訊量：
考慮用 0 和 1 組成的二進位制數碼為含有 n 個符號的某條資訊編碼，假設符號 fn 在整條資訊中重複出現的概率為 pn，則該符號的熵也即表示該符號所需的位數位為：
en = - log2( pn )
整條資訊的熵也即表示整條資訊所需的位數為：e = ∑en
舉個例子，對下面這條只出現了 a b c 三個字元的字串：
aabbaccbaa
字串長度為 10，字元 a b c 分別出現了 5 3 2 次，則 a b c 在資訊中出現的概率分別為 0.5 0.3 0.2，他們的熵分別為：
ea = -log2(0.5) = 1
eb = -log2(0.3) = 1.737
ec = -log2(0.2) = 2.322
整條資訊的熵也即表達整個字串需要的位數為：
e = ea * 5 + eb * 3 + ec * 2 = 14.855 位
回想一下如果用計算機中常用的 ascii 編碼，表示上面的字串我們需要整整 80 位呢！現在知道資訊為什麼能被壓縮而不丟失原有的資訊內容了吧。簡單地講，用較少的位數表示較頻繁出現的符號，這就是資料壓縮的基本準則。
2樓：宮芫
資訊熵information entropy
資訊量的測度。根據人們的實踐經驗，一個事件給予人們的資訊量多少，與這一事件發生的概率（可能性）大小有關。一個小概率事件的發生，給予人們的資訊量就很多。
相反，一個大概率事件的出現，給人們的資訊量就很少。因此，用i（a）＝－logp（a）〔p（a)表示事件a發生的概率〕來度量事件a給出的資訊量，稱為事件a的自資訊量。若一次試驗有m個可能結果（事件），或一個信源可能產生m個訊息（事件），它們出現的概率分別為p1，p2，……，pm，則用h＝－piogp來度量一次試驗或一個訊息所給出的平均資訊量。
h稱為資訊熵，由於h的表示式與熵的表示式差一個負號，故又稱為負熵。
參考資料
「熵」是什麼意思？
3樓：y我願與你深愛
熱力體系中，不能利用來做功的熱能可以用熱能的變化量除以溫度所得的商來表示，這個商叫做熵。熵，熱力學中表徵物質狀態的參量之一，用符號s表示，其物理意義是體系混亂程度的度量。
熵的大小與體系的微觀狀態ω有關，即s=klnω，其中k為玻爾茲曼常量，k=1.3807x10-23j·k-1。 體系微觀狀態ω是大量質點的體系經統計規律而得到的熱力學概率，因此熵有統計意義，對只有幾個、幾十或幾百分子的體系就無所謂熵。
擴充套件資料
性質：1，狀態函式
熵s是狀態函式，具有加和（容量）性質，是廣度量非守恆量，因為其定義式中的熱量與物質的量成正比，但確定的狀態有確定量。其變化量δs只決定於體系的始終態而與過程可逆與否無關。由於體系熵的變化值等於可逆過程熱溫商δq/t之和，所以只能通過可逆過程求的體系的熵變。
,2，巨集觀量
熵是巨集觀量，是構成體系的大量微觀離子集體表現出來的性質。它包括分子的平動、振動、轉動、電子運動及核自旋運動所貢獻的熵，談論個別微觀粒子的熵無意義。
3，絕對值
熵的絕對值不能由熱力學第二定律確定。可根據量熱資料由第三定律確定熵的絕對值，叫規定熵或量熱法。還可由分子的微觀結構資料用統計熱力學的方法計算出熵的絕對值，叫統計熵或光譜熵。
4樓：馬文玉傳
熵，熱力學中表徵物質狀態的參量之一，用符號s表示，其物理意義是體系混亂程度的度量。
1、熱力體系中，不能利用來做功的熱能可以用熱能的變化量除以溫度所得的商來表示，這個商叫做熵。
2、科學技術上泛指某些物質系統狀態的一種量度或者某些物質系統狀態可能出現的程度。熵：拼
熵 shāng
部 首：火 ，筆 畫：15 ，五 行：火， 繁 體：熵，五 筆：oumk
5樓：哇哎西西
「熵」的意思是：
1、物理學上指熱能除以溫度所得的商，標誌熱量轉化為功的程度。
2、科學技術上泛指某些物質系統狀態的一種量（liàng）度，某些物質系統狀態可能出現的程度。亦被社會科學用以借喻人類社會某些狀態的程度。
基本資訊：
拼音：shāng，四角碼：90827
部首：火，總筆畫：15，部首外：11
98五筆：oyuk，86五筆：oumk，鄭碼：uoul
6樓：匿名使用者
熵 shang
釋義1：物理學上指熱能除以溫度所得的商，標誌熱量轉化為功的程度。
2: 科學技術上用來描述、表徵體系混亂度的函式。亦被社會科學用以借喻人類社會某些狀態的程度。
3：熵是生物親序，是行為攜靈現象。科學家已經發明瞭測量無序的量，它稱作熵，熵也是混沌度，是內部無序結構的總量。
英譯 entropy
熵指的是體系的混亂的程度，它在控制論、概率論、數論、天體物理、生命科學等領域都有重要應用，在不同的學科中也有引申出的更為具體的定義，是各領域十分重要的參量。熵由魯道夫·克勞修斯（rudolf clausius）提出，並應用在熱力學中。後來在，克勞德·艾爾伍德·夏農（claude elwood shannon）第一次將熵的概念引入到資訊理論中來。
[編輯本段]歷史
2023年，德國物理學家魯道夫·克勞修斯首次提出熵的概念，用來表示任何一種能量在空間中分佈的均勻程度，能量分佈得越均勻，熵就越大。一個體系的能量完全均勻分佈時，這個系統的熵就達到最大值。 在克勞修斯看來，在一個系統中，如果聽任它自然發展，那麼，能量差總是傾向於消除的。
讓一個熱物體同一個冷物體相接觸，熱就會以下面所說的方式流動：熱物體將冷卻，冷物體將變熱，直到兩個物體達到相同的溫度為止。克勞修斯在研究卡諾熱機時，根據卡諾定理得出了對任意迴圈過程都都適用的一個公式 ：
ds=（dq/t）。
對於絕熱過程q＝0，故s≥0，即系統的熵在可逆絕熱過程中不變，在不可逆絕熱過程中單調增大。這就是熵增加原理。由於孤立系統內部的一切變化與外界無關，必然是絕熱過程，所以熵增加原理也可表為：
一個孤立系統的熵永遠不會減少。它表明隨著孤立系統由非平衡態趨於平衡態，其熵單調增大，當系統達到平衡態時，熵達到最大值。熵的變化和最大值確定了孤立系統過程進行的方向和限度，熵增加原理就是熱力學第二定律。
2023年，夏農在bell system technical journal上發表了《通訊的數學原理》（a mathematical theory of communication）一文，將熵的概念引入資訊理論中。
[編輯本段]熵函式的來歷
熱力學第一定律就是能量守恆與轉換定律，但是它並未涉及能量轉換的過程能否自發地進行以及可進行到何種程度。熱力學第二定律就是判斷自發過程進行的方向和限度的定律，它有不同的表述方法：熱量不可能自發地從低溫物體傳到高溫物體；熱量不可能從低溫物體傳到高溫物體而不引起其他變化；不可能從單一熱源取出熱量使之全部轉化為功而不發生其他變化；第二類永動機是不可能造成的。
熱力學第二定律是人類經驗的總結，它不能從其他更普遍的定律推匯出來，但是迄今為止沒有一個實驗事實與之相違背，它是基本的自然法則之一。
由於一切熱力學變化（包括相變化和化學變化）的方向和限度都可歸結為熱和功之間的相互轉化及其轉化限度的問題，那麼就一定能找到一個普遍的熱力學函式來判別自發過程的方向和限度。可以設想，這種函式是一種狀態函式，又是一個判別性函式（有符號差異），它能定量說明自發過程的趨勢大小，這種狀態函式就是熵函式。
如果把任意的可逆迴圈分割成許多小的卡諾迴圈，可得出
∑(δqi/ti)r＝0 (1)
即任意的可逆迴圈過程的熱溫商之和為零。其中，δqi為任意無限小可逆迴圈中系統與環境的熱交換量；ti為任意無限小可逆迴圈中系統的溫度。上式也可寫成
7樓：可旎瑞茂才
基本解釋：熵
shāng
物理學上指熱能除以溫度所得的商，標誌熱量轉化為功的程度。
科學技術上泛指某些物質系統狀態的一種量（liàng）度，某些物質系統狀態可能出現的程度。亦被社會科學用以借喻人類社會某些狀態的程度。
化學中什麼是熵，化學裡的熵到底是什麼 通俗點解釋
宇宙的終極是 熵 熵到底是什麼？萬事萬物為何只增不減？熵變是指體系混亂程度的變化，熵變為正值說明體系的混亂程度增加，熵變為負值說明混亂程度減小 焓變是指體系內能的變化，焓變為正值說明反應放熱體系能量減小，焓變為負值說明反應吸熱體系能量增加 g h t s,h表示焓變，s表示熵變，g表示體系自由能，t...
熵和焓有什麼關係,熵和焓有什麼區別
熵s為系統的混亂度 焓h沒有明確的物理意義 兩者關係啊 dh dh tds vdp 對,焓只是一種態函式,熱統上用來定義定壓熱容 cp時引進的 熵和焓有什麼區別?熵和焓的區別 1從本質上來說,熵s表示物質混亂度,就是說一堆東西有多亂,種類多不多,擺的整不整齊,用波爾茲曼公式s klnx x為希臘字母...
熵的物理學含義,什麼是孤立系統,「熵」的物理意義是什麼它是如何被定義的
希望這個回答能拋抄磚引玉,信襲息學,bai很多方面都可以用到熵du的理論,物理學不一zhi定是化學的問題呢dao。熵是系統不確定度的影響,事物越混亂熵值越大 對一系列的資訊進行求熵可以得出系統的混亂或者活躍程度 打比方說人在進行心算的時候比人平靜的時候,大腦思維的活躍度要更強,這時候對腦訊號的資訊求...