浅谈最大熵原理和统计物理学.doc

淺談最大熵原理和統計物理學 文/曾致遠 摘 要 在本文中我們將分別從物理和資訊論角度簡單討論熵的意義並介紹由 E.T.Jaynes 所奠立基礎的最大熵原理的原始理解。透過研究理想氣體，我們將闡述如何運用最大熵原理研究真實問題。同時藉由簡短分析統計物理學研究方法的問題，本文會給出最大熵原理更深層涵義及其應用。我們將稱之為最大熵原理第二延伸。最後透過真實氣體的研究， 我們將描繪出如何運用第二延伸來幫助我們思考及研究熱力學系統。 一、前言 長時間以來人們對於熵有物理上的理解也有資訊論 (Information theory) 上的理解。物理上的熵可以說明熱力學系統的演化方向、熱平衡的達成與否亦或是代表系統的混亂程度等[1-3]。在資訊論裡，資訊熵則代表量測資訊系統的可信度或者是忽略度[3,4]。然而不管物理或是資訊論上對熵的理解，實際上仍侷限於將熵視為一個量測的工具。正如我們可藉由系統能量的量測來了解系統狀態穩定與否。然而由於E.T.Jaynes的貢獻，熵可視為一種研究問題的推理工具，這一層意義才為人所知[5,6]。時至今日，我們雖然仍無法全盤了解熵的真正意含，但是我們也漸漸掌握熵在物理學尤其是統計物理中所能扮演的角色。通過本文淺顯的介紹，我們將從過去Jaynes對於熵的認識到今日我們的新發現，掀開熵的神秘面紗。 二、最大熵原理 l、什麼是最大熵原理 相信物理系學生和物理研究人員都很熟悉Clausius的經驗準則-熱力學第二定律[1,2]。該定律說明當一個熱力學系統達到最後熱平衡狀態時，該系統的熵會達到最大值。進一步的研究指出當系統的熵最大時， 其自由能將會成為最小。在此一特性的影響下人們慣性的傾向於將熵視為類似能量的巨觀物理量。此一物理量成為描述系統亂度的依據。此後由於 Gibbs 引入 ensemble 觀念，開啟微觀角度的研究方法因而奠立近代統計力學理解熵的理論基礎。在統計力學的觀念中，觀察者所量測到該系統熱力學性質之巨觀物理量諸如系統內能或壓力，基本上只能以平圴值來表現。原因在於觀察者無法明確掌握系統微觀狀態。此種不確定性可以藉由機率分佈如canonical ensemble來量化表示。古典系統熵便可由此機率分佈來定義出不連續表示， ， (1) 式中 代表波茲曼常數而 為觀察者量測到系統處在狀態時的機率分佈。或者是連續表示， ， (2) 式中 代表空間和動量參數且 表示觀察者量測到系統微觀狀態在 範圍之機率份佈。對於量子統計系統， von Neumann 發現也同樣存在著類似形式來描述系統亂度。他給出熵密度矩陣 (density matrix) 型式， ， ， (3) 。不過這些熵的微觀知識，只讓我們了解到熵和用以描述熱力學系統物理量平均值的機率份佈之間存在一個關聯性。除此之外，我們並未獲得更多觀念上的突破。熵仍只是一個量測工具。 在 1940年代 Shannon 等人所發展的 communication theory[4] 也就是後來漸趨成熟且多元化的Information theory 中，也同樣存在一相似特性的量。 Shannon 也稱之為熵，該量被視為量測雜訊如何影響系統中有用資訊的程度，我們定義為忽略度 (degree of ignorance) 或者描述了選取系統資訊的傾向程度，稱之為傾向度(degree Of likelihood) 。通過 Cox 和 Skilling 完全不同的論證[5,7]，資訊熵的機率分佈型式類似於熱力學熵。所不同者在於熱力學熵含有波玆曼常數。這樣的相似性直到 Jaynes 在1957 年的研究才證明這個相似其實是相等[5]。資訊熵和熱力學熵實際上具有相同的含意。Jaynes更進一步指出且證明最大熵原理 (maximum entropy principle) 並不只是單純的熱力學第二定律。他的研究指出，最大熵原理不具任何物理意義僅是一個推論的工具。藉由此原理，觀察者所擁有的相關系統資訊可以公正客觀的被編入特定機率分佈中來描述觀察者量測到系統微觀狀態的機會。下一小節中我們將以理想氣體為例具體說明在 Jaynes 的理解下，如何運用此一原理重現統計力學的結果並且通過這樣的方式我們將更能了解熵及最大熵原理在物理上的含義和功用。 2、實例一：理想氣體 假設一含有 N 個氣體分子的理想氣體已達熱平衡狀態，觀察者可量測到該氣體之總內能平均值為 (4) 其中 代表系統的漢米頓量(Hamiltonian)，對於理想氣體而言僅有動能而無分子間相互作用能而 代表我們量測到系統微觀能量狀態等於 時的 N 個分子機率分佈。關係式 (4)，我們稱之為能量約束方程。它描述了我們對於理想氣體有關能量部分資訊