# 第五章 機率分佈

# 隨機變數

定義:係依樣本空間為定義域的實數值函數


# 機率分佈

# 1. 間斷機率分佈

  • 間斷隨機變數 之機率分佈,指將各個不同的 值與其對應之機率值逐一列出的表,有時亦可以公式來取代其詳細的表列
  • 間斷隨機變數 之機率分佈可以函數表示:

  • 其中 必須滿足
    • 對於 中的每一
    • 可能值為 ,

# 2. 連續機率分佈

  • 機率密度函數 Probability density function

    • 乃描述一連續隨機變數 之機率分佈,並具有下列之特性
      • 機率密度曲線以下所涵蓋的總面積等於 1
      • 機率密度曲線下,介於 之間的面積
      • 對於 之所有可能值的範圍而言
    • 公式

  • 直方圖特性

    • 面積總和為 1
    • 就某些組的邊界點 而言,介於 之間相對次數為該區間內,直方圖所表示的面積


# 聯合機率分佈

若考慮二維或以上的樣本空間,則可定義出二個或以上的隨機變數

同時考慮二個以上的隨機變數之機變數之機率分佈,此即聯合機率分佈

如同機率分佈一樣,聯合機率分佈(以後簡稱為聯合分佈)亦可分為間斷聯合分佈連續聯合分佈

# 1. 間斷隨機變數

# 聯合機率分佈

  • 列出間斷隨機變數 之所有可能值 ,以及其所應對的機率值 之表格或數學式,則為 的聯合分佈
  • 為間斷隨機變數時

# 邊際機率分佈

  • 聯合分佈和其機率分佈關係

# 條件機率分佈

  • 設有 兩個隨機變數之聯合分佈,且其邊際機率分佈為 。在給定 下, 條件機率分佈 為:

    同理,在給定 下, 條件分佈為:

# 獨立的隨機變數

  • 為任意兩個隨機變數,其聯合分佈與邊際機率分佈分別為 , , ,若 的條件分佈等於其邊際機率分佈,即:

    則稱將變數 互為獨立。同理,若 的條件分佈等於其邊際機率分佈,即

    則稱隨機變數 互為獨立

# 兩獨立隨機變數的性質

  • 為獨立的兩個隨機變數,則

# 2. 連續隨機變數

# 聯合機率分佈

  • 特性
    • 式中的範圍 , ,分別表示隨機變數 之範圍

# 邊際機率分佈

  • 在間斷隨機變數中,已知 的機率分佈,且若個別求出 單獨之機率分佈 ,此時 便稱為 邊際機率分佈
  • 之聯合分佈和其邊際機率分佈的關係

# 條件機率&分佈獨立性

  • 設有 兩個隨機變數之聯合分佈,且其邊際機率分佈分別為 ,在給定 下, 的條件機率分佈

    必須滿足

  • 連續隨機變數獨立的性質

    • 為兩個獨立連續隨機變數,則


# 期望值

  • 間斷隨機變數 的平均數或期望值

    • 式中 乃在 之可能值 的範圍內,而 則為 之機率分佈

  • 間斷隨機變數函數的期望值

    • 為間斷隨機變數,其機率分佈為 ,則 X 之函數 g(X) 的期望值為:

  • 連續隨機變數的期望值

    • 為兩個連續隨機變數,則期望值為:
      • 式中 屬於 的範圍值內, 屬於 的範圍值內,且 之機率分佈, 則為 之機率分佈

  • 聯合機率分佈的期望值

    • 為間斷隨機變數,其聯合機率分佈為 ,則隨機變數 的期望值定義為:


# 變異數

  • 隨機變數的變異數

    • 為一間斷隨機變數,其機率分佈為 ,則 的變異數為:

  • 隨機變數的標準差

  • 的聯合分佈 的變異數

    • 的變異數

      因為
    • 的變異數

      因為
  • 補充

    • 聯合分佈
    • 邊際分佈 &
    • 期望值 &

# 切比雪夫定理

  • Chenyshev 定理適用於任何機率分佈,包括任何型態的間斷分佈連續分佈
  • 若隨機變數 具有平均數 ,變異數 ,則下式成立:



# 期望值的性質

  • 兩隨機變數的期望值

    • 為任意兩個隨機變數,其聯合分佈為 ,則 的期望值為:

  • 兩隨機變數乘積的期望值

    • 設兩個隨機變數 互為獨立,則:


# 變異數的性質

  • 兩隨機變數的變異數性值

    • 為任意兩個隨機變數,且互為獨立,則:

  • 兩個以上隨機變數的變異數性質

    • , , ... 為任意 個隨機變數 ,則

    • 另外,若 皆互相獨立,則

# 共變數

  • 一個共變異數用於衡量兩個變量的總體誤差,通常以 表示有以下觀念

    • 變異數是共變異數的一種特殊情況,即當兩個變量是相同的情況
    • 如果兩個變量的變化趨勢一致,也就是說如果其中一個大於自身的期望值,另外一個也大於自身的期望值,那麼兩個變量之間的共變異數就是正值。如果兩個變量的變化趨勢相反,那麼兩個變量之間的共變異數就是負值
    • 如果 是統計獨立的,那麼二者之間的共變異數就是0,這是因為 ,但是反過來並不成立,即如果 的共變異數為 0,二者並不一定是統計獨立的。僅表明 兩隨機變量之間沒有線性相關性
  • 公式


# 補充

  • PDF:機率密度函數(probability density function)

    • 連續行型隨機變數的機率密度函數(簡稱為密度函數)是一個描述這個隨機變數的輸出值,在某個確定的取值点附近的可能性的函數。
  • PMF:機率質量函數(probability mass function)

    • 離散隨機變數在各特定取值上的機率
  • CDF:累積分佈函數 (cumulative distribution function)

    • 又叫分佈函数,是機率密度函數的積分,能完整描述隨機變數 的機率分佈