01
檢定用合併標準誤，區間用非合併標準誤
虛無假設認為兩組的母體比例相同，因此檢定統計量使用合併比例計算標準誤。信賴區間描述的是實際觀察到的差異，最簡單的形式使用非合併標準誤，也就是 Wald 區間。
Wald 區間在樣本小或比例極端時表現不佳；由兩個 Wilson 區間組合而成的 Newcombe 混合分數區間是更好的預設選擇，本計算器同時提供兩者。任一格的期望次數小於約 5 時，常態近似並不可靠，請報告 Fisher 精確檢定的 P 值。
- x、n：每組的成功數和樣本數，p = x ÷ n；p̄ = (x_A + x_B) ÷ (n_A + n_B)。
- z² 即 2×2 表的 Pearson χ²（不做連續性校正，自由度 1）。
- Cohen's h = 2·asin√p_B − 2·asin√p_A（0.2 為小、0.5 為中、0.8 為大）；相對提升 = p_B ÷ p_A − 1。
02
範例（合成資料）
在合成零食品牌追蹤資料中（程式產生的範例資料，不是真實受訪者），18–34 歲受訪者（B 組）對萊姆辣椒口味的購買意願前兩項占比為 115/203 = 56.7%，55 歲以上受訪者（A 組）為 51/179 = 28.5%。
差異為 28.2 個百分點；合併比例 43.5%，z = 5.54，P < .001（χ² = 30.70）。差異的 95% Newcombe 信賴區間為 18.3 至 37.2 個百分點，相對提升 +99%，Cohen's h = 0.58。
若要在相同的 28.5% 基準上，以 80% 檢定力、α = 0.05（雙尾）偵測 5 個百分點的較小差異，每組約需 1,342 人。
03
兩組必須相互獨立
這個檢定假設沒有受訪者同時屬於兩組。
- 比較調查中的兩個子群（女性與男性），或 A/B 測試的兩個版本。
- 規劃下一波調查或下一次測試的樣本數。
- 不要用來比較子群與其所屬的全體：子群應與「其餘所有人」比較。
- 不要用於同一批人的兩個答案或同一樣本的兩次測量：請使用 McNemar 檢定。
- 多於兩組或答案多於兩類時不要用：請使用卡方檢定。
04
如何解讀
P 值小於 α 表示差異達統計顯著：如果兩組的母體比例相同，出現這麼大的差距並不尋常。用信賴區間判斷差異可能的大小，用 Cohen's h 判斷實際意義——樣本很大時，很小的差異也會顯著。單尾檢定要在看資料之前決定；A/B 測試也不要一越過 P < 0.05 就立刻停止，反覆查看會提高偽陽性率。