ফেয়ারনেস মেট্রিক্স — ডেমোগ্রাফিক প্যারিটি ও ইকুয়ালাইজড অডস

১ · কেন ফরমাল মেট্রিক্স দরকার

L01 ও L09-এর ডেমোতে আমরা "গ্রুপ A-এর সিলেকশন রেট গ্রুপ B-এর চেয়ে X পার্সেন্টেজ পয়েন্ট বেশি" — এভাবে একটি একক তুলনা দেখেছি। কিন্তু বাস্তব ফেয়ারনেস অডিটে শুধু "কতজনকে সিলেক্ট করা হলো" যথেষ্ট নয় — একটি মডেল একাধিকভাবে "অন্যায্য" হতে পারে, এবং এই ভিন্ন ভিন্ন ধরনের অন্যায্যতা একে অপর থেকে গাণিতিকভাবে আলাদা। তাই ফেয়ারনেস গবেষণায় কয়েকটি সুনির্দিষ্ট, ফরমালি সংজ্ঞায়িত মেট্রিক্স ব্যবহার করা হয় — যার প্রতিটি একটি প্রতি-গ্রুপ কনফিউশন ম্যাট্রিক্স থেকে গণনা করা হয়।

২ · কনফিউশন ম্যাট্রিক্স রিক্যাপ — প্রতি গ্রুপে

একটি বাইনারি প্রেডিকশন মডেলের (যেমন "high-risk" বনাম "low-risk", "সিলেক্ট" বনাম "রিজেক্ট") প্রতিটি সিদ্ধান্ত চারটি ভাগের একটিতে পড়ে — এবং আমরা এই চারটি সংখ্যা প্রতিটি গ্রুপের জন্য আলাদাভাবে গণনা করি:

৩ · ডেমোগ্রাফিক প্যারিটি (Demographic Parity)

একটি গ্রুপের কতজনকে মডেল "পজিটিভ" (যেমন high-risk, অথবা সিলেক্টেড) হিসেবে প্রেডিক্ট করেছে, সেই হার — যদি এই হার সব গ্রুপে সমান হয়, ডেমোগ্রাফিক প্যারিটি সন্তুষ্ট হয়েছে বলা হয়:

এখানে $\hat{Y}=1$ মানে মডেল পজিটিভ প্রেডিক্ট করেছে, এবং $A=a$ মানে ব্যক্তিটি গ্রুপ $a$-এর সদস্য। L01 ও L09-এর ডেমোতে আমরা যা গণনা করেছিলাম (selection rate / high-premium rate), তা আসলে ডেমোগ্রাফিক প্যারিটিরই একটি উদাহরণ ছিল।

৪ · ইকুয়ালাইজড অডস (Equalized Odds)

ডেমোগ্রাফিক প্যারিটি শুধু "কতজনকে পজিটিভ বলা হলো" তা দেখে — এটি প্রকৃত ফলাফল (actual outcome) বিবেচনা করে না। ইকুয়ালাইজড অডস এক ধাপ গভীরে যায়: এটি দাবি করে যে প্রকৃতপক্ষে পজিটিভ এমন মানুষদের মধ্যে সঠিকভাবে শনাক্ত হওয়ার হার (True Positive Rate) এবং প্রকৃতপক্ষে নেগেটিভ এমন মানুষদের মধ্যে ভুলভাবে পজিটিভ বলার হার (False Positive Rate) — দুটোই সব গ্রুপে সমান হতে হবে:

এর মানে, শুধু "কতজন পজিটিভ পেল" নয়, বরং "প্রকৃতপক্ষে যারা positive/negative, তাদের সাথে মডেলের আচরণ একইরকম কি না" — এটি ইকুয়ালাইজড অডস মাপে।

৫ · ক্যালিব্রেশন (Calibration)

ক্যালিব্রেশন প্রশ্নটি উল্টো দিক থেকে জিজ্ঞাসা করে: যাদের মডেল "পজিটিভ" (high-risk) বলে প্রেডিক্ট করেছে, তাদের মধ্যে প্রকৃতপক্ষে কত শতাংশ সত্যিই পজিটিভ (outcome ঘটেছে)? এটি হলো predicted-positive-দের মধ্যে Positive Predictive Value (PPV):

যদি এই হার সব গ্রুপে সমান হয় — অর্থাৎ "high-risk" ট্যাগের প্রকৃত অর্থ প্রতিটি গ্রুপে একইরকম নির্ভরযোগ্য হয় — মডেলকে ক্যালিব্রেটেড বলা হয়। L11-এ আমরা দেখব একটি মডেল ক্যালিব্রেটেড হওয়া সত্ত্বেও ইকুয়ালাইজড অডস ভাঙতে পারে — এবং এটিই ২০১৬ সালের COMPAS/ProPublica বিতর্কের মূল কেন্দ্রবিন্দু।

৬ · সম্পূর্ণ ক্যালকুলেটর — সত্যিকারের ডেটার উপর

নিচের কোডে দুটি গ্রুপের জন্য সিন্থেটিক আবেদনকারীর ডেটা তৈরি করা হয়েছে — প্রকৃত ঋণ-খেলাপির (default) হার দুই গ্রুপেই প্রায় সমান (৩৫%) রাখা হয়েছে, কিন্তু মডেলের স্কোরে গ্রুপ A-এর জন্য একটি ইচ্ছাকৃত সিস্টেমেটিক বায়াস (bias_shift) যোগ করা হয়েছে — L09-এর মতোই একটি ফিচার-ভিত্তিক বায়াস কল্পনা করুন যা এই শিফটের পেছনে থাকতে পারে। এরপর একটি একক থ্রেশহোল্ডে প্রেডিকশন করে, প্রতি-গ্রুপ কনফিউশন ম্যাট্রিক্স বানিয়ে তিনটি মেট্রিক্স-ই সত্যিই গণনা করা হচ্ছে।

import random
random.seed(3)

def generate_group(n, group, bias_shift):
    people = []
    for _ in range(n):
        actual = 1 if random.random() < 0.35 else 0  # প্রকৃত বেস রেট উভয় গ্রুপেই সমান (৩৫%)
        base_score = random.gauss(0.62, 0.15) if actual == 1 else random.gauss(0.38, 0.15)
        score = max(0.0, min(1.0, base_score + bias_shift))  # bias_shift: মডেল স্কোরে সিস্টেমেটিক শিফট
        people.append({"group": group, "actual": actual, "score": score})
    return people

group_a = generate_group(500, "A", bias_shift=0.10)   # গ্রুপ A-এর স্কোরে +0.10 সিস্টেমেটিক বায়াস
group_b = generate_group(500, "B", bias_shift=0.0)    # গ্রুপ B-এর স্কোরে কোনো বায়াস নেই

THRESHOLD = 0.5
def predict(p):
    return 1 if p["score"] >= THRESHOLD else 0

for p in group_a + group_b:
    p["predicted"] = predict(p)

def confusion_matrix(people):
    cm = {"TP": 0, "FP": 0, "FN": 0, "TN": 0}
    for p in people:
        if p["predicted"] == 1 and p["actual"] == 1: cm["TP"] += 1
        elif p["predicted"] == 1 and p["actual"] == 0: cm["FP"] += 1
        elif p["predicted"] == 0 and p["actual"] == 1: cm["FN"] += 1
        else: cm["TN"] += 1
    return cm

cm_a = confusion_matrix(group_a)
cm_b = confusion_matrix(group_b)

def fairness_metrics(cm):
    TP, FP, FN, TN = cm["TP"], cm["FP"], cm["FN"], cm["TN"]
    total = TP + FP + FN + TN
    predicted_positive = TP + FP
    actual_positive = TP + FN
    actual_negative = FP + TN
    return {
        "demographic_parity": predicted_positive / total,
        "tpr": TP / actual_positive if actual_positive else 0,
        "fpr": FP / actual_negative if actual_negative else 0,
        "calibration_ppv": TP / predicted_positive if predicted_positive else 0,
    }

m_a = fairness_metrics(cm_a)
m_b = fairness_metrics(cm_b)

print("গ্রুপ A কনফিউশন ম্যাট্রিক্স:", cm_a)
print("গ্রুপ B কনফিউশন ম্যাট্রিক্স:", cm_b)
print()
print(f"ডেমোগ্রাফিক প্যারিটি (predicted-positive rate) -- A: {m_a['demographic_parity']*100:.1f}%,  B: {m_b['demographic_parity']*100:.1f}%")
print(f"True Positive Rate (TPR)                        -- A: {m_a['tpr']*100:.1f}%,  B: {m_b['tpr']*100:.1f}%")
print(f"False Positive Rate (FPR)                        -- A: {m_a['fpr']*100:.1f}%,  B: {m_b['fpr']*100:.1f}%")
print(f"ক্যালিব্রেশন (predicted-positive-দের মধ্যে প্রকৃত পজিটিভের হার) -- A: {m_a['calibration_ppv']*100:.1f}%,  B: {m_b['calibration_ppv']*100:.1f}%")