কেস স্টাডি — COMPAS ও রিসিডিভিজম প্রেডিকশন

১ · COMPAS কী

COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) যুক্তরাষ্ট্রের বিভিন্ন আদালত ও সংশোধনী ব্যবস্থায় ব্যবহৃত একটি বাণিজ্যিক রিস্ক-অ্যাসেসমেন্ট টুল, যা একজন অভিযুক্ত/দণ্ডপ্রাপ্ত ব্যক্তির ভবিষ্যতে পুনরায় অপরাধ করার (রিসিডিভিজম) সম্ভাবনার একটি স্কোর/ঝুঁকি-স্তর (low/medium/high risk) তৈরি করে — যা প্রি-ট্রায়াল রিলিজ বা সেন্টেন্সিং-সম্পর্কিত সিদ্ধান্তে একটি ইনপুট হিসেবে ব্যবহৃত হয়ে থাকে। COMPAS এই ধরনের একাধিক রিস্ক-অ্যাসেসমেন্ট টুলের মধ্যে একটি, এবং এটিই সবচেয়ে বহুল-আলোচিত হয়ে ওঠে ২০১৬ সালের একটি সাংবাদিকতামূলক তদন্তের পর।

২ · ২০১৬ সালের ProPublica "Machine Bias" তদন্ত

অনুসন্ধানী সাংবাদিকতা প্রতিষ্ঠান ProPublica ২০১৬ সালে COMPAS-এর ফলাফল বিশ্লেষণ করে একটি ব্যাপকভাবে আলোচিত প্রতিবেদন প্রকাশ করে। তাদের বিশ্লেষণের সাধারণ, সুপ্রতিষ্ঠিত ফাইন্ডিং ছিল: বিভিন্ন জাতিগত গ্রুপ জুড়ে টুলটির ক্যালিব্রেশন মোটামুটি সমান ছিল (অর্থাৎ "high-risk" ট্যাগের প্রকৃত অর্থ — কত শতাংশ সত্যিই পুনরায় অপরাধ করেছেন — গ্রুপ জুড়ে কাছাকাছি ছিল), কিন্তু False Positive Rate ও False Negative Rate স্পষ্টভাবে ভিন্ন ছিল: সাধারণভাবে, Black defendant-দের প্রায়ই ভুলভাবে high-risk হিসেবে চিহ্নিত করা হয়েছিল যদিও তারা পরবর্তীতে পুনরায় অপরাধ করেননি, আর white defendant-দের প্রায়ই ভুলভাবে low-risk বলা হয়েছিল যদিও তারা পুনরায় অপরাধ করেছিলেন। এখানে ইচ্ছাকৃতভাবেই কোনো নির্দিষ্ট সংখ্যা উল্লেখ করা হচ্ছে না, কারণ প্রকৃত রিপোর্ট করা পরিসংখ্যান নিয়েও পদ্ধতিগত বিতর্ক রয়েছে — নিচের কোড সেলে আমরা নিজেদের সিন্থেটিক সংখ্যা দিয়ে একই ধরনের প্যাটার্ন দেখাব।

৩ · Northpointe/Equivant-এর পাল্টা-যুক্তি

COMPAS-এর নির্মাতা প্রতিষ্ঠান (তখন Northpointe, পরে Equivant নামে পরিচিত) পাল্টা যুক্তি দেয় যে তাদের টুল সামগ্রিকভাবে ভালোভাবে ক্যালিব্রেটেড — অর্থাৎ একটি নির্দিষ্ট রিস্ক-স্কোরের মানুষদের মধ্যে প্রকৃত রিসিডিভিজম রেট জাতিগত গ্রুপ জুড়ে সামঞ্জস্যপূর্ণ, যা তাদের মতে একটি প্রেডিকশন টুলের জন্য একটি গুরুত্বপূর্ণ ও যুক্তিসঙ্গত ফেয়ারনেস মানদণ্ড। এটি নিছক "কোম্পানির সাফাই" নয় — ক্যালিব্রেশন এবং ইকুয়ালাইজড অডস দুটোই স্বীকৃত, বৈধ ফেয়ারনেস মেট্রিক্স (L10-এ আমরা দুটোই সংজ্ঞায়িত করেছি)। প্রকৃত বিতর্কটি তাই "কে মিথ্যা বলছে" নয় — বরং কোন মেট্রিক্স ফেয়ারনেসের সঠিক পরিমাপ, তা নিয়ে একটি প্রকৃত পদ্ধতিগত মতবিরোধ।

৪ · কীভাবে দুটো দাবিই একসাথে সত্য হতে পারে

ভাসাভাসাভাবে মনে হতে পারে ProPublica ও Northpointe পরস্পরবিরোধী দাবি করছে — কিন্তু গাণিতিকভাবে দুটোই একসাথে সত্য হওয়া সম্পূর্ণ সম্ভব, যদি দুই গ্রুপের প্রকৃত বেস রেট (প্রকৃতপক্ষে পুনরায় অপরাধ করার হার) ভিন্ন হয়। L13-এ আমরা এর পেছনের সাধারণ গাণিতিক ফলাফলটি (impossibility theorem) বিস্তারিত দেখব; এখানে আমরা শুধু L10-এর ক্যালকুলেটর ব্যবহার করে একটি কংক্রিট, সত্যিকারের গণনা করা উদাহরণ দিয়ে দেখাচ্ছি এটি কীভাবে ঘটতে পারে।

def make_group_records(group, tp, fp, fn, tn):
    records = []
    for _ in range(tp): records.append({"group": group, "predicted_high_risk": 1, "actual_reoffended": 1})
    for _ in range(fp): records.append({"group": group, "predicted_high_risk": 1, "actual_reoffended": 0})
    for _ in range(fn): records.append({"group": group, "predicted_high_risk": 0, "actual_reoffended": 1})
    for _ in range(tn): records.append({"group": group, "predicted_high_risk": 0, "actual_reoffended": 0})
    return records

# সিন্থেটিক ডেটা -- বাস্তব COMPAS ডেটাসেট নয়, শুধু একই পরিসংখ্যানগত ঘটনা
# (ভিন্ন বেস-রেট থাকা সত্ত্বেও সমান ক্যালিব্রেশন + ভিন্ন FPR/FNR) সিমুলেট করার জন্য তৈরি সংখ্যা
group_a = make_group_records("গ্রুপ A", tp=240, fp=160, fn=260, tn=340)  # গ্রুপ A: প্রকৃত রিঅফেন্স রেট বেশি
group_b = make_group_records("গ্রুপ B", tp=120, fp=80, fn=180, tn=620)   # গ্রুপ B: প্রকৃত রিঅফেন্স রেট কম

def confusion_matrix(records):
    cm = {"TP": 0, "FP": 0, "FN": 0, "TN": 0}
    for r in records:
        if r["predicted_high_risk"] == 1 and r["actual_reoffended"] == 1: cm["TP"] += 1
        elif r["predicted_high_risk"] == 1 and r["actual_reoffended"] == 0: cm["FP"] += 1
        elif r["predicted_high_risk"] == 0 and r["actual_reoffended"] == 1: cm["FN"] += 1
        else: cm["TN"] += 1
    return cm

def fairness_metrics(cm):
    TP, FP, FN, TN = cm["TP"], cm["FP"], cm["FN"], cm["TN"]
    total = TP + FP + FN + TN
    actual_positive = TP + FN
    actual_negative = FP + TN
    predicted_positive = TP + FP
    base_rate = actual_positive / total
    return {
        "base_rate": base_rate,
        "tpr": TP / actual_positive,
        "fpr": FP / actual_negative,
        "fnr": FN / actual_positive,
        "calibration_ppv": TP / predicted_positive,
    }

cm_a = confusion_matrix(group_a)
cm_b = confusion_matrix(group_b)
m_a = fairness_metrics(cm_a)
m_b = fairness_metrics(cm_b)

print(f"গ্রুপ A -- প্রকৃত বেস রিঅফেন্স রেট: {m_a['base_rate']*100:.1f}%")
print(f"গ্রুপ B -- প্রকৃত বেস রিঅফেন্স রেট: {m_b['base_rate']*100:.1f}%")
print()
print(f"ক্যালিব্রেশন (high-risk-দের মধ্যে প্রকৃত রিঅফেন্স রেট) -- A: {m_a['calibration_ppv']*100:.1f}%,  B: {m_b['calibration_ppv']*100:.1f}%")
print(f"False Positive Rate (রিঅফেন্ড করেনি এমন কাউকে high-risk বলা)      -- A: {m_a['fpr']*100:.1f}%,  B: {m_b['fpr']*100:.1f}%")
print(f"False Negative Rate (রিঅফেন্ড করেছে এমন কাউকে low-risk বলা)       -- A: {m_a['fnr']*100:.1f}%,  B: {m_b['fnr']*100:.1f}%")
print()
print("লক্ষ্য করুন: দুই গ্রুপেই ক্যালিব্রেশন প্রায় সমান, তবুও FPR ও FNR স্পষ্টভাবে ভিন্ন --")
print("এটাই ২০১৬ সালের ProPublica-Northpointe বিতর্কের মূল পরিসংখ্যানগত কাঠামো (সম্পূর্ণ সিন্থেটিক সংখ্যা দিয়ে)।")