চূড়ান্ত প্রকল্প — একটি সম্পূর্ণ এথিক্স ও সেফটি অডিট পরিচালনা করা

# ========== মডিউল ১: স্টেকহোল্ডার ইমপ্যাক্ট ম্যাট্রিক্স -- সম্পূর্ণ সিন্থেটিক/ইলাস্ট্রেটিভ ==========
stakeholders = [
    {"name": "চাকরি আবেদনকারী",          "weight": 0.45, "financial": -3, "autonomy": -4, "privacy": -3, "safety": 0},
    {"name": "নিয়োগকারী প্রতিষ্ঠান",      "weight": 0.25, "financial":  4, "autonomy":  3, "privacy":  0, "safety": 0},
    {"name": "বিদ্যমান কর্মীরা",           "weight": 0.20, "financial":  1, "autonomy": -1, "privacy": -1, "safety": 0},
    {"name": "বৃহত্তর সমাজ/শ্রমবাজার",     "weight": 0.10, "financial":  0, "autonomy": -1, "privacy": -1, "safety": 0},
]

DIMENSIONS = ["financial", "autonomy", "privacy", "safety"]

def weighted_impact(stakeholder):
    mean_score = sum(stakeholder[d] for d in DIMENSIONS) / len(DIMENSIONS)
    return mean_score, mean_score * stakeholder["weight"]

print(f"{'স্টেকহোল্ডার':22s} {'গড় ইমপ্যাক্ট':>14s} {'ওয়েট':>8s} {'ওয়েটেড স্কোর':>14s}")
results = []
for s in stakeholders:
    mean_score, weighted = weighted_impact(s)
    results.append((s["name"], mean_score, s["weight"], weighted))
    print(f"{s['name']:22s} {mean_score:14.3f} {s['weight']:8.2f} {weighted:14.4f}")

most_affected = min(results, key=lambda r: r[3])
print(f"\nসবচেয়ে (নেতিবাচকভাবে) বেশি প্রভাবিত গোষ্ঠী: {most_affected[0]}  (ওয়েটেড স্কোর {most_affected[3]:.4f})")

# ========== মডিউল ২: ফেয়ারনেস মেট্রিক্স -- দুটি সিন্থেটিক ডেমোগ্রাফিক গ্রুপে ==========
group_a = [
    {"id": "A1", "predicted_positive": True,  "actual_positive": True},
    {"id": "A2", "predicted_positive": True,  "actual_positive": True},
    {"id": "A3", "predicted_positive": True,  "actual_positive": True},
    {"id": "A4", "predicted_positive": True,  "actual_positive": False},
    {"id": "A5", "predicted_positive": False, "actual_positive": False},
    {"id": "A6", "predicted_positive": False, "actual_positive": False},
    {"id": "A7", "predicted_positive": False, "actual_positive": False},
    {"id": "A8", "predicted_positive": False, "actual_positive": True},
    {"id": "A9", "predicted_positive": False, "actual_positive": False},
    {"id": "A10","predicted_positive": False, "actual_positive": False},
]

group_b = [
    {"id": "B1", "predicted_positive": True,  "actual_positive": True},
    {"id": "B2", "predicted_positive": True,  "actual_positive": False},
    {"id": "B3", "predicted_positive": False, "actual_positive": False},
    {"id": "B4", "predicted_positive": False, "actual_positive": False},
    {"id": "B5", "predicted_positive": False, "actual_positive": True},
    {"id": "B6", "predicted_positive": False, "actual_positive": True},
    {"id": "B7", "predicted_positive": False, "actual_positive": False},
    {"id": "B8", "predicted_positive": False, "actual_positive": False},
    {"id": "B9", "predicted_positive": False, "actual_positive": False},
    {"id": "B10","predicted_positive": False, "actual_positive": False},
]

def fairness_metrics(records, label):
    n = len(records)
    positives_predicted = [r for r in records if r["predicted_positive"]]
    actual_pos = [r for r in records if r["actual_positive"]]
    actual_neg = [r for r in records if not r["actual_positive"]]

    dp_rate = len(positives_predicted) / n

    fp = [r for r in records if r["predicted_positive"] and not r["actual_positive"]]
    fpr = len(fp) / len(actual_neg) if actual_neg else 0.0

    fn = [r for r in records if not r["predicted_positive"] and r["actual_positive"]]
    fnr = len(fn) / len(actual_pos) if actual_pos else 0.0

    correct = [r for r in records if r["predicted_positive"] == r["actual_positive"]]
    accuracy = len(correct) / n

    calib_pos = (sum(1 for r in positives_predicted if r["actual_positive"]) / len(positives_predicted)
                 if positives_predicted else 0.0)

    print(f"--- {label} (n={n}) ---")
    print(f"  ডেমোগ্রাফিক প্যারিটি (positive prediction rate): {dp_rate:.3f}")
    print(f"  False Positive Rate:                             {fpr:.3f}")
    print(f"  False Negative Rate:                             {fnr:.3f}")
    print(f"  সামগ্রিক accuracy:                                {accuracy:.3f}")
    print(f"  ক্যালিব্রেশন (predicted-positive-দের মধ্যে actual positive rate): {calib_pos:.3f}")
    return {"dp_rate": dp_rate, "fpr": fpr, "fnr": fnr, "accuracy": accuracy, "calibration": calib_pos}

metrics_a = fairness_metrics(group_a, "Group A")
print()
metrics_b = fairness_metrics(group_b, "Group B")

dp_gap = abs(metrics_a["dp_rate"] - metrics_b["dp_rate"])
fnr_gap = abs(metrics_a["fnr"] - metrics_b["fnr"])
print(f"\nডেমোগ্রাফিক প্যারিটি ফারাক: {dp_gap:.3f}  ({dp_gap*100:.1f} পার্সেন্টেজ পয়েন্ট)")
print(f"False Negative Rate ফারাক: {fnr_gap:.3f}  ({fnr_gap*100:.1f} পার্সেন্টেজ পয়েন্ট)")

# ========== মডিউল ৩: k-anonymity চেক -- ট্রেনিং ডেটার কোয়াসি-আইডেন্টিফায়ারে ==========
training_records = [
    {"age_bracket": "20-29", "zip5": "30301", "gender": "F"},
    {"age_bracket": "20-29", "zip5": "30301", "gender": "F"},
    {"age_bracket": "20-29", "zip5": "30302", "gender": "M"},
    {"age_bracket": "30-39", "zip5": "30301", "gender": "M"},
    {"age_bracket": "30-39", "zip5": "30301", "gender": "M"},
    {"age_bracket": "30-39", "zip5": "30302", "gender": "F"},
    {"age_bracket": "40-49", "zip5": "30301", "gender": "F"},
    {"age_bracket": "40-49", "zip5": "30301", "gender": "F"},
    {"age_bracket": "20-29", "zip5": "30303", "gender": "M"},
    {"age_bracket": "30-39", "zip5": "30303", "gender": "F"},
    {"age_bracket": "40-49", "zip5": "30302", "gender": "M"},
    {"age_bracket": "20-29", "zip5": "30302", "gender": "F"},
    {"age_bracket": "30-39", "zip5": "30302", "gender": "M"},
    {"age_bracket": "40-49", "zip5": "30303", "gender": "M"},
    {"age_bracket": "20-29", "zip5": "30301", "gender": "M"},
]

def group_sizes(records, quasi_id_fields):
    groups = {}
    for r in records:
        key = tuple(r[f] for f in quasi_id_fields)
        groups.setdefault(key, []).append(r)
    return {k: len(v) for k, v in groups.items()}

def check_k_anonymity(records, quasi_id_fields, k, label):
    sizes = group_sizes(records, quasi_id_fields)
    min_size = min(sizes.values())
    violating = sum(1 for size in sizes.values() if size < k)
    satisfied = min_size >= k
    print(f"--- {label} ---")
    print(f"  কোয়াসি-আইডেন্টিফায়ার: {quasi_id_fields}")
    print(f"  মোট গ্রুপ সংখ্যা: {len(sizes)},  সর্বনিম্ন গ্রুপ সাইজ: {min_size}")
    print(f"  k={k} লঙ্ঘনকারী গ্রুপ সংখ্যা: {violating}")
    print(f"  k={k}-anonymity satisfied: {satisfied}")
    return min_size, satisfied

K_REQUIRED = 3
print("ধাপ A: মূল, জেনারালাইজ না করা কোয়াসি-আইডেন্টিফায়ার")
min_a, ok_a = check_k_anonymity(training_records, ["age_bracket", "zip5", "gender"], K_REQUIRED, "ধাপ A -- মূল ডেটা")

print("\nধাপ B: zip জেনারালাইজেশন (৫ সংখ্যা -> ৩ সংখ্যা), লিঙ্গ এখনো রাখা হয়েছে -- বর্তমান প্রোডাকশন প্র্যাকটিস")
generalized_zip3 = [dict(r, zip3=r["zip5"][:3]) for r in training_records]
min_b, ok_b = check_k_anonymity(generalized_zip3, ["age_bracket", "zip3", "gender"], K_REQUIRED, "ধাপ B -- zip3 + gender")

print("\nধাপ C: zip3 জেনারালাইজেশন + লিঙ্গ ফিল্ড বাদ দেওয়া (বিকল্প, আরও কঠোর)")
min_c, ok_c = check_k_anonymity(generalized_zip3, ["age_bracket", "zip3"], K_REQUIRED, "ধাপ C -- শুধু age_bracket + zip3")

print(f"\nসারসংক্ষেপ: সর্বনিম্ন গ্রুপ সাইজ ধাপ A-তে {min_a} -> ধাপ B-তে {min_b} -> ধাপ C-তে {min_c}")
print(f"বর্তমান প্রোডাকশন প্র্যাকটিস (ধাপ B) k={K_REQUIRED}-anonymity পূরণ করে কিনা: {ok_b}")

# ========== মডিউল ৪: স্পেসিফিকেশন-গেমিং চেক -- proxy বনাম true-goal মেট্রিক ==========
# candidates -- সিন্থেটিক প্রার্থী পুল
# proxy_score          = সিস্টেম যা সরাসরি অপ্টিমাইজ করে ("predicted job performance score")
# structured_interview = হায়ারিং-সময়ে পর্যবেক্ষণযোগ্য একটি বিকল্প সিগন্যাল (গেম করা তুলনামূলক কঠিন)
# true_success          = শুধু অডিটের জন্য (হাইপোথেটিক্যালি) জানা প্রকৃত দীর্ঘমেয়াদী সফলতা -- হায়ারিং-সময়ে অজানা

candidates = [
    {"id": "C1", "proxy_score": 92, "structured_interview": 55, "true_success": 58},
    {"id": "C2", "proxy_score": 88, "structured_interview": 52, "true_success": 54},
    {"id": "C3", "proxy_score": 85, "structured_interview": 88, "true_success": 90},
    {"id": "C4", "proxy_score": 60, "structured_interview": 80, "true_success": 85},
    {"id": "C5", "proxy_score": 55, "structured_interview": 76, "true_success": 80},
    {"id": "C6", "proxy_score": 40, "structured_interview": 42, "true_success": 45},
    {"id": "C7", "proxy_score": 95, "structured_interview": 48, "true_success": 50},
    {"id": "C8", "proxy_score": 70, "structured_interview": 70, "true_success": 72},
]

K_SELECT = 3

def select_top_k(pool, score_fn, k):
    return sorted(pool, key=score_fn, reverse=True)[:k]

def avg(pool, field):
    return sum(c[field] for c in pool) / len(pool)

def report_strategy(name, selected):
    ids = [c["id"] for c in selected]
    avg_proxy = avg(selected, "proxy_score")
    avg_true = avg(selected, "true_success")
    print(f"{name}")
    print(f"  নির্বাচিত: {ids}")
    print(f"  গড় proxy_score (যা অপ্টিমাইজ করা হয়েছে): {avg_proxy:.2f}")
    print(f"  গড় true_success (প্রকৃত লক্ষ্য):          {avg_true:.2f}")
    return avg_proxy, avg_true

strategy_a = select_top_k(candidates, lambda c: c["proxy_score"], K_SELECT)
strategy_b = select_top_k(candidates, lambda c: c["true_success"], K_SELECT)
strategy_c = select_top_k(candidates, lambda c: 0.5 * c["proxy_score"] + 0.5 * c["structured_interview"], K_SELECT)

print("কৌশল (a) -- শুধু proxy_score অনুযায়ী শীর্ষ ৩ জন (বর্তমান প্রোডাকশন সিস্টেম):")
proxy_a, true_a = report_strategy("কৌশল (a)", strategy_a)

print("\nকৌশল (b) -- সত্যিকারের true_success অনুযায়ী শীর্ষ ৩ জন (oracle বেঞ্চমার্ক -- বাস্তবে হায়ারিং-সময়ে অজানা):")
proxy_b, true_b = report_strategy("কৌশল (b)", strategy_b)

print("\nকৌশল (c) -- proxy_score ও structured_interview-এর ব্লেন্ড অনুযায়ী শীর্ষ ৩ জন (প্রস্তাবিত মিটিগেশন):")
proxy_c, true_c = report_strategy("কৌশল (c)", strategy_c)

print(f"\nকৌশল (a) [বর্তমান প্রোডাকশন] বনাম কৌশল (b) [oracle]-এর true_success ফারাক: {true_b - true_a:.2f} পয়েন্ট")
print(f"ব্লেন্ডেড মিটিগেশন কৌশল (c) কতটা এই ফারাক পুনরুদ্ধার করলো: {true_c - true_a:.2f} পয়েন্ট")
print(f"মিটিগেশনের পরও অবশিষ্ট ফারাক (residual gap): {true_b - true_c:.2f} পয়েন্ট")

gap_threshold = 30
print(f"\nডায়াগনস্টিক: proxy_score - structured_interview > {gap_threshold} হলে সম্ভাব্য 'গেমড' সিগন্যাল ফ্ল্যাগ করা হলো")
flagged = []
for c in candidates:
    gap = c["proxy_score"] - c["structured_interview"]
    if gap > gap_threshold:
        flagged.append(c["id"])
        print(f"  ফ্ল্যাগড: {c['id']}  (proxy={c['proxy_score']}, structured={c['structured_interview']}, gap={gap})")
print(f"মোট ফ্ল্যাগড প্রার্থী: {flagged}")

# ========== মডিউল ৫: ওয়েটেড কমপ্লায়েন্স/অডিট চেকলিস্ট ==========
# আগের ৪টি মডিউলের প্রকৃত গণনা করা ফলাফলের উপর ভিত্তি করে প্রতিটি ক্রাইটেরিয়ার স্ট্যাটাস নির্ধারণ করা হচ্ছে --
# হার্ডকোড করা রায় নয়, বরং থ্রেশহোল্ডের বিপরীতে প্রকৃত সংখ্যা চেক করে

STATUS_VALUE = {"pass": 1.0, "partial": 0.5, "fail": 0.0}

DP_GAP_THRESHOLD = 0.10     # ১০ পার্সেন্টেজ পয়েন্টের বেশি ডেমোগ্রাফিক-প্যারিটি ফারাক গ্রহণযোগ্য না
FNR_GAP_THRESHOLD = 0.15    # ১৫ পার্সেন্টেজ পয়েন্টের বেশি FNR ফারাক গ্রহণযোগ্য না
SPEC_GAP_THRESHOLD = 10.0   # proxy-only উৎপাদন বনাম oracle-এর মধ্যে ১০ পয়েন্টের বেশি true_success ফারাক উদ্বেগজনক

parity_status = "fail" if dp_gap > DP_GAP_THRESHOLD else "pass"
error_rate_status = "fail" if fnr_gap > FNR_GAP_THRESHOLD else "pass"
kanon_status = "pass" if min_b >= K_REQUIRED else "fail"

spec_gap = true_b - true_a
specgaming_status = "fail" if spec_gap > SPEC_GAP_THRESHOLD else "pass"

checklist = [
    {"criterion": "স্টেকহোল্ডার বিশ্লেষণ সম্পন্ন হয়েছে (মডিউল ১)",                 "weight": 0.10, "status": "pass"},
    {"criterion": "ডেমোগ্রাফিক-প্যারিটি ফেয়ারনেস মানদণ্ড পূরণ করে",                 "weight": 0.15, "status": parity_status},
    {"criterion": "গ্রুপভেদে False Negative Rate সহনীয় সীমার মধ্যে",               "weight": 0.15, "status": error_rate_status},
    {"criterion": f"ট্রেনিং-ডেটা k={K_REQUIRED}-anonymity পূরণ করে (বর্তমান প্র্যাকটিসে)", "weight": 0.15, "status": kanon_status},
    {"criterion": "প্রোডাকশনে স্পেসিফিকেশন-গেমিং গ্যাপ থ্রেশহোল্ডের মধ্যে",          "weight": 0.15, "status": specgaming_status},
    {"criterion": "মানুষের আপিল/রিভিউ পথ ডকুমেন্টেড আছে",                           "weight": 0.15, "status": "partial"},
    {"criterion": "অডিট-ট্রেইল ও চলমান মনিটরিং ডকুমেন্টেড আছে",                     "weight": 0.15, "status": "partial"},
]

total_weight = sum(item["weight"] for item in checklist)
assert abs(total_weight - 1.0) < 1e-9, "ওয়েট মোট ১.০ হতে হবে"

def audit_score(checklist):
    weighted_total = 0.0
    print(f"{'ক্রাইটেরিয়া':58s} {'ওয়েট':>6s} {'স্ট্যাটাস':>8s} {'ওয়েটেড':>8s}")
    for item in checklist:
        value = STATUS_VALUE[item["status"]]
        weighted = value * item["weight"]
        weighted_total += weighted
        print(f"{item['criterion']:58s} {item['weight']:6.2f} {item['status']:>8s} {weighted:8.3f}")
    return weighted_total

overall_score = audit_score(checklist)
print(f"\nসামগ্রিক ওয়েটেড অডিট স্কোর: {overall_score:.3f}  ({overall_score*100:.1f}%)")

failed = [item["criterion"] for item in checklist if item["status"] == "fail"]
print(f"\nফেইল করা ক্রাইটেরিয়া ({len(failed)}টি):")
for f in failed:
    print(f"  - {f}")

# ========== মডিউল ৬: চূড়ান্ত অডিট রিপোর্ট ও সুপারিশ ==========
DEPLOY_THRESHOLD = 0.85
CONDITIONAL_THRESHOLD = 0.50

if overall_score >= DEPLOY_THRESHOLD:
    recommendation = "ডিপ্লয় করা যেতে পারে (Deploy)"
elif overall_score >= CONDITIONAL_THRESHOLD:
    recommendation = "শর্তসাপেক্ষে ডিপ্লয় করা যেতে পারে (Deploy with conditions)"
else:
    recommendation = "বর্তমান অবস্থায় ডিপ্লয় করা উচিত নয় (Do not deploy as-is)"

print("=" * 78)
print("চূড়ান্ত অডিট রিপোর্ট -- হাইপোথেটিক্যাল হায়ারিং-রিকমেন্ডেশন AI সিস্টেম")
print("=" * 78)
print(f"সামগ্রিক ওয়েটেড অডিট স্কোর: {overall_score*100:.1f}%")
print(f"সুপারিশ: {recommendation}")
print()
print("সুনির্দিষ্ট কারণ (প্রকৃত গণনা করা ফলাফলের ভিত্তিতে):")
print(f"  ১. স্টেকহোল্ডার বিশ্লেষণ দেখিয়েছে '{most_affected[0]}' গোষ্ঠী সবচেয়ে বেশি (ওয়েটেড স্কোর "
      f"{most_affected[3]:.3f}) নেতিবাচকভাবে প্রভাবিত, অথচ তাদের ডিজাইন প্রক্রিয়ায় সবচেয়ে কম প্রভাব আছে।")
print(f"  ২. Group A ও Group B-এর মধ্যে ডেমোগ্রাফিক-প্যারিটি ফারাক {dp_gap*100:.1f} পার্সেন্টেজ পয়েন্ট "
      f"(থ্রেশহোল্ড {DP_GAP_THRESHOLD*100:.0f} পয়েন্টের বেশি), আর False Negative Rate ফারাক "
      f"{fnr_gap*100:.1f} পয়েন্ট (থ্রেশহোল্ড {FNR_GAP_THRESHOLD*100:.0f} পয়েন্টের বেশি) -- যোগ্য Group B "
      f"প্রার্থীরা অনুপাতে অনেক বেশি ভুলভাবে বাদ পড়ছেন।")
print(f"  ৩. ট্রেনিং-ডেটার বর্তমান প্রোডাকশন জেনারালাইজেশনে সর্বনিম্ন গ্রুপ সাইজ {min_b}, যা k={K_REQUIRED}-anonymity "
      f"পূরণ করে না (লিঙ্গ ফিল্ড বাদ দিলে সর্বনিম্ন গ্রুপ সাইজ {min_c}-এ উন্নীত হয়ে সন্তুষ্ট হতো)।")
print(f"  ৪. বর্তমান প্রোডাকশন সিস্টেম শুধু proxy_score অপ্টিমাইজ করে -- oracle বেঞ্চমার্কের তুলনায় প্রকৃত "
      f"true_success-এ {spec_gap:.1f} পয়েন্ট ঘাটতি, যার মধ্যে একটি সহজ ব্লেন্ডেড মিটিগেশনেই "
      f"{true_c - true_a:.1f} পয়েন্ট পুনরুদ্ধারযোগ্য -- কিন্তু তা এখনো প্রয়োগ করা হয়নি।")
print(f"  ৫. মানুষের আপিল পথ ও অডিট-ট্রেইল উভয়ই আংশিক (partial), সম্পূর্ণ ডকুমেন্টেড নয়।")
print()
print(f"মোট {len(failed)}টি ওয়েটেড ক্রাইটেরিয়া ফেইল করেছে -- এই ফলাফলগুলো সমাধান না করে ডিপ্লয় করলে সিস্টেমটি "
      f"নিয়মিতভাবে একটি ডেমোগ্রাফিক গ্রুপের যোগ্য প্রার্থীদের বাদ দেবে, এবং 'ভালো দেখায়' এমন প্রার্থী বাছাই "
      f"করবে যাদের প্রকৃত দীর্ঘমেয়াদে সফল হওয়ার সম্ভাবনা প্রমাণিতভাবে কম।")