বায়াস মিটিগেশন টেকনিক

১ · তিনটি প্রধান পন্থার পরিচিতি

L09-L11-এ আমরা দেখেছি বায়াস কীভাবে ডেটা, মডেল ও ডিপ্লয়মেন্ট স্তরে ঢুকতে পারে, এবং L10-এ শিখেছি এটি ফরমালি কীভাবে মাপা যায়। এখন প্রশ্ন হলো: বায়াস কমানো যায় কীভাবে? গবেষণা ও প্র্যাকটিসে এই কৌশলগুলোকে সাধারণত পাইপলাইনে তারা কোথায় হস্তক্ষেপ করে তার ভিত্তিতে তিনটি শ্রেণীতে ভাগ করা হয়:

২ · প্রি-প্রসেসিং — ডেটাকেই সংশোধন করা

প্রি-প্রসেসিং কৌশলগুলো মডেল ট্রেন হওয়ার আগেই ডেটাসেটে হস্তক্ষেপ করে। দুটি সাধারণ কৌশল:

• রিওয়েটিং (reweighting): প্রতিটি ট্রেনিং উদাহরণকে একটি ওয়েট দেওয়া হয় যাতে কম- প্রতিনিধিত্বপ্রাপ্ত গ্রুপ/আউটকাম কম্বিনেশনগুলো ট্রেনিং প্রক্রিয়ায় আপেক্ষিকভাবে বেশি গুরুত্ব পায়।
• রিস্যাম্পলিং (resampling): কম-প্রতিনিধিত্বপ্রাপ্ত গ্রুপ থেকে অতিরিক্ত নমুনা (আপস্যাম্পলিং) নেওয়া অথবা সংখ্যাগরিষ্ঠ গ্রুপ থেকে নমুনা কমানো (ডাউনস্যাম্পলিং), যাতে ট্রেনিং সেটে গ্রুপগুলোর প্রতিনিধিত্ব আরও সুষম হয়।

সুবিধা: মডেল আর্কিটেকচার অপরিবর্তিত থাকে, তাই যেকোনো মডেলের সাথে ব্যবহারযোগ্য। সীমাবদ্ধতা: L09-এ আলোচিত মেজারমেন্ট বায়াস (যেমন একটি ফিচার নিজেই ভুলভাবে পরিমাপ করা) প্রি-প্রসেসিং দিয়ে ঠিক করা যায় না — এটি শুধু প্রতিনিধিত্ব/ভারসাম্য ঠিক করে, ফিচারের অন্তর্নিহিত মান নয়।

৩ · ইন-প্রসেসিং — ট্রেনিং প্রক্রিয়ার মধ্যেই ফেয়ারনেস

ইন-প্রসেসিং কৌশলগুলো মডেলের অপ্টিমাইজেশন লক্ষ্যকেই পরিবর্তন করে — শুধু অ্যাকুরেসি সর্বোচ্চ করা নয়, বরং অ্যাকুরেসির সাথে একটি ফেয়ারনেস কনস্ট্রেইন্ট/পেনাল্টিও যোগ করে ট্রেনিং করা (যেমন "গ্রুপ জুড়ে ডেমোগ্রাফিক প্যারিটির গ্যাপ একটি নির্দিষ্ট সীমার মধ্যে রাখতে হবে" — এমন একটি শর্ত অপ্টিমাইজেশনে যোগ করা)। এর কারিগরি বাস্তবায়ন (constrained optimization, adversarial debiasing ইত্যাদি) Machine Learning কোর্সের অপ্টিমাইজেশন-সম্পর্কিত বিষয়ের সম্প্রসারণ। সুবিধা: সরাসরি একটি নির্দিষ্ট ফেয়ারনেস মেট্রিক্স লক্ষ্য করে অপ্টিমাইজ করা যায়। সীমাবদ্ধতা: মডেল-নির্দিষ্ট বাস্তবায়ন প্রয়োজন, এবং অ্যাকুরেসি ও ফেয়ারনেসের মধ্যে একটি ট্রেড-অফ প্রায়ই দেখা যায়।

৪ · পোস্ট-প্রসেসিং — সিদ্ধান্ত পর্যায়ে সমন্বয়

পোস্ট-প্রসেসিং কৌশলগুলো মডেলকে সম্পূর্ণ অপরিবর্তিত রাখে — শুধু মডেলের আউটপুট স্কোর থেকে চূড়ান্ত সিদ্ধান্তে রূপান্তরের নিয়মটি (যেমন থ্রেশহোল্ড) গ্রুপভেদে ভিন্নভাবে সেট করা হয়, যাতে একটি নির্দিষ্ট ফেয়ারনেস মেট্রিক্স (যেমন ডেমোগ্রাফিক প্যারিটি) সন্তুষ্ট হয়। এটি প্রয়োগ করা সবচেয়ে সহজ — বিদ্যমান মডেল পুনরায় ট্রেন করার প্রয়োজন নেই।

৫ · একটি সত্যিকারের পোস্ট-প্রসেসিং ডেমো

নিচের কোডে L09/L10-এর মতোই একটি বায়াসড স্কোরিং মডেল আছে — গ্রুপ A-এর স্কোরে একটি সিস্টেমেটিক নিম্নমুখী শিফট যোগ করা হয়েছে। প্রথমে একটি একক (shared) থ্রেশহোল্ডে সিলেকশন-রেট গ্যাপ দেখানো হচ্ছে, তারপর গ্রুপ A-এর জন্য একটি নতুন, কম থ্রেশহোল্ড খুঁজে বের করে (এমনভাবে যাতে গ্রুপ A-এর সিলেকশন রেট গ্রুপ B-এর রেটের কাছাকাছি আসে) গ্যাপ সত্যিই কতটা কমে তা গণনা করে দেখানো হচ্ছে।

import random
random.seed(5)

def generate_group(n, group, bias_shift):
    people = []
    for _ in range(n):
        base_score = random.gauss(0.55, 0.15)
        score = max(0.0, min(1.0, base_score + bias_shift))
        people.append({"group": group, "score": score})
    return people

group_a = generate_group(500, "A", bias_shift=-0.12)  # গ্রুপ A-এর স্কোরে সিস্টেমেটিক নিম্নমুখী বায়াস
group_b = generate_group(500, "B", bias_shift=0.0)

def selection_rate(people, threshold):
    selected = [1 for p in people if p["score"] >= threshold]
    return len(selected) / len(people)

SHARED_THRESHOLD = 0.55
rate_a_shared = selection_rate(group_a, SHARED_THRESHOLD)
rate_b_shared = selection_rate(group_b, SHARED_THRESHOLD)
gap_shared = abs(rate_a_shared - rate_b_shared) * 100

print("=== একক (shared) থ্রেশহোল্ড -- পোস্ট-প্রসেসিং অ্যাডজাস্টমেন্টের আগে ===")
print(f"গ্রুপ A সিলেকশন রেট: {rate_a_shared*100:.1f}%")
print(f"গ্রুপ B সিলেকশন রেট: {rate_b_shared*100:.1f}%")
print(f"গ্যাপ: {gap_shared:.1f} পার্সেন্টেজ পয়েন্ট")

# পোস্ট-প্রসেসিং: প্রতিটি গ্রুপের জন্য আলাদা থ্রেশহোল্ড খুঁজে বের করা, যাতে সিলেকশন রেট লক্ষ্য-মানের কাছাকাছি হয়
TARGET_RATE = rate_b_shared  # গ্রুপ B-এর রেটকে লক্ষ্য (বেঞ্চমার্ক) হিসেবে ধরা হলো

def find_threshold_for_target_rate(people, target_rate):
    scores = sorted((p["score"] for p in people), reverse=True)
    n = len(scores)
    best_threshold = 1.0
    best_diff = float("inf")
    for candidate in scores:  # প্রতিটি প্রার্থীর স্কোরকে সম্ভাব্য থ্রেশহোল্ড হিসেবে পরীক্ষা করা হচ্ছে
        rate = sum(1 for s in scores if s >= candidate) / n
        diff = abs(rate - target_rate)
        if diff < best_diff:
            best_diff = diff
            best_threshold = candidate
    return best_threshold

threshold_a_adjusted = find_threshold_for_target_rate(group_a, TARGET_RATE)
threshold_b_adjusted = SHARED_THRESHOLD  # গ্রুপ B আগের থ্রেশহোল্ডেই থাকছে -- এটিই লক্ষ্য রেট

rate_a_adjusted = selection_rate(group_a, threshold_a_adjusted)
rate_b_adjusted = selection_rate(group_b, threshold_b_adjusted)
gap_adjusted = abs(rate_a_adjusted - rate_b_adjusted) * 100

print()
print("=== গ্রুপ-ভিত্তিক পৃথক থ্রেশহোল্ড -- পোস্ট-প্রসেসিং অ্যাডজাস্টমেন্টের পরে ===")
print(f"গ্রুপ A-এর নতুন থ্রেশহোল্ড: {threshold_a_adjusted:.3f} (আগে ছিল {SHARED_THRESHOLD})")
print(f"গ্রুপ A সিলেকশন রেট: {rate_a_adjusted*100:.1f}%")
print(f"গ্রুপ B সিলেকশন রেট: {rate_b_adjusted*100:.1f}%")
print(f"গ্যাপ: {gap_adjusted:.1f} পার্সেন্টেজ পয়েন্ট")
print()
print(f"গ্যাপ কমেছে: {gap_shared:.1f} → {gap_adjusted:.1f} পার্সেন্টেজ পয়েন্ট")