বায়াস কোথা থেকে আসে — ডেটা, মডেল, ডিপ্লয়মেন্ট

১ · বায়াসের তিনটি প্রধান উৎস

L01-এ আমরা দেখেছি একটি মডেল কোনো protected attribute সরাসরি ব্যবহার না করেও একটি প্রক্সি ফিচার-এর মাধ্যমে বায়াসড ফলাফল দিতে পারে। কিন্তু "মডেলে প্রক্সি ফিচার আছে" — এটুকুই বায়াসের একমাত্র উৎস নয়। একটি সম্পূর্ণ AI পাইপলাইনকে তিনটি স্তরে ভাগ করলে বায়াস কোথায় ঢুকতে পারে তা আরও স্পষ্টভাবে বোঝা যায়:

২ · ডেটা বায়াস — গভীরে

ডেটা বায়াসের তিনটি সাধারণ উপ-প্রকার আলাদা করে চেনা দরকার, কারণ প্রতিটির সমাধান ভিন্ন:

ক · ঐতিহাসিক বায়াস (Historical bias)

ডেটা যদি নিখুঁতভাবেও সংগ্রহ করা হয়, তবুও এটি অতীতের বাস্তব জগতের বৈষম্য প্রতিফলিত করতে পারে। যেমন একটি হায়ারিং মডেল যদি গত ১০ বছরের প্রকৃত নিয়োগের ডেটায় ট্রেন করা হয় এবং সেই ইন্ডাস্ট্রিতে ঐতিহাসিকভাবে একটি নির্দিষ্ট গ্রুপ কম প্রতিনিধিত্ব পেয়ে থাকে, মডেল "সফল প্রার্থীর প্যাটার্ন" হিসেবে সেই ঐতিহাসিক অসমতাকেই শিখে ফেলে — ডেটা কালেকশনে কোনো "ভুল" ছাড়াই।

খ · রিপ্রেজেন্টেশন বায়াস (Representation bias)

ট্রেনিং ডেটাসেটে যদি একটি গ্রুপের নমুনা সংখ্যা তুলনামূলকভাবে অনেক কম হয়, মডেল সেই গ্রুপের প্যাটার্ন ভালোভাবে শিখতে পারে না — ফলে সেই গ্রুপের জন্য মডেলের অ্যাকুরেসি তুলনামূলকভাবে কম হয়। M5-এ আলোচিত Gender Shades গবেষণা (L02) এই সমস্যার একটি সুপরিচিত বাস্তব উদাহরণ — বেঞ্চমার্ক ডেটাসেটে গাঢ়-ত্বকের নারীদের প্রতিনিধিত্ব তুলনামূলকভাবে কম ছিল বলে সেই সাবগ্রুপে এরর রেট বেশি ছিল।

গ · মেজারমেন্ট বায়াস (Measurement bias)

কখনো কখনো একটি ফিচার নিজেই সব গ্রুপের জন্য সমানভাবে "পরিমাপ" হয় না। যেমন "গ্রেপ্তারের সংখ্যা" একটি এলাকার প্রকৃত অপরাধের হারের একটি নিখুঁত পরিমাপ নয় — এটি পুলিশি নজরদারির তীব্রতারও পরিমাপ, যা বিভিন্ন এলাকায় অসমভাবে বণ্টিত হতে পারে (L43-এ প্রেডিক্টিভ পুলিশিং প্রসঙ্গে আরও বিস্তারিত)।

৩ · মডেল বায়াস — অ্যালগরিদম কীভাবে পার্থক্য বাড়িয়ে তোলে

ডেটা সম্পূর্ণ "ফেয়ার" হলেও মডেল/অপ্টিমাইজেশন প্রক্রিয়া নিজেই বায়াস যোগ করতে বা বাড়াতে পারে। দুটি সাধারণ প্রক্রিয়া:

• অ্যাম্প্লিফিকেশন বায়াস: মডেল প্রায়ই সবচেয়ে "সহজ" (predictive) সিগন্যালকে বেশি গুরুত্ব দিতে অপ্টিমাইজ করে — ট্রেনিং ডেটায় সামান্য একটি করিলেশন থাকলেও মডেল সেটিকে নির্ভরযোগ্য সিগন্যাল হিসেবে অতিরিক্ত জোরালোভাবে ব্যবহার করতে পারে, ফলে ট্রেনিং ডেটার চেয়েও বড় আকারে পক্ষপাত আউটপুটে দেখা যায়।
• অ্যাগ্রিগেশন বায়াস: যখন ভিন্ন উপ-জনগোষ্ঠীর জন্য ভিন্ন ভিন্ন প্যাটার্ন থাকা সত্ত্বেও একটিমাত্র মডেল সবার জন্য ফিট করা হয়, মডেলটি "গড়" প্যাটার্নে অপ্টিমাইজ হয় — যা সংখ্যাগরিষ্ঠ গ্রুপের জন্য ভালো কাজ করলেও সংখ্যালঘু সাবগ্রুপের জন্য সিস্টেমেটিকভাবে খারাপ পারফর্ম করতে পারে।

৪ · ডিপ্লয়মেন্ট বায়াস — কনটেক্সট মিসম্যাচ ও ফিডব্যাক লুপ

ডেটা ও মডেল দুটোই "ঠিক" থাকলেও ডিপ্লয়মেন্ট পর্যায়ে বায়াস ঢুকতে পারে:

• কনটেক্সট মিসম্যাচ: একটি মডেল একটি নির্দিষ্ট জনগোষ্ঠী/প্রেক্ষাপটে (যেমন একটি শহরের হাসপাতাল) ট্রেন ও যাচাই করে, পরে সম্পূর্ণ ভিন্ন জনগোষ্ঠীতে (যেমন গ্রামীণ এলাকা, ভিন্ন দেশ) ব্যবহার করা হলে সেই মডেলের পারফরম্যান্স গ্যারান্টি আর প্রযোজ্য থাকে না।
• ফিডব্যাক লুপফিডব্যাক লুপযখন একটি মডেলের আউটপুট (যেমন কোথায় বেশি নজরদারি পাঠানো হবে) নিজেই ভবিষ্যতের ট্রেনিং ডেটাকে (যেমন কোথায় বেশি ঘটনা রেকর্ড হবে) প্রভাবিত করে, ফলে প্রাথমিক পক্ষপাত সময়ের সাথে নিজে থেকেই আরও শক্তিশালী হতে থাকে। : মডেলের আউটপুট নিজেই ভবিষ্যতের ইনপুট ডেটাকে প্রভাবিত করতে পারে। উদাহরণস্বরূপ, একটি প্রেডিক্টিভ-পুলিশিং মডেল যদি একটি এলাকাকে "উচ্চ-ঝুঁকিপূর্ণ" চিহ্নিত করে, সেখানে বেশি টহল পাঠানো হয় — বেশি টহল মানে বেশি ঘটনা রেকর্ড হওয়া, যা পরের রাউন্ডে মডেলকে আরও নিশ্চিত করে যে এলাকাটি "উচ্চ-ঝুঁকিপূর্ণ", এমনকি প্রকৃত অপরাধের হার না বদলালেও। L43-এ এই ফিডব্যাক লুপের একটি সম্পূর্ণ সিমুলেশন করা হবে।

৫ · একটি সত্যিকারের ডেমো — ভিন্ন দৃশ্যকল্প, একই লুকিয়ে থাকা বায়াস

L01-এ আমরা রিজিউমে-স্ক্রিনিং-এর প্রক্সি ফিচার দেখেছিলাম। এখানে সম্পূর্ণ ভিন্ন একটি দৃশ্যকল্পে — গাড়ির ইন্স্যুরেন্স প্রিমিয়াম নির্ধারণ — একই ধরনের ডেটা বায়াস আবার তাজাভাবে দেখানো হচ্ছে। মডেলটি সরাসরি গ্রুপ ব্যবহার করে না, শুধু "zip_claim_density" (এলাকাভিত্তিক ঐতিহাসিক ক্লেইম-ডেনসিটি) ও ব্যক্তিগত "driving_record_score" ব্যবহার করে প্রিমিয়াম টিয়ার নির্ধারণ করে। কিন্তু zip_claim_density নিজেই ঐতিহাসিকভাবে কম বিনিয়োগ পাওয়া এলাকায় (যেখানে একটি নির্দিষ্ট গ্রুপ বেশি বাস করতে পারে) বেশি রিপোর্ট হয়ে থাকতে পারে — এটি একটি ঐতিহাসিক ডেটা বায়াসের উদাহরণ।

import random
random.seed(11)

def generate_policies(n, group):
    policies = []
    for _ in range(n):
        if group == "A":
            # সিন্থেটিক ডেটা: ঐতিহাসিকভাবে কম বিনিয়োগ পাওয়া এলাকায় রিপোর্ট করা ক্লেইম-ডেনসিটি বেশি (কাল্পনিক প্যাটার্ন সিমুলেট করা)
            zip_claim_density = max(0, random.gauss(8, 2))
        else:
            zip_claim_density = max(0, random.gauss(4, 2))
        driving_record_score = random.gauss(70, 12)  # ব্যক্তিগত ড্রাইভিং রেকর্ড -- উভয় গ্রুপেই একই বিতরণ থেকে
        policies.append({"group": group, "zip_claim_density": zip_claim_density, "driving_record_score": driving_record_score})
    return policies

policies = generate_policies(250, "A") + generate_policies(250, "B")
random.shuffle(policies)

def risk_premium_score(p):
    # লক্ষ্য করুন: মডেল "group" মোটেও ব্যবহার করছে না -- শুধু zip_claim_density ও driving_record_score
    return 0.55 * p["zip_claim_density"] + 0.45 * (p["driving_record_score"] / 10)

HIGH_PREMIUM_THRESHOLD = 7.5
for p in policies:
    p["score"] = risk_premium_score(p)
    p["high_premium_tier"] = p["score"] >= HIGH_PREMIUM_THRESHOLD

group_a = [p for p in policies if p["group"] == "A"]
group_b = [p for p in policies if p["group"] == "B"]

rate_a = sum(p["high_premium_tier"] for p in group_a) / len(group_a) * 100
rate_b = sum(p["high_premium_tier"] for p in group_b) / len(group_b) * 100

print(f"গ্রুপ A: {len(group_a)}টি পলিসি, উচ্চ-প্রিমিয়াম টিয়ারে পড়েছে: {rate_a:.1f}%")
print(f"গ্রুপ B: {len(group_b)}টি পলিসি, উচ্চ-প্রিমিয়াম টিয়ারে পড়েছে: {rate_b:.1f}%")
print(f"\nমডেল কি 'group' ফিচারটি সরাসরি ব্যবহার করেছে? না -- শুধু zip_claim_density ও driving_record_score।")
print(f"তবুও উচ্চ-প্রিমিয়াম টিয়ারে পড়ার হারের পার্থক্য: {abs(rate_a - rate_b):.1f} পার্সেন্টেজ পয়েন্ট")