বায়াস কোথা থেকে আসে — ডেটা, মডেল, ডিপ্লয়মেন্ট

১ · বায়াস ঢোকার তিনটি জায়গা

একটি মেশিন লার্নিং সিস্টেম তৈরির পাইপলাইনে অন্তত তিনটি ধাপ আছে যেখানে অ্যালগরিদমিক বায়াসAlgorithmic Biasএকটি সিস্টেমের সিদ্ধান্তে পদ্ধতিগত, পুনরাবৃত্তিমূলক ত্রুটি যা নির্দিষ্ট গোষ্ঠীর প্রতি অন্যায্যভাবে প্রভাব ফেলে। ঢুকতে পারে — ডেটা সংগ্রহের সময়, মডেল ট্রেনিংয়ের সময়, এবং ডিপ্লয়মেন্টের সময়। এই তিনটি স্বতন্ত্র — একটি সিস্টেমে তিনটির যেকোনো একটি, দুটি, বা তিনটিই একসাথে থাকতে পারে, এবং প্রতিটির প্রতিকার আলাদা (মিটিগেশন কৌশল L18-এ)।

২ · ডেটা বায়াস — দুই ধরনের

৩ · মডেল বায়াস

এমনকি একটি সুষম ডেটাসেটেও, অপ্টিমাইজেশন প্রক্রিয়া নিজেই বায়াস তৈরি করতে পারে। একটি মডেল সাধারণত সামগ্রিক (aggregate) নির্ভুলতা সর্বোচ্চ করতে ট্রেইন হয় — আর যদি একটি গোষ্ঠী জনসংখ্যায় সংখ্যাগরিষ্ঠ হয়, তাহলে সেই গোষ্ঠীর প্যাটার্নে ভালো পারফর্ম করাই সামগ্রিক স্কোরের জন্য সবচেয়ে "লাভজনক" — সংখ্যালঘু গোষ্ঠীর জন্য নির্ভুলতা ত্যাগ করেও। এটি ডেটা "খারাপ" না হলেও ঘটতে পারে — এটি অপ্টিমাইজেশনের যুক্তিরই একটি স্বাভাবিক ফলাফল।

৪ · ডিপ্লয়মেন্ট বায়াস

একটি মডেল যদি একটি নির্দিষ্ট জনগোষ্ঠী বা প্রেক্ষাপটে ভালোভাবে ট্রেইন ও যাচাই করা হয়, কিন্তু পরে সম্পূর্ণ ভিন্ন প্রেক্ষাপটে (ভিন্ন দেশ, ভিন্ন ব্যবহারকারী-গোষ্ঠী, বা এমনকি এমন একটি সিদ্ধান্তের জন্য যেটির জন্য এটি মূলত ডিজাইন করা হয়নি) ব্যবহার করা হয়, তাহলে সমস্যা দেখা দিতে পারে — এমনকি মডেলটি নিজে "সঠিকভাবে" ট্রেইন হয়ে থাকলেও। এটি ডেটা বা মডেলের কোনো ত্রুটি নয়, বরং ব্যবহারের প্রসঙ্গের সাথে অমিল।

৫ · স্যাম্পলিং বায়াস: একটি সত্যিকারের হিসাব

নিচের কোড সেলে দুটি সিন্থেটিক গোষ্ঠী আছে — প্রতিটির নিজস্ব প্রকৃত (true) নিয়ম আছে যা নির্ধারণ করে কখন কেউ "পজিটিভ" হবে। একটি সরল থ্রেশহোল্ড রুল ফিট করা হবে এমন একটি ট্রেনিং সেটে যা Group A থেকে সম্পূর্ণ কিন্তু Group B থেকে মাত্র দুইজন নিয়ে গঠিত — এরপর সেই রুলটি পূর্ণ জনগোষ্ঠীর উপর প্রয়োগ করে দেখা হবে প্রতিটি গোষ্ঠীতে ত্রুটির হার কেমন।

# সিন্থেটিক, ইলাস্ট্রেটিভ উদাহরণ -- বাস্তব কোনো ডেটাসেট নয়
# লক্ষ্য: "স্যাম্পলিং বায়াস" সংখ্যায় দেখা

# পূর্ণ জনগোষ্ঠী -- দুটি গোষ্ঠী, প্রতিটির প্রকৃত (true) নিয়ম আলাদা
# Group A: feature >= 60 হলে প্রকৃত label পজিটিভ (1)
group_a = [
    (40, 0), (45, 0), (50, 0), (55, 0), (58, 0),
    (62, 1), (65, 1), (70, 1), (75, 1), (80, 1),
]
# Group B: feature >= 45 হলে প্রকৃত label পজিটিভ -- ভিন্ন প্রকৃত সম্পর্ক
group_b = [
    (30, 0), (35, 0), (40, 0), (42, 0), (44, 0),
    (46, 1), (48, 1), (50, 1), (55, 1), (60, 1),
]

# ট্রেনিং সেট: Group A থেকে সবগুলো (১০), কিন্তু Group B থেকে মাত্র ২টি
# -- ব্যাপক ভারসাম্যহীন (disproportionate) স্যাম্পলিং
training_set = group_a + group_b[:2]

def error_count(data, threshold):
    errors = 0
    for feature, actual in data:
        predicted = 1 if feature >= threshold else 0
        if predicted != actual:
            errors += 1
    return errors

# ট্রেনিং সেটের প্রতিটি ফিচার-মানকে candidate থ্রেশহোল্ড হিসেবে ব্যবহার করে
# যেটি সবচেয়ে কম ট্রেনিং-ত্রুটি দেয় সেটি খোঁজা হচ্ছে
candidates = sorted(set(f for f, _ in training_set))
best_threshold = None
best_errors = len(training_set) + 1
for t in candidates:
    e = error_count(training_set, t)
    if e < best_errors:
        best_errors = e
        best_threshold = t

print(f"ট্রেনিং সেটে সেরা থ্রেশহোল্ড: feature >= {best_threshold}  (ট্রেনিং ত্রুটি: {best_errors}/{len(training_set)})")

# এখন এই একই থ্রেশহোল্ড পূর্ণ জনগোষ্ঠীর (উভয় গ্রুপের সব ১০ জন) উপর প্রয়োগ করে
# প্রতিটি গোষ্ঠীতে আলাদাভাবে ত্রুটির হার গণনা
err_a = error_count(group_a, best_threshold)
err_b = error_count(group_b, best_threshold)

print(f"\nGroup A -- ত্রুটির হার: {err_a}/{len(group_a)} = {err_a/len(group_a)*100:.0f}%")
print(f"Group B -- ত্রুটির হার: {err_b}/{len(group_b)} = {err_b/len(group_b)*100:.0f}%")