ট্রেনিং ডেটা, জেনারেলাইজেশন ও ফেইলিওর মোড

১ · ওভারফিটিং বনাম আন্ডারফিটিং

একটি মডেল যদি ট্রেনিং ডেটার প্রতিটি খুঁটিনাটি — এমনকি এলোমেলো নয়েজ বা ব্যতিক্রমী পয়েন্টও — এত নিখুঁতভাবে মুখস্থ করে ফেলে যে এটি ট্রেনিং ডেটায় প্রায় নিখুঁত ফল দেয় অথচ নতুন ডেটায় খারাপ করে, তখন তাকে বলা হয় ওভারফিটিংOverfittingমডেল ট্রেনিং ডেটা এত নিখুঁতভাবে মুখস্থ করে ফেলে যে এটি নতুন, আগে না-দেখা ডেটায় খারাপ পারফর্ম করে।। উল্টো দিকে, একটি মডেল যদি এতটাই সরল হয় যে এটি ট্রেনিং ডেটার প্রকৃত প্যাটার্নটুকুও ধরতে পারে না — উদাহরণস্বরূপ একটি অত্যন্ত জটিল সম্পর্ককে একটি সরলরেখা দিয়ে আনুমানিক করার চেষ্টা করলে — তখন তাকে বলা হয় আন্ডারফিটিং। দুটোই "খারাপ জেনারেলাইজেশন"-এর দিকে নিয়ে যায়, কিন্তু বিপরীত কারণে: ওভারফিটিং অতিরিক্ত জটিলতা থেকে আসে, আন্ডারফিটিং অপর্যাপ্ত জটিলতা থেকে।

২ · ডিস্ট্রিবিউশন শিফট — একটি তৃতীয়, সূক্ষ্ম সমস্যা

ওভারফিটিং/আন্ডারফিটিং একই জনগোষ্ঠীর মধ্যে (ট্রেনিং বনাম নতুন ডেটা, কিন্তু একই উৎস থেকে) ঘটে। ডিস্ট্রিবিউশন শিফট আলাদা — এখানে মডেল ট্রেনিং ডেটায় সম্পূর্ণ সঠিকভাবে জেনারেলাইজ করতে পারে, কিন্তু বাস্তবে যে জনগোষ্ঠীর উপর প্রয়োগ করা হয় তা ট্রেনিং জনগোষ্ঠী থেকে ভিন্ন হয়ে যায় — যেমন একটি মেডিকেল ডায়াগনস্টিক মডেল একটি হাসপাতালের রোগীদের উপর ট্রেনিং করে অন্য একটি ভিন্ন জনসংখ্যাগত প্রেক্ষাপটের হাসপাতালে মোতায়েন করা, অথবা একটি ঋণ-অনুমোদন মডেল এক অর্থনৈতিক পরিস্থিতিতে ট্রেনিং করে ভিন্ন পরিস্থিতিতে ব্যবহার করা। মডেলের কোনো "বাগ" নেই — সমস্যাটি হলো যে ধারণা এটি শিখেছে তা নতুন প্রেক্ষাপটে আর সত্য নয়।

৩ · একটি সত্যিকারের ডিস্ট্রিবিউশন-শিফট হিসাব

নিচের কোড সেলে L33-এর থ্রেশহোল্ড-লার্নিং পদ্ধতিই পুনরায় ব্যবহার করা হয়েছে। প্রথমে একটি সিন্থেটিক "ট্রেনিং জনগোষ্ঠী"-তে (গ্রাহকের মাসিক খরচ থেকে "উচ্চ-মূল্যের গ্রাহক" অনুমান) সবচেয়ে কম ভুলের থ্রেশহোল্ড খোঁজা হয়েছে, এবং সেই একই থ্রেশহোল্ড নিয়ম দুই জায়গায় প্রয়োগ করে ভুলের হার তুলনা করা হয়েছে — ট্রেনিং জনগোষ্ঠীতে (যা আশানুরূপভাবে কম) এবং একটি "শিফট হওয়া" নতুন জনগোষ্ঠীতে, যেখানে আসল সম্পর্কটাই বদলে গেছে (এই সিন্থেটিক দ্বিতীয় বাজারে, কম খরচকারী গ্রাহকরাই এখন প্রকৃতপক্ষে বেশি "উচ্চ-মূল্যের")।

# একটি সিন্থেটিক, ইলাস্ট্রেটিভ উদাহরণ -- বাস্তব কোনো কোম্পানি বা গ্রাহকের ডেটা নয়
# প্রতিটি এন্ট্রি: (মাসিক খরচ, উচ্চ-মূল্যের গ্রাহক কিনা -- 1 = হ্যাঁ, 0 = না)

# ট্রেনিং জনগোষ্ঠী -- L33-এর প্যাটার্নের মতোই, ১০ গুণ স্কেল করা
train_population = [
    (10, 0), (20, 0), (30, 0), (40, 0), (50, 0), (50, 1),
    (60, 1), (70, 0), (80, 1), (90, 1), (100, 1),
]

# শিফট হওয়া "ডিপ্লয়মেন্ট" জনগোষ্ঠী -- এখানে আসল সম্পর্কটাই উল্টে গেছে:
# কম খরচকারী গ্রাহকরাই এখন প্রকৃতপক্ষে বেশি "উচ্চ-মূল্যের" (যেমন একটি ভিন্ন সাবস্ক্রিপশন-ভিত্তিক বাজার)
deployment_population = [
    (5, 1), (15, 1), (25, 1), (35, 1), (45, 1), (45, 0),
    (55, 0), (65, 0), (75, 0), (85, 0), (95, 0),
]

def predict(spend, threshold):
    return 1 if spend >= threshold else 0

def error_rate(data, threshold):
    errors = sum(1 for spend, label in data if predict(spend, threshold) != label)
    return errors, errors / len(data)

# --- "ট্রেনিং": ট্রেনিং জনগোষ্ঠীতে সবচেয়ে কম ভুলের থ্রেশহোল্ড খোঁজা (L33-এর মতো একই অনুসন্ধান) ---
candidate_thresholds = list(range(10, 101, 10))
best_threshold = None
best_train_errors = None
for t in candidate_thresholds:
    errors, _ = error_rate(train_population, t)
    if best_train_errors is None or errors < best_train_errors:
        best_train_errors = errors
        best_threshold = t

train_errors, train_rate = error_rate(train_population, best_threshold)
deploy_errors, deploy_rate = error_rate(deployment_population, best_threshold)

print(f"শেখা থ্রেশহোল্ড: {best_threshold}\n")
print(f"ট্রেনিং জনগোষ্ঠীতে ভুলের হার:      {train_errors}/{len(train_population)} = {train_rate:.1%}")
print(f"শিফট হওয়া জনগোষ্ঠীতে ভুলের হার:   {deploy_errors}/{len(deployment_population)} = {deploy_rate:.1%}")
print(f"\nভুলের হার বেড়েছে {deploy_rate / train_rate:.1f}x -- একই নিয়ম, ভিন্ন জনগোষ্ঠী")