গুডহার্টস ল ইন AI সিস্টেম

১ · গুডহার্টস ল — সাধারণ বক্তব্য

অর্থনীতিবিদ চার্লস গুডহার্টের নামে পরিচিত গুডহার্টস লGoodhart's Lawযখন একটি পরিমাপ (measure) লক্ষ্য (target) হয়ে যায়, এটি একটি ভালো পরিমাপ থাকে না -- কারণ মানুষ/সিস্টেম তখন পরিমাপটিকেই সরাসরি অপ্টিমাইজ করতে শুরু করে, যা পরিমাপটি যা প্রতিনিধিত্ব করত তার থেকে বিচ্ছিন্ন হয়ে যেতে পারে। একটি ব্যাপকভাবে উদ্ধৃত পর্যবেক্ষণ: "যখন একটি পরিমাপ লক্ষ্য হয়ে যায়, এটি একটি ভালো পরিমাপ থাকে না।" এটি L24-এর স্পেসিফিকেশন-গেমিং ঘটনারই একটি সাধারণীকৃত রূপ — L24-এ আমরা একটি একক মুহূর্তে দেখেছিলাম proxy-optimal ও true-goal-optimal স্ট্র্যাটেজি ভিন্ন হতে পারে। গুডহার্টস ল একই ঘটনাকে সময়ের সাথে বর্ণনা করে — একটি মেট্রিক যতক্ষণ শুধু পর্যবেক্ষণ করা হয় (কোনো অপ্টিমাইজেশন চাপ ছাড়াই), ততক্ষণ এটি প্রকৃত উদ্দেশ্যের একটি নির্ভরযোগ্য সূচক হতে পারে। কিন্তু যেই মুহূর্তে কেউ (বা কোনো সিস্টেম) সেই মেট্রিকটিকেই সরাসরি টার্গেট করে অপ্টিমাইজ করা শুরু করে, মেট্রিক ও প্রকৃত উদ্দেশ্যের মধ্যে সম্পর্কটি ভেঙে যেতে পারে।

২ · একটি টয় উদাহরণ — রচনার দৈর্ঘ্য বনাম গুণমান

কল্পনা করুন একদল লেখকের রচনা মূল্যায়ন করা হচ্ছে। প্রতিটি রচনার পেছনে একটি অদেখা "প্রকৃত পরিশ্রম/যত্ন" (effort) আছে — যে লেখক বেশি পরিশ্রম করেন, তার রচনা সাধারণত দীর্ঘও হয় (word count, আমাদের proxy) এবং ভালোও হয় (quality, আমাদের true goal) — কারণ দুটোই একই underlying effort থেকে আসছে। কিন্তু যদি লেখকদের বলা হয় "word count-এর ভিত্তিতে পুরস্কার দেওয়া হবে," তারা শুধু শব্দ-সংখ্যা বাড়ানোর জন্য padding (পুনরাবৃত্তি, অপ্রয়োজনীয় বাক্য) যোগ করতে শুরু করতে পারেন — যা গুণমানের সাথে কোনো সম্পর্ক রাখে না। ফলে word count আর গুণমানের একটি নির্ভরযোগ্য সূচক থাকে না।

৩ · একটি সত্যিকারের before/after করিলেশন গণনা

নিচের কোডে প্রথমে stdlib দিয়ে হাতে pearson_r() ফর্মুলা লেখা হয়েছে (কোনো লাইব্রেরি ছাড়া)। তারপর একই ১৪ জন লেখকের underlying effort ব্যবহার করে দুটো ডেটাসেট তৈরি করা হয়েছে — একটি অপ্টিমাইজেশনের আগে (স্বাভাবিক লেখা), আরেকটি পরে (word count-এর জন্য specifically অপ্টিমাইজড, বড় padding যোগ করে) — এবং দুটোতেই সত্যিকারের করিলেশন গণনা করে তুলনা করা হয়েছে।

import random

def pearson_r(xs, ys):
    # Pearson's correlation coefficient -- হাতে-লেখা ফর্মুলা, শুধু stdlib
    n = len(xs)
    mean_x = sum(xs) / n
    mean_y = sum(ys) / n
    cov = sum((x - mean_x) * (y - mean_y) for x, y in zip(xs, ys))
    var_x = sum((x - mean_x) ** 2 for x in xs)
    var_y = sum((y - mean_y) ** 2 for y in ys)
    return cov / ((var_x ** 0.5) * (var_y ** 0.5))

random.seed(11)
n = 14
efforts = [random.uniform(1, 4) for _ in range(n)]  # প্রতিটি রচনার পেছনে অদেখা "প্রকৃত পরিশ্রম"

# অপ্টিমাইজেশনের আগে -- word_count স্বাভাবিকভাবেই একই effort থেকে আসছে (কিছুটা নয়েজসহ)
before_quality, before_words = [], []
for e in efforts:
    before_quality.append(2.0 * e + random.gauss(0, 0.4))
    before_words.append(40.0 * e + random.gauss(0, 15))

# অপ্টিমাইজেশনের পরে -- লেখা এখন specifically word_count maximize করার জন্য "অপ্টিমাইজড": বড়,
# effort-নিরপেক্ষ padding যোগ করা হচ্ছে; quality এখনও শুধু effort দিয়েই চালিত, padding কোনো গুণমান যোগ করে না
after_quality, after_words = [], []
for e in efforts:
    after_quality.append(2.0 * e + random.gauss(0, 0.4))
    padding = random.uniform(0, 500)
    after_words.append(40.0 * e + padding)

r_before = pearson_r(before_words, before_quality)
r_after = pearson_r(after_words, after_quality)

print("অপ্টিমাইজেশনের আগে (unoptimized):")
for w, q in zip(before_words, before_quality):
    print(f"  word_count={w:7.1f}  quality={q:5.2f}")
print(f"  r(word_count, quality) = {r_before:.3f}")

print()
print("অপ্টিমাইজেশনের পরে (proxy-র জন্য specifically অপ্টিমাইজড):")
for w, q in zip(after_words, after_quality):
    print(f"  word_count={w:7.1f}  quality={q:5.2f}")
print(f"  r(word_count, quality) = {r_after:.3f}")

print()
print(f"করিলেশন দুর্বল হয়েছে: {abs(r_after) < abs(r_before)}")
print(f"|r|-এর হ্রাস: {abs(r_before) - abs(r_after):.3f}")