RLHF ও ভ্যালু অ্যালাইনমেন্ট — কার মূল্যবোধ?

১ · RLHF সংক্ষেপে

L27-এ আমরা দেখেছি একটি LLM প্রথমে বিশাল কর্পাসে next-token prediction দিয়ে প্রি-ট্রেইনড হয়, এরপর ফাইন-টিউনিং হয়। RLHFRLHF (Reinforcement Learning from Human Feedback)মানুষের পছন্দ-অপছন্দের ডেটা থেকে একটি reward model শিখিয়ে, সেই reward model-এর স্কোর সর্বোচ্চ করার দিকে মডেলের আউটপুট-জেনারেটিং নীতি (policy) ধাপে ধাপে সমন্বয় করার একটি কৌশল। হলো এর পরের একটি সাধারণ ধাপ, তিনটি মোটামুটি অংশে ভাঙা যায়:

1. মানুষ রেটাররা একাধিক candidate আউটপুট দেখে কোনটি ভালো/বেশি পছন্দনীয় তা রেট করেন বা তুলনা করেন।
2. এই তুলনাগুলো থেকে একটি reward model ট্রেইন করা হয় — একটি ফাংশন যা যেকোনো আউটপুট দেখে একটি স্কোর দিতে শেখে, মানুষের রেটিং প্যাটার্ন অনুকরণ করে।
3. মূল মডেলের নীতি (policy) তখন এমনভাবে আপডেট করা হয় যাতে সে এমন আউটপুট তৈরি করে যা reward model-কে বেশি স্কোর দেয় — একটি অপ্টিমাইজেশন লুপ।

মূল ধারণাটি সহজ: reward model-কে একটি "মানুষের পছন্দের প্রক্সি" হিসেবে ব্যবহার করে policy-কে সেই প্রক্সি সর্বোচ্চ করার দিকে চালিত করা। এখানেই সমস্যাটির বীজ লুকিয়ে — একটি প্রক্সি কখনোই আসল লক্ষ্যের নিখুঁত প্রতিরূপ নয় (এই থিমটি L24-এর specification gaming ও L25-এর Goodhart's law পাঠে ইতিমধ্যে বিস্তারিত দেখা হয়েছে)।

২ · একটি সত্যিকারের সিমুলেশন — reward model + hill-climbing

নিচের কোডে আমরা একটি বাস্তব ভাষা-মডেল বানাচ্ছি না — বরং RLHF-এর মেকানিজমটা একটি ছোট, সম্পূর্ণ genuine সার্চ লুপ দিয়ে দেখাচ্ছি। একটি "candidate আউটপুট" এখানে কয়েকটি টেক্সট-কম্পোনেন্টের (বাক্যাংশ) তালিকা। আমাদের reward_model_length() ফাংশনটি একটি সরলীকৃত, এক্সপ্লিসিট স্কোরিং নিয়ম — এটি একটি শেখা (learned) reward model-এর জায়গায় দাঁড়িয়েছে, এবং ইচ্ছাকৃতভাবে শুধু আউটপুটের দৈর্ঘ্য-কে পুরস্কৃত করে (একটি বাস্তব, নথিভুক্ত RLHF ব্যর্থতা প্যাটার্ন — length bias)। একটি ছোট population-ভিত্তিক hill-climbing/mutation লুপ প্রতি রাউন্ডে সেরা candidate-দের রেখে, নতুন candidate mutate করে reward score বাড়ানোর চেষ্টা করে — policy আপডেটের একটি সরলীকৃত স্ট্যান্ড-ইন।

import random
random.seed(7)

# তথ্যবহুল (content) কম্পোনেন্ট -- মানুষ আসলে যা মূল্যবান মনে করে
CONTENT_POOL = [
    "নিয়মিত ব্যায়াম হৃদযন্ত্র সুস্থ রাখে",
    "ব্যায়াম রক্তচাপ নিয়ন্ত্রণে সাহায্য করে",
    "ব্যায়াম মানসিক চাপ কমায়",
    "ব্যায়াম ঘুমের মান উন্নত করে",
    "ব্যায়াম ওজন নিয়ন্ত্রণে সহায়ক",
]
# ফিলার/প্যাডিং কম্পোনেন্ট -- কোনো নতুন তথ্য যোগ করে না, শুধু দৈর্ঘ্য বাড়ায়
FILLER_POOL = [
    "এটি সত্যিই সত্যিই গুরুত্বপূর্ণ একটি বিষয়",
    "আসলে আসলেই এটি সম্পূর্ণ সত্য কথা",
    "অবশ্যই অবশ্যই এটি মনে রাখা উচিত",
    "তাছাড়া তাছাড়া এই বিষয়টি উল্লেখযোগ্য",
]
ALL_POOL = CONTENT_POOL + FILLER_POOL

def render(candidate):
    return " ".join(candidate)

def reward_model_length(candidate):
    # সরলীকৃত "reward model" -- আউটপুট যত লম্বা, স্কোর তত বেশি (length-বায়াসড প্রক্সি)
    return len(render(candidate))

def true_quality(candidate):
    # মানুষ আসলে যা চায়: কতগুলো *ভিন্ন* তথ্যবহুল পয়েন্ট আছে -- reward model এটা দেখেই না
    return len(set(c for c in candidate if c in CONTENT_POOL))

def mutate(candidate):
    new_candidate = list(candidate)
    if random.random() < 0.5 and len(new_candidate) > 1:
        idx = random.randrange(len(new_candidate))
        new_candidate[idx] = random.choice(ALL_POOL)   # একটি কম্পোনেন্ট বদলানো
    else:
        new_candidate.append(random.choice(ALL_POOL))  # নতুন কম্পোনেন্ট যোগ করা (দৈর্ঘ্য বাড়ে)
    return new_candidate

POP_SIZE = 6
ROUNDS = 6

population = [random.choices(ALL_POOL, k=3) for _ in range(POP_SIZE)]

print("রাউন্ড | reward-model স্কোর (length) | true quality (distinct content points)")
for round_num in range(1, ROUNDS + 1):
    # mutation দিয়ে নতুন offspring তৈরি -- policy আপডেটের একটি সরলীকৃত স্ট্যান্ড-ইন
    offspring = [mutate(random.choice(population)) for _ in range(POP_SIZE)]
    combined = population + offspring
    # reward model অনুযায়ী সাজিয়ে সেরা POP_SIZE রাখা (higher reward-কে "উৎসাহিত" করা হচ্ছে)
    combined.sort(key=reward_model_length, reverse=True)
    population = combined[:POP_SIZE]

    best = population[0]
    print(f"{round_num:>2}     | {reward_model_length(best):>3}                          | {true_quality(best)}")

print()
print("শেষ রাউন্ডের সেরা ক্যান্ডিডেট:")
print(render(population[0]))
print("true quality (distinct content points):", true_quality(population[0]))
print("reward-model score:", reward_model_length(population[0]))

৩ · কার মূল্যবোধ?

উপরের ডেমোতে আমরা ইচ্ছাকৃতভাবে একটি "খারাপ" reward model (শুধু length) বেছে নিয়েছি যাতে সমস্যাটি স্পষ্ট হয়। বাস্তবে, একটি প্রকৃত RLHF reward model শত শত বা হাজার হাজার মানুষ রেটারের তুলনা-সিদ্ধান্ত থেকে শেখে — যা length-এর মতো সরল না হলেও, এখনও একটি প্রক্সিই থেকে যায়। এবং এই প্রক্সিটি কার কাছ থেকে আসছে তা গুরুত্বপূর্ণ প্রশ্ন:

এই কারণেই "মডেলটি human feedback দিয়ে অ্যালাইনড করা হয়েছে" এই বাক্যটি একা যথেষ্ট তথ্যপূর্ণ নয় — আসল প্রশ্ন হলো কোন মানুষ, কোন গাইডলাইনে, কোন প্রেক্ষাপটে সেই ফিডব্যাক দিয়েছেন। এটি একটি কারিগরি সীমাবদ্ধতা নয়, বরং একটি কাঠামোগত বাস্তবতা — কোনো একক reward model কখনোই "সবার মূল্যবোধ" ধারণ করতে পারে না, কারণ মানুষের মূল্যবোধ নিজেই বৈচিত্র্যময় এবং প্রায়ই পরস্পরবিরোধী।