ক্যাপাবিলিটি স্কেলিং ও ইমার্জেন্ট বিহেভিয়ার

১ · স্কেল বাড়ার সাথে ক্যাপাবিলিটি কীভাবে বদলায়

একটি বড় ভাষা-মডেল প্রশিক্ষণের সময় সাধারণত তিনটি জিনিস বাড়ানো হয় — প্যারামিটার সংখ্যা, প্রশিক্ষণ ডেটার পরিমাণ, ও ব্যবহৃত কম্পিউট (L27-এ LLM কীভাবে কাজ করে তার সংক্ষিপ্ত রিক্যাপ আছে)। বেশিরভাগ সামগ্রিক পারফরম্যান্স মেট্রিক (যেমন পরবর্তী-টোকেন প্রেডিকশনে গড় লস) স্কেলের সাথে মোটামুটি স্মুথ ও অনুমানযোগ্য প্যাটার্নে উন্নত হয় — এটি ভালোভাবে-নথিভুক্ত একটি পর্যবেক্ষণ। কিন্তু নির্দিষ্ট, পৃথক ডাউনস্ট্রিম টাস্কে (যেমন একটি নির্দিষ্ট ধরনের মাল্টি-স্টেপ যুক্তি সমস্যা) পারফরম্যান্স মাঝেমধ্যে খুব ভিন্নভাবে আচরণ করে — ছোট থেকে মাঝারি স্কেল পর্যন্ত প্রায় কোনো উন্নতি দেখা যায় না, তারপর একটি নির্দিষ্ট স্কেলের কাছে তুলনামূলকভাবে দ্রুত উন্নতি দেখা যায়। AI গবেষণায় এই পর্যবেক্ষিত প্যাটার্নকে সাধারণত ইমার্জেন্ট ক্যাপাবিলিটিইমার্জেন্ট ক্যাপাবিলিটিমডেল/ট্রেনিং স্কেল বাড়ার সাথে একটি নির্দিষ্ট ডাউনস্ট্রিম ক্যাপাবিলিটি স্মুথভাবে না বেড়ে তুলনামূলকভাবে হঠাৎ আবির্ভূত হয় বলে পর্যবেক্ষিত হওয়া। বলা হয়।

২ · কেন এটি সেফটি ইভালুয়েশনকে কঠিন করে

সেফটি টেস্টিং সাধারণত সময় ও খরচ বাঁচাতে ছোট বা মাঝারি স্কেলের মডেলে (বা একটি বড় মডেলের প্রাথমিক চেকপয়েন্টে) শুরু হয়। যদি ক্যাপাবিলিটি সবসময় স্মুথভাবে বাড়ত, তাহলে ছোট স্কেলের ফলাফল থেকে বড় স্কেলের আচরণ মোটামুটি নির্ভরযোগ্যভাবে এক্সট্রাপোলেট (বহির্মুখী অনুমান) করা যেত। কিন্তু যদি কোনো নির্দিষ্ট ক্যাপাবিলিটি (উপকারী বা ক্ষতিকর, দুটোই) হঠাৎ আবির্ভূত হতে পারে, তাহলে ছোট স্কেলে "এই ক্যাপাবিলিটি অনুপস্থিত" পাওয়া গেলেও বড়, ডিপ্লয় করা মডেলে সেই একই ক্যাপাবিলিটি (যেমন একটি ক্ষতিকর ব্যবহারের জন্য প্রয়োজনীয় দক্ষতা) উপস্থিত থাকতে পারে যা আগে থেকে অনুমান করা যায়নি। এ কারণেই দায়িত্বশীল ডিপ্লয়মেন্ট অনুশীলনে ধাপে ধাপে রোলআউট, বড় মডেলের উপর সরাসরি অতিরিক্ত ক্যাপাবিলিটি ইভালুয়েশন (L48-এর রেড-টিমিংয়ের সাথে সংযুক্ত), এবং রক্ষণশীল সীমা নির্ধারণের গুরুত্ব থাকে।

৩ · একটি সত্যিকারের গণনা — কীভাবে মেট্রিক বাছাই "হঠাৎ আবির্ভাব"-এর অনুভূতি তৈরি করতে পারে

নিচের কোড সেলে একটি স্মুথ, লজিস্টিক-আকৃতির আন্ডারলাইং "প্রতি-ধাপ সাফল্যের সম্ভাবনা" সংজ্ঞায়িত করা হয়েছে, যা স্কেলের সাথে ধীরে ধীরে বাড়ে। এরপর দুটি ভিন্ন মূল্যায়ন মেট্রিক প্রতিটি স্কেল পয়েন্টে গণনা করা হয়: (১) সরাসরি আন্ডারলাইং সম্ভাবনা (স্মুথ), এবং (২) একটি "সম্পূর্ণ-নির্ভুল বহু-ধাপ" মেট্রিক (যেমন একটি মাল্টি-স্টেপ যুক্তি সমস্যার প্রতিটি উপ-ধাপ সঠিক হওয়া আবশ্যক) — এই দ্বিতীয় মেট্রিকটি প্রতিটি ধাপের সম্ভাবনার গুণফলের উপর নির্ভর করে বলে ছোট স্কেলে প্রায় সবসময় ব্যর্থ হয়, তারপর তুলনামূলকভাবে দ্রুত বাড়ে — একই স্মুথ আন্ডারলাইং উন্নতি থেকে দুটি ভিন্ন-দেখতে কার্ভ তৈরি হয়।

import math
import random

random.seed(7)

def per_step_success_probability(scale):
    # স্মুথ, লজিস্টিক-আকৃতির আন্ডারলাইং সক্ষমতা -- স্কেল বাড়ার সাথে ধীরে ধীরে বাড়ে
    x = (scale - 50) / 10
    return 1 / (1 + math.exp(-x))

def multi_step_success_rate(scale, steps=4, trials=400):
    # "সম্পূর্ণ-নির্ভুল" মেট্রিক: একটি বহু-ধাপ টাস্কের প্রতিটি উপ-ধাপ সঠিক হতে হবে (একটি এক্সাক্ট-ম্যাচ-স্টাইল মেট্রিক)
    p = per_step_success_probability(scale)
    successes = 0
    for _ in range(trials):
        all_steps_correct = all(random.random() < p for _ in range(steps))
        successes += all_steps_correct
    return successes / trials

scales = [10, 20, 30, 40, 50, 60, 70, 80, 90, 100]

print(f"{'স্কেল':>6} | {'স্মুথ মেট্রিক (প্রতি-ধাপ সম্ভাবনা)':<36} | {'স্টেপ-সদৃশ মেট্রিক (৪-ধাপ সম্পূর্ণ-সঠিক হার)'}")
for s in scales:
    smooth = per_step_success_probability(s)
    stepwise = multi_step_success_rate(s)
    smooth_bar = "#" * round(smooth * 30)
    step_bar = "#" * round(stepwise * 30)
    print(f"{s:>6} | {smooth:.3f} {smooth_bar:<31} | {stepwise:.3f} {step_bar}")