AI সিস্টেমের জন্য ইউজেবিলিটি টেস্টিং

১ · কেন AI সিস্টেমের ইউজেবিলিটি টেস্টিং আলাদা

ইউজেবিলিটি টেস্টিংUsability Testingবাস্তব ব্যবহারকারীদের একটি প্রোডাক্ট বা ফিচার দিয়ে সত্যিকারের টাস্ক সম্পন্ন করতে দিয়ে পর্যবেক্ষণ করা তারা কতটা সহজে ও কার্যকরভাবে তা করতে পারেন। একটি প্রতিষ্ঠিত UX পদ্ধতি — বাস্তব ব্যবহারকারীদের একটি নির্দিষ্ট টাস্ক দিয়ে দেখা হয় তারা প্রোডাক্টটি দিয়ে কতটা সহজে কাজ শেষ করতে পারেন। AI-ফিচারযুক্ত প্রোডাক্টে এই একই পদ্ধতি ব্যবহার হয়, কিন্তু কয়েকটি বাড়তি চ্যালেঞ্জ যোগ হয়:

২ · মূল মেট্রিক্স ও মেথড

একটি AI ফিচারের ইউজেবিলিটি টেস্টে সাধারণত নিচের মেট্রিক্সগুলো মাপা হয়:

• টাস্ক-সাকসেস রেট — অংশগ্রহণকারীদের মধ্যে কত শতাংশ নির্ধারিত টাস্কটি সফলভাবে শেষ করতে পারলেন।
• টাইম-অন-টাস্ক — টাস্ক শেষ করতে কত সময় লাগলো (mean ও median দুটোই দরকারি, কারণ কয়েকজন অংশগ্রহণকারী অনেক বেশি সময় নিলে mean একাই বিভ্রান্তিকর হতে পারে)।
• এরর রেট — টাস্কের মাঝে কতবার ভুল পদক্ষেপ নেওয়া হলো (যেমন AI-এর ভুল সাজেশন গ্রহণ করে পরে বাতিল করা)।
• থিংক-অ্যালাউড প্রোটোকল — অংশগ্রহণকারীকে টাস্ক করার সময় জোরে চিন্তা প্রকাশ করতে বলা হয়, যাতে গবেষক বুঝতে পারেন তিনি AI-এর আউটপুট নিয়ে কী ভাবছেন — এটি সংখ্যার বাইরে গুণগত (qualitative) অন্তর্দৃষ্টি দেয়।

৩ · সত্যিকারের ডেমো — সেশন লগ থেকে সামারি স্ট্যাটিস্টিক্স

ধরা যাক ১২ জন অংশগ্রহণকারী একটি ইমেইল অ্যাপের "স্মার্ট রিপ্লাই সাজেশন" ফিচার ব্যবহার করে একটি নির্দিষ্ট টাস্ক (একটি উপযুক্ত উত্তর বেছে/সম্পাদনা করে পাঠানো) সম্পন্ন করার চেষ্টা করেছেন। প্রতিটি সেশনের লগে আছে — টাস্কটি সফল হয়েছিল কি না, এবং কত সেকেন্ড সময় লেগেছিল। নিচের কোড সেলে সত্যিকারের গণনা দেখা যাক।

# প্রতিটি এন্ট্রি একজন অংশগ্রহণকারীর সেশন লগ -- একটি "স্মার্ট রিপ্লাই সাজেশন" ফিচার
# ব্যবহার করে একটি টাস্ক সম্পূর্ণ করার চেষ্টা
sessions = [
    {"user": "P01", "success": True,  "time": 42},
    {"user": "P02", "success": True,  "time": 58},
    {"user": "P03", "success": False, "time": 95},
    {"user": "P04", "success": True,  "time": 37},
    {"user": "P05", "success": True,  "time": 64},
    {"user": "P06", "success": False, "time": 88},
    {"user": "P07", "success": True,  "time": 49},
    {"user": "P08", "success": True,  "time": 52},
    {"user": "P09", "success": True,  "time": 71},
    {"user": "P10", "success": False, "time": 110},
    {"user": "P11", "success": True,  "time": 45},
    {"user": "P12", "success": True,  "time": 55},
]

def task_success_rate(sessions):
    successes = sum(1 for s in sessions if s["success"])
    return successes, len(sessions), successes / len(sessions) * 100

def mean_time(sessions):
    times = [s["time"] for s in sessions]
    return sum(times) / len(times)

def median_time(sessions):
    times = sorted(s["time"] for s in sessions)
    n = len(times)
    mid = n // 2
    if n % 2 == 0:
        return (times[mid - 1] + times[mid]) / 2
    return times[mid]

successes, total, rate = task_success_rate(sessions)
print(f"টাস্ক-সাকসেস রেট: {successes}/{total} = {rate:.1f}%")
print(f"গড় (mean) টাইম-অন-টাস্ক: {mean_time(sessions):.2f} সেকেন্ড")
print(f"মিডিয়ান টাইম-অন-টাস্ক: {median_time(sessions):.1f} সেকেন্ড")

# সফল ও ব্যর্থ সেশনগুলো আলাদা করে সময়ের পার্থক্য দেখা
successful = [s for s in sessions if s["success"]]
failed = [s for s in sessions if not s["success"]]

print(f"\nসফল সেশনের গড় সময়: {mean_time(successful):.2f} সেকেন্ড ({len(successful)}টি সেশন)")
print(f"ব্যর্থ সেশনের গড় সময়: {mean_time(failed):.2f} সেকেন্ড ({len(failed)}টি সেশন)")

৪ · ফলাফল ব্যাখ্যা করা — কী দেখতে হবে

একা সাকসেস রেট বা একা mean time কখনোই যথেষ্ট নয়। কয়েকটি জিনিস সবসময় একসাথে দেখা উচিত:

• Mean বনাম Median — mean আর median অনেক দূরে থাকলে বোঝা যায় কিছু আউটলায়ার (খুব বেশি সময় নেওয়া সেশন) ফলাফলকে টেনে ধরছে।
• সফল বনাম ব্যর্থ সেশনের সময় — উপরের ডেমোর মতো, ব্যর্থ সেশন অনেক বেশি সময় নিলে সেটি "আটকে যাওয়া" (confusion) নির্দেশ করে, নিছক দুর্ভাগ্য নয়।
• থিংক-অ্যালাউড নোট — সংখ্যা বলে কী ঘটেছে, থিংক-অ্যালাউড বলে কেন ঘটেছে — দুটো ছাড়া ডিজাইন-সিদ্ধান্ত নেওয়া কঠিন।