ইউজেবিলিটি পরিমাপ — মেট্রিক্স, SUS ও টাস্ক সাকসেস রেট

১ · ইউজেবিলিটি মেট্রিক্সের ধরন

L15-এ শেখা ইউজেবিলিটির পাঁচটি কোয়ালিটি কম্পোনেন্ট (লার্নেবিলিটি, এফিসিয়েন্সি, মেমোরেবিলিটি, এরর, সন্তুষ্টি) মূলত তিনটি মাপযোগ্য বিভাগে ভাগ করা যায় —

তিনটি মেট্রিক প্রায়ই একে অপরের সাথে মেলে না — একটি টাস্ক দ্রুত (উচ্চ এফিসিয়েন্সি) সম্পন্ন হতে পারে কিন্তু ব্যবহারকারী চাপে অনুভব করে কম সন্তুষ্ট থাকতে পারেন। এই কারণে তিনটিই একসাথে মাপা জরুরি — শুধু একটি সংখ্যা সম্পূর্ণ ছবি দেয় না।

২ · System Usability Scale (SUS) — সঠিক সূত্র

SUS একটি ১০-আইটেমের Likert-স্কেল (১ = দৃঢ়ভাবে দ্বিমত, ৫ = দৃঢ়ভাবে একমত) প্রশ্নাবলী, যেখানে বিজোড়-সংখ্যক আইটেম (১, ৩, ৫, ৭, ৯) ইতিবাচকভাবে লেখা এবং জোড়-সংখ্যক আইটেম (২, ৪, ৬, ৮, ১০) নেতিবাচকভাবে লেখা হয় — এই পরিবর্তনটি ব্যবহারকারীকে চিন্তা না করে সবগুলোতে একই উত্তর দেওয়া থেকে বিরত রাখে। প্রতিটি আইটেমের "কন্ট্রিবিউশন" বের করার সূত্র —

$$\text{বিজোড় আইটেম: } x_i = \text{score} - 1 \qquad \text{জোড় আইটেম: } x_i = 5 - \text{score}$$

প্রতিটি কন্ট্রিবিউশন ০ থেকে ৪-এর মধ্যে থাকে, তাই দশটি আইটেমের যোগফল সর্বোচ্চ ৪০ — একে ২.৫ দিয়ে গুণ করলে চূড়ান্ত স্কোর ০ থেকে ১০০-এর মধ্যে আসে —

$$SUS = 2.5 \times \sum_{i=1}^{10} x_i$$

শিল্পে সাধারণভাবে উদ্ধৃত একটি বেঞ্চমার্ক হলো — গড় SUS স্কোর প্রায় ৬৮-এর কাছাকাছি (SUS নিয়ে প্রকাশিত গবেষণায় বহু প্রোডাক্টের গড় থেকে), তাই ৬৮-এর উপরে থাকা স্কোরকে "গড়ের চেয়ে ভালো" এবং নিচে থাকা স্কোরকে "গড়ের চেয়ে খারাপ" হিসেবে একটি মোটামুটি রেফারেন্স পয়েন্ট হিসেবে ব্যবহার করা যায় — এটি একটি প্রচলিত ইলাস্ট্রেটিভ রেফারেন্স, কোনো কঠোর পাস/ফেইল থ্রেশহোল্ড নয়।

import statistics

# SUS: ৫ জন পার্টিসিপ্যান্ট, প্রতিজন ১০টি আইটেমে ১-৫ Likert স্কোর দিয়েছেন
responses = [
    [4, 2, 4, 2, 3, 2, 4, 2, 4, 3],  # P1
    [5, 1, 4, 1, 4, 2, 5, 1, 4, 2],  # P2
    [3, 3, 3, 3, 3, 3, 3, 3, 3, 3],  # P3
    [4, 2, 5, 1, 4, 1, 4, 2, 5, 2],  # P4
    [2, 3, 3, 4, 2, 3, 3, 4, 2, 4],  # P5 -- একটি দুর্বল সেশন
]

def sus_score(items):
    total = 0
    for idx, score in enumerate(items):
        item_num = idx + 1              # ১-ইনডেক্সড আইটেম নম্বর
        if item_num % 2 == 1:           # বিজোড় আইটেম (ইতিবাচক)
            total += (score - 1)
        else:                            # জোড় আইটেম (নেতিবাচক)
            total += (5 - score)
    return total * 2.5

scores = [sus_score(r) for r in responses]
for i, s in enumerate(scores, 1):
    print(f"P{i}: SUS = {s:.1f}")

print()
print(f"গড় (mean) SUS   = {statistics.mean(scores):.2f}")
print(f"মিডিয়ান SUS     = {statistics.median(scores):.2f}")
print(f"স্ট্যান্ডার্ড ডেভিয়েশন = {statistics.stdev(scores):.2f}")

print()
print("--- টাস্ক সাকসেস / টাইম-অন-টাস্ক ডেটাসেট ---")
# একই টাস্কের উপর ৮টি সিমুলেটেড ইউজেবিলিটি সেশন
sessions = [
    {"participant": "P1", "success": True,  "time_s": 42},
    {"participant": "P2", "success": True,  "time_s": 55},
    {"participant": "P3", "success": False, "time_s": 120},
    {"participant": "P4", "success": True,  "time_s": 38},
    {"participant": "P5", "success": True,  "time_s": 67},
    {"participant": "P6", "success": False, "time_s": 95},
    {"participant": "P7", "success": True,  "time_s": 49},
    {"participant": "P8", "success": True,  "time_s": 60},
]

n = len(sessions)
successes = sum(1 for s in sessions if s["success"])
success_rate = successes / n * 100
print(f"টাস্ক সাকসেস রেট = {successes}/{n} = {success_rate:.1f}%")

all_times = [s["time_s"] for s in sessions]
success_times = [s["time_s"] for s in sessions if s["success"]]

print(f"গড় সময় (সবাই)        = {statistics.mean(all_times):.1f} সেকেন্ড")
print(f"মিডিয়ান সময় (সবাই)    = {statistics.median(all_times):.1f} সেকেন্ড")
print(f"গড় সময় (শুধু সফল)     = {statistics.mean(success_times):.1f} সেকেন্ড")

৩ · মেট্রিক্স একসাথে মিলিয়ে পড়া

কোনো একটি সংখ্যা একা সিদ্ধান্ত নেওয়ার জন্য যথেষ্ট নয়। উপরের উদাহরণে টাস্ক সাকসেস রেট (৭৫%) এবং গড় SUS (৬৫.৫) দুটোই একই দিকে ইঙ্গিত করছে — মাঝারি মানের ইউজেবিলিটি, নির্দিষ্ট কিছু জায়গায় স্পষ্ট সমস্যা। যদি দুটো মেট্রিক পরস্পরবিরোধী হতো (যেমন উচ্চ সাকসেস রেট কিন্তু কম SUS), তাহলে সেটি নিজেই একটি গুরুত্বপূর্ণ সংকেত হতো — হয়তো ব্যবহারকারীরা টাস্ক শেষ করতে পারছেন, কিন্তু প্রক্রিয়াটি চাপযুক্ত বা বিরক্তিকর মনে হচ্ছে (একটি ক্লাসিক এফেক্টিভনেস-বনাম-সন্তুষ্টি ফাঁক)।

এই সংখ্যাগুলো L32-এর A/B টেস্ট বা M13-এর ক্যাপস্টোনে ঠিক এভাবেই ব্যবহৃত হবে — একটি ডিজাইনের একাধিক মেট্রিক (SUS, সাকসেস রেট, সময়, এবং প্রয়োজনে A/B পরিসংখ্যান) একসাথে মিলিয়ে একটি সুসংগত সিদ্ধান্তে পৌঁছানো, কোনো একটি সংখ্যার উপর অন্ধভাবে নির্ভর না করে।