AI সিস্টেমের জন্য ইউজার রিসার্চ

১ · কেন AI সিস্টেমের ইউজার রিসার্চ আলাদা

ঐতিহ্যগত সফটওয়্যারে আচরণ predictable — একটি বাটনে ক্লিক করলে সবসময় একই জিনিস ঘটে। ইউজার রিসার্চ তখন মূলত প্রশ্ন করে: ইন্টারফেসটি কি বোধগম্য, ব্যবহারযোগ্য? কিন্তু AI সিস্টেমAI সিস্টেমএমন একটি সফটওয়্যার সিস্টেম যার আউটপুট সম্ভাব্যতা-ভিত্তিক এবং প্রতিটি ইনপুটে ভিন্ন হতে পারে, এবং যা মাঝেমধ্যেই ভুল করবে।-এর ক্ষেত্রে আউটপুট সম্ভাব্যতা-ভিত্তিক — একই ইনপুটেও কখনও ঠিক, কখনও ভুল ফলাফল আসতে পারে। তাই ইউজার রিসার্চে শুধু "ইন্টারফেস বোধগম্য কিনা" নয়, বরং আরও গভীর প্রশ্ন করতে হয়:

২ · দুটি মূল পদ্ধতি — ইন্টারভিউ ও কনটেক্সচুয়াল ইনকোয়ারি

ইন্টারভিউ ব্যবহারকারীর মতামত, প্রত্যাশা ও অতীত অভিজ্ঞতা জানার জন্য ভালো — বিশেষ করে "আপনি কখন AI-এর পরামর্শ বিশ্বাস করেন না?" জাতীয় প্রশ্নের জন্য। কিন্তু ইন্টারভিউয়ের সীমাবদ্ধতা হলো এটি স্মৃতি ও স্ব-প্রতিবেদনের (self-report) উপর নির্ভরশীল — মানুষ প্রায়ই নিজের আচরণ নিজেই সঠিকভাবে বর্ণনা করতে পারেন না।

কনটেক্সচুয়াল ইনকোয়ারিকনটেক্সচুয়াল ইনকোয়ারিএকটি রিসার্চ পদ্ধতি যেখানে গবেষক ব্যবহারকারীকে তার নিজের বাস্তব পরিবেশে, তার স্বাভাবিক কাজ করার সময় পর্যবেক্ষণ করেন — ল্যাবে ডেকে এনে নয়। এই সীমাবদ্ধতা কমায় — গবেষক ব্যবহারকারীর নিজের কর্মক্ষেত্রে বা বাস্তব পরিবেশে গিয়ে দেখেন তিনি প্রকৃতপক্ষে কীভাবে AI টুলটি ব্যবহার করছেন। AI প্রোডাক্টের জন্য এটি বিশেষভাবে গুরুত্বপূর্ণ, কারণ over-reliance বা under-reliance-এর মতো আচরণ (M3-এ বিস্তারিত) প্রায়ই ব্যবহারকারী নিজে খেয়ালও করেন না — যেমন একজন ব্যবহারকারী হয়তো বলবেন "আমি সবসময় ফলাফল চেক করি," কিন্তু বাস্তবে দ্রুত ডেডলাইনের চাপে থাকলে সেটা বাদ দিয়ে দেন — এই ফারাকটা শুধু সরাসরি পর্যবেক্ষণেই ধরা পড়ে।

৩ · "যথেষ্ট ভালো" প্রেক্ষাপট অনুযায়ী বদলায়

ডেভেলপাররা প্রায়ই ধরে নেন একটি একক "acceptable error rate" পুরো প্রোডাক্টে খাটবে। কিন্তু বাস্তবে ব্যবহারকারীর ভুল-সহনশীলতা নির্ভর করে সেই ভুলের পরিণতির উপর। নিচের কোড সেলে দুটো ভিন্ন AI ফিচারের জন্য সিমুলেটেড ব্যবহারকারী-সার্ভে রেটিং (১-৫ স্কেলে, ৫ = "মাঝেমধ্যে ভুল হলেও ঠিক আছে") অ্যাগ্রিগেট করে দেখা যাক তাদের মধ্যে কতটা ফারাক থাকে, এবং ডেভেলপারের একটি "সবার জন্য একই" অনুমান থেকে সেই বাস্তবতা কতটা দূরে।

import statistics

# ১০ জন সিমুলেটেড ব্যবহারকারীর সার্ভে রেটিং, স্কেল ১-৫
# ৫ = "মাঝেমধ্যে ভুল হলেও সমস্যা নেই", ১ = "কোনো ভুল একদমই সহনীয় নয়"
survey_responses = {
    "স্প্যাম ফিল্টার (ভুল হলে একটা ইমেইল মিস হয়)": [4, 5, 5, 4, 5, 3, 4, 5, 5, 4],
    "মেডিকেল ডায়াগনসিস সাজেশন (ভুল হলে ভুল চিকিৎসার ঝুঁকি)": [1, 2, 1, 1, 2, 1, 1, 2, 1, 1],
}

# ডেভেলপারের অনুমান: "একটা মাঝারি-মাত্রার সহনশীলতা সব ফিচারেই যথেষ্ট হবে"
developer_assumption = 3.0

for feature, responses in survey_responses.items():
    actual_mean = statistics.mean(responses)
    gap = actual_mean - developer_assumption
    print(f"{feature}")
    print(f"  বাস্তব ব্যবহারকারীদের গড় সহনশীলতা: {actual_mean:.1f}/৫")
    print(f"  ডেভেলপারের অনুমান (৩.০) থেকে পার্থক্য: {gap:+.1f}")
    print()