লংগিচুডিনাল ইভালুয়েশন — সময়ের সাথে ট্রাস্ট ও ব্যবহারের পরিবর্তন

১ · কেন একবারের টেস্ট যথেষ্ট নয়

লংগিচুডিনাল ইভালুয়েশনLongitudinal Evaluationএকই ব্যবহারকারী বা ব্যবহারকারী-গোষ্ঠীর একই মেট্রিক বারবার, একাধিক সময়বিন্দুতে মাপা, যাতে সময়ের সাথে প্রকৃত পরিবর্তনের প্রবণতা বোঝা যায় — একবারের স্ন্যাপশটের বদলে। L39-এর ইউজেবিলিটি টেস্ট, L40-এর A/B টেস্ট, ও L42-এর SUS স্কোর — এগুলোর প্রতিটি একটি নির্দিষ্ট মুহূর্তের ছবি তোলে। কিন্তু বাস্তবে ব্যবহারকারীর সাথে AI সিস্টেমের সম্পর্ক স্থির নয়:

• প্রথমবার ব্যবহারের সময় ব্যবহারকারী সতর্ক থাকতে পারেন (আন্ডার-ট্রাস্ট), কিন্তু কয়েক সপ্তাহ ভালো অভিজ্ঞতার পর ট্রাস্ট বাড়তে পারে।
• উল্টোভাবে, একটি "চকচকে" নতুন AI ফিচার প্রথম সপ্তাহে প্রবল আগ্রহ পেতে পারে ("নভেলটি এফেক্ট"), তারপর সেই আগ্রহ কমে যেতে পারে যদি প্রকৃত মূল্য কম হয়।
• একটি একক বড় ভুল (যেমন একটি গুরুত্বপূর্ণ কাজে AI-এর স্পষ্ট ব্যর্থতা) হঠাৎ ট্রাস্ট কমিয়ে দিতে পারে, যা একবারের টেস্টে ধরাই পড়বে না যদি সেই মুহূর্তে টেস্ট না চলে।

এই কারণেই লংগিচুডিনাল ইভালুয়েশন দরকার — একই মেট্রিক বারবার মাপা, যাতে দিক (direction) ও গতি (rate) দুটোই বোঝা যায়।

২ · কী মাপা হয় সময়ের সাথে

৩ · সত্যিকারের ডেমো — সাপ্তাহিক ট্রেন্ড গণনা

ধরা যাক একটি AI অ্যাসিস্ট্যান্ট ফিচারের জন্য ৮ সপ্তাহ ধরে ব্যবহারকারীদের গড় ট্রাস্ট রেটিং (৭-পয়েন্ট স্কেলে) এবং সপ্তাহপ্রতি গড় সেশন সংখ্যা রেকর্ড করা হয়েছে। নিচের কোডে প্রথমার্ধ বনাম দ্বিতীয়ার্ধের তুলনা এবং একটি সরল সপ্তাহ-থেকে-সপ্তাহ ট্রেন্ড সত্যিকারভাবে গণনা করা হয়েছে।

weekly_trust = [3.2, 3.5, 3.4, 3.8, 4.1, 4.3, 4.5, 4.7]   # ৭-পয়েন্ট স্কেলে, ৮ সপ্তাহ ধরে গড় ট্রাস্ট রেটিং
weekly_usage = [12, 14, 13, 16, 19, 21, 23, 25]           # সপ্তাহপ্রতি গড় সেশন সংখ্যা

def mean(values):
    return sum(values) / len(values)

first_half_trust = weekly_trust[:4]
second_half_trust = weekly_trust[4:]
first_half_usage = weekly_usage[:4]
second_half_usage = weekly_usage[4:]

print(f"প্রথম ৪ সপ্তাহের গড় ট্রাস্ট: {mean(first_half_trust):.3f}")
print(f"শেষ ৪ সপ্তাহের গড় ট্রাস্ট: {mean(second_half_trust):.3f}")
print(f"পরিবর্তন: {mean(second_half_trust) - mean(first_half_trust):+.3f}")

print(f"\nপ্রথম ৪ সপ্তাহের গড় ব্যবহার (সেশন/সপ্তাহ): {mean(first_half_usage):.2f}")
print(f"শেষ ৪ সপ্তাহের গড় ব্যবহার (সেশন/সপ্তাহ): {mean(second_half_usage):.2f}")
print(f"পরিবর্তন: {mean(second_half_usage) - mean(first_half_usage):+.2f}")

# সরল লিনিয়ার ট্রেন্ড -- সপ্তাহ-থেকে-সপ্তাহ পরিবর্তনের গড়
week_diffs = [weekly_trust[i + 1] - weekly_trust[i] for i in range(len(weekly_trust) - 1)]
avg_weekly_change = sum(week_diffs) / len(week_diffs)
print(f"\nসপ্তাহপ্রতি গড় ট্রাস্ট-পরিবর্তন (সরল ট্রেন্ড): {avg_weekly_change:+.3f} পয়েন্ট/সপ্তাহ")

৪ · পদ্ধতিগত চ্যালেঞ্জ

• অ্যাট্রিশন (attrition) — সময়ের সাথে অংশগ্রহণকারীরা স্টাডি ছেড়ে দিতে পারেন, এবং যারা থেকে যান তারা হয়তো এমনিতেই বেশি সন্তুষ্ট গোষ্ঠী — ফলে বাকি ডেটা পক্ষপাতদুষ্ট (biased) হতে পারে।
• কনফাউন্ডিং ফ্যাক্টর — ট্রাস্ট বাড়া বা কমা শুধু ফিচারের কারণে না-ও হতে পারে; একই সময়ে অন্য পরিবর্তন (যেমন ইন্টারফেসের অন্য অংশে আপডেট) ফলাফলকে প্রভাবিত করতে পারে।
• কন্ট্রোল গ্রুপের অভাব — সম্ভব হলে একই সময়ে একটি তুলনামূলক গ্রুপ (যারা নতুন ফিচার পাননি) রাখা ভালো, নয়তো সাধারণ মৌসুমি বা প্রাসঙ্গিক পরিবর্তনকে ফিচারের প্রভাব বলে ভুল বোঝা যেতে পারে।