অডিটেবিলিটি ও AI ডকুমেন্টেশন — মডেল কার্ড ও ডেটাশিট

১ · অডিটেবিলিটি কেন গুরুত্বপূর্ণ

অডিটেবিলিটিAuditabilityএকটি AI সিস্টেমকে পরবর্তীতে স্বতন্ত্রভাবে (ভিন্ন কোনো দল, নিয়ন্ত্রক, বা গবেষক দ্বারা) পর্যালোচনা করার মতো যথেষ্ট তথ্য নথিভুক্ত থাকার বৈশিষ্ট্য — কোন ডেটায় প্রশিক্ষণ হয়েছে, কীভাবে পরীক্ষা করা হয়েছে, এবং কোথায় এর সীমাবদ্ধতা তা লিখিতভাবে জানা থাকা। মানে হলো একটি সিস্টেমকে এমনভাবে নথিভুক্ত রাখা যাতে পরবর্তীতে কেউ (একজন নতুন ডেভেলপার, একজন নিয়ন্ত্রক, একজন স্বতন্ত্র গবেষক) মডেলটির ভেতরে না ঢুকেও এর সিদ্ধান্ত-প্রক্রিয়া, সীমাবদ্ধতা ও ঝুঁকি সম্পর্কে যথেষ্ট তথ্য পেতে পারে। L18-এ আমরা দেখেছি মডেলের ভেতরের যুক্তি প্রায়ই অস্বচ্ছ, L19-এ দেখেছি XAI টেকনিক দিয়ে আংশিক ব্যাখ্যা তৈরি করা যায়, আর L20-এ দেখেছি দায়বদ্ধতা প্রায়ই বহু পক্ষের মধ্যে বিতরিত। ডকুমেন্টেশন এই তিনটি সমস্যাকেই ব্যবহারিকভাবে মোকাবিলার একটি হাতিয়ার — যদি প্রতিটি পক্ষের সিদ্ধান্ত ও তার কারণ লিখিতভাবে নথিভুক্ত থাকে, তাহলে পরবর্তীতে দায়বদ্ধতা যাচাই করা এবং সমস্যার মূল খুঁজে বের করা অনেক সহজ হয়ে যায়।

২ · মডেল কার্ড ও ডেটাশিট — দুটি প্রতিষ্ঠিত প্র্যাকটিস

মডেল কার্ডModel Cardএকটি প্রকাশিত মডেলের সাথে যুক্ত একটি সংক্ষিপ্ত, কাঠামোবদ্ধ ডকুমেন্টেশন — এতে সাধারণত মডেলের উদ্দেশ্যিত ব্যবহার, প্রশিক্ষণ ও মূল্যায়ন ডেটা, সাবগ্রুপ-ভিত্তিক পারফরম্যান্স, এবং জানা সীমাবদ্ধতা থাকে। হলো একটি প্রতিষ্ঠিত, ব্যাপকভাবে গৃহীত প্র্যাকটিস যেখানে একটি মডেল প্রকাশের সাথে সাথে একটি সংক্ষিপ্ত ডকুমেন্ট যুক্ত করা হয় — সাধারণত এতে থাকে মডেলের মৌলিক পরিচিতি, এটি কোন উদ্দেশ্যে ব্যবহারের জন্য বানানো (এবং কোন উদ্দেশ্যে নয়), বিভিন্ন সাবগ্রুপ জুড়ে এর পারফরম্যান্স কেমন (শুধু সামগ্রিক অ্যাকুরেসি নয়), এবং এর জানা সীমাবদ্ধতা ও নৈতিক বিবেচনা।

সমতুল্যভাবে, ডেটাশিট ফর ডেটাসেটসDatasheets for Datasetsএকটি ডেটাসেটের সাথে যুক্ত একটি কাঠামোবদ্ধ ডকুমেন্টেশন — এতে সাধারণত ডেটা সংগ্রহ প্রক্রিয়া, গঠন (composition), উদ্দেশ্যিত ব্যবহার, এবং জানা বায়াস/সীমাবদ্ধতা থাকে। একই ধারণা ডেটাসেটের জন্য প্রয়োগ করে — এতে সাধারণত থাকে ডেটা কীভাবে ও কোথা থেকে সংগ্রহ করা হয়েছে, ডেটাসেটের গঠন (কোন ধরনের এন্ট্রি, কতটুকু প্রতিনিধিত্বমূলক), এটি কোন উদ্দেশ্যে সংগ্রহ করা হয়েছিল, এবং এতে থাকা যেকোনো জানা বায়াস বা ফাঁক। উভয় প্র্যাকটিসই মূল দর্শনে অভিন্ন — গবেষণা ও শিল্প-উভয় ক্ষেত্রেই ব্যাপকভাবে সুপারিশকৃত ও গৃহীত এই ধারণা হলো, একটি মডেল বা ডেটাসেট যত ভালোভাবেই কাজ করুক না কেন, তার ডকুমেন্টেশন ছাড়া দায়িত্বশীল ব্যবহার সম্ভব নয়।

৩ · একটি সত্যিকারের মডেল-কার্ড কমপ্লিটনেস চেকার

নিচের কোড সেলে একটি মডেল কার্ডকে একটি Python ডিকশনারি হিসেবে ধরা হয়েছে (প্রতিটি সেকশন একটি কী), এবং একটি ফাংশন সত্যিই যাচাই করছে সাধারণত-প্রত্যাশিত সেকশনগুলোর মধ্যে কোনগুলো পূরণ করা আছে ও কোনগুলো খালি বা অনুপস্থিত — কোনো ফলাফল হার্ডকোড করা নেই, প্রতিটি ইনপুট ডিকশনারির উপর ভিত্তি করে নতুন করে গণনা করা হচ্ছে।

# একটি মডেল-কার্ড কমপ্লিটনেস চেকার -- সাধারণত-প্রত্যাশিত সেকশনগুলো পূরণ করা আছে কি না তা যাচাই করে

REQUIRED_FIELDS = [
    "model_details",
    "intended_use",
    "training_data",
    "evaluation_data",
    "performance_by_subgroup",
    "limitations",
    "ethical_considerations",
]

def check_model_card(card: dict):
    present, missing = [], []
    for field in REQUIRED_FIELDS:
        value = card.get(field)
        if value is not None and str(value).strip() != "":
            present.append(field)
        else:
            missing.append(field)
    completeness = len(present) / len(REQUIRED_FIELDS) * 100
    return present, missing, completeness

# একটি বাস্তবসম্মত, খসড়া মডেল কার্ড -- ইচ্ছাকৃতভাবে কিছু ফিল্ড অসম্পূর্ণ রাখা হয়েছে
model_card_draft = {
    "model_details": "রিজিউমে-স্ক্রিনিং ক্লাসিফায়ার, v2.1, gradient boosted trees",
    "intended_use": "প্রাথমিক রিজিউমে শর্টলিস্টিং সহায়তা -- চূড়ান্ত সিদ্ধান্ত মানুষ নেবে",
    "training_data": "",                      # খালি রাখা হয়েছে -- ডকুমেন্টেশনে ভরা হয়নি
    "evaluation_data": "২০২৩-২০২৪ হোল্ড-আউট সেট, ৪,০০০ আবেদনকারী",
    "performance_by_subgroup": None,           # সাবগ্রুপ-ভিত্তিক পারফরম্যান্স রিপোর্ট করা হয়নি
    "limitations": "শুধুমাত্র ইংরেজি রিজিউমেতে টেস্ট করা হয়েছে",
    # "ethical_considerations" সম্পূর্ণ বাদ পড়ে গেছে -- ডিকশনারিতে কী-ই নেই
}

present, missing, completeness = check_model_card(model_card_draft)

print(f"পূরণ করা ফিল্ড ({len(present)}/{len(REQUIRED_FIELDS)}):")
for f in present:
    print(f"  [OK] {f}")

print(f"\nঅনুপস্থিত/খালি ফিল্ড ({len(missing)}/{len(REQUIRED_FIELDS)}):")
for f in missing:
    print(f"  [MISSING] {f}")

print(f"\nমডেল কার্ড completeness score: {completeness:.1f}%")
if completeness < 100:
    print("এই মডেল কার্ডটি প্রকাশের আগে সম্পূর্ণ করা প্রয়োজন।")
else:
    print("সব প্রয়োজনীয় ফিল্ড পূরণ করা আছে।")

# একটি সম্পূর্ণ মডেল কার্ড দিয়ে তুলনা -- একই ফাংশন, ভিন্ন ইনপুট
complete_card = {
    "model_details": "রিজিউমে-স্ক্রিনিং ক্লাসিফায়ার, v2.1",
    "intended_use": "প্রাথমিক শর্টলিস্টিং সহায়তা",
    "training_data": "২০১৯-২০২৩, ৫০,০০০ রিজিউমে",
    "evaluation_data": "২০২৩-২০২৪ হোল্ড-আউট সেট",
    "performance_by_subgroup": "গ্রুপ A: ৮৮% নির্ভুলতা, গ্রুপ B: ৮৫% নির্ভুলতা",
    "limitations": "শুধুমাত্র ইংরেজি রিজিউমেতে টেস্ট করা হয়েছে",
    "ethical_considerations": "প্রক্সি-ফিচার বায়াসের ঝুঁকি আছে, নিয়মিত অডিট প্রয়োজন",
}
_, _, complete_score = check_model_card(complete_card)
print(f"\nতুলনার জন্য -- সম্পূর্ণ মডেল কার্ডের completeness score: {complete_score:.1f}%")