টেস্টিং, ভেরিফিকেশন ও নিশ্চয়তার সীমাবদ্ধতা

১ · টেস্টিং শুধু উপস্থিতি প্রমাণ করে, অনুপস্থিতি নয়

সফটওয়্যার ইঞ্জিনিয়ারিংয়ে একটি সুপরিচিত, ব্যাপকভাবে উদ্ধৃত পর্যবেক্ষণ আছে, যা এডসগার ডাইকস্ট্রার সাথে ব্যাপকভাবে সম্পর্কিত:

"testing shows the presence, not the absence of bugs"

এর অর্থ হলো -- একটি টেস্ট স্যুট পাস করা মানে শুধু এইটুকু বোঝায় যে আপনি যে নির্দিষ্ট ইনপুট/পরিস্থিতিগুলো পরীক্ষা করার কথা ভেবেছিলেন, সেগুলোতে প্রোগ্রামটি সঠিকভাবে কাজ করেছে। এটি কখনো এই দাবি করতে পারে না যে অন্য, আপনি ভাবেননি এমন কোনো ইনপুট বা পরিস্থিতিতে প্রোগ্রামটি ব্যর্থ হবে না -- সম্ভাব্য ইনপুটের জগৎ সাধারণত এত বিশাল যে সম্পূর্ণভাবে পরীক্ষা করা বাস্তবে অসম্ভব। Therac-25 (L25)-এর রেস কন্ডিশন এর একটি বাস্তব উদাহরণ -- স্বাভাবিক গতিতে করা টেস্ট পাস করেছিল, কিন্তু একটি নির্দিষ্ট, বিরল টাইমিং-ক্রম কখনো যথেষ্ট পরিমাণে পরীক্ষা করা হয়নি।

২ · ফরমাল ভেরিফিকেশন: প্রতিশ্রুতি ও সীমাবদ্ধতা

ফরমাল ভেরিফিকেশনFormal Verificationগাণিতিক পদ্ধতি ব্যবহার করে প্রমাণ করা যে একটি প্রোগ্রাম একটি নির্দিষ্ট, আনুষ্ঠানিকভাবে লেখা স্পেসিফিকেশনের সবগুলো শর্ত সবসময় মেনে চলে। টেস্টিংয়ের একটি শক্তিশালী বিকল্প/পরিপূরক প্রস্তাব করে -- নমুনা ইনপুট পরীক্ষা করার বদলে, এটি গাণিতিকভাবে প্রমাণ করে যে একটি প্রোগ্রাম সব সম্ভাব্য ইনপুটের জন্য একটি নির্দিষ্ট বৈশিষ্ট্য মেনে চলে। এটি টেস্টিংয়ের "শুধু যা পরীক্ষা করা হয়েছে তার প্রমাণ" সীমাবদ্ধতা কাটিয়ে ওঠে।

কিন্তু ফরমাল ভেরিফিকেশনেরও একটি মৌলিক সীমাবদ্ধতা আছে -- এটি প্রমাণ করে যে প্রোগ্রামটি তার স্পেসিফিকেশন মেনে চলে, কিন্তু সেই স্পেসিফিকেশনটি নিজেই ভুল, অসম্পূর্ণ, বা বাস্তব-জগতের প্রকৃত প্রয়োজনীয়তা সঠিকভাবে ধারণ না করলে, প্রোগ্রামটি "প্রমাণিতভাবে সঠিক" হওয়া সত্ত্বেও বাস্তবে ভুল আচরণ করতে পারে। অর্থাৎ, "আমরা কী প্রমাণ করছি" এই প্রশ্নটি "আমরা কীভাবে প্রমাণ করছি" এই প্রশ্নের মতোই গুরুত্বপূর্ণ। এছাড়া, জটিল সিস্টেমের জন্য সম্পূর্ণ ফরমাল ভেরিফিকেশন বাস্তবে ব্যয়বহুল ও সময়সাপেক্ষ, তাই এটি সাধারণত সবচেয়ে ঝুঁকিপূর্ণ, কোর অংশগুলোর জন্য সংরক্ষিত থাকে।

৩ · কোড কভারেজ একা যথেষ্ট নয় -- একটি ইলাস্ট্রেটিভ মডেল

একটি সাধারণ ভুল ধারণা হলো "৯০% কোড কভারেজ মানে ৯০% বাগ-মুক্ত আত্মবিশ্বাস"। বাস্তবে কভারেজ শুধু বলে কতটুকু কোড এক্সিকিউট হয়েছে টেস্টের সময়, তা নয় যে সেই এক্সিকিউশনগুলো প্রকৃত ঝুঁকিপূর্ণ পরিস্থিতি যথেষ্টভাবে পরীক্ষা করেছে কি না। নিচের কোড সেলে একই কভারেজ শতাংশের দুটি দৃশ্যকল্প তুলনা করা হয়েছে, যেখানে না-টেস্ট-করা অংশের প্রকৃত ঝুঁকি সম্পূর্ণ ভিন্ন।

# ইলাস্ট্রেটিভ মডেল -- দেখানোর জন্য যে কোড-কভারেজ শতাংশ একাই "কতটা নিশ্চিত থাকা যায়" তার
# সম্পূর্ণ পরিমাপ নয়। সংখ্যাগুলো একটি ছোট, স্পষ্টভাবে চিহ্নিত সিন্থেটিক উদাহরণ।

def coverage_percent(covered, total):
    return covered / total * 100

# দৃশ্যকল্প ক: বড় কোডবেস, ৯০% কভারেজ; বাদ পড়া ২০টি শাখার মধ্যে মাত্র ২টি সত্যিকারের
# ঝুঁকিপূর্ণ এজ-কেস (বাকিগুলো সহজ, কম-ঝুঁকিপূর্ণ কোড পাথ)
scenario_a = {"total_branches": 200, "covered_branches": 180, "untested_risky_edge_cases": 2}

# দৃশ্যকল্প খ: ছোট কোডবেস, একই ৯০% কভারেজ; কিন্তু বাদ পড়া ৪টি শাখার সবগুলোই ঝুঁকিপূর্ণ
# এজ-কেস (যেমন বিরল এরর-হ্যান্ডলিং পাথ)
scenario_b = {"total_branches": 40, "covered_branches": 36, "untested_risky_edge_cases": 4}

for label, s in [("দৃশ্যকল্প ক", scenario_a), ("দৃশ্যকল্প খ", scenario_b)]:
    cov = coverage_percent(s["covered_branches"], s["total_branches"])
    untested_total = s["total_branches"] - s["covered_branches"]
    risky = s["untested_risky_edge_cases"]
    risky_share = (risky / untested_total * 100) if untested_total else 0
    print(f"{label}: কভারেজ={cov:.1f}%, মোট না-টেস্ট-করা শাখা={untested_total}, "
          f"তার মধ্যে ঝুঁকিপূর্ণ এজ-কেস={risky} ({risky_share:.0f}%)")

print("\nদুটো দৃশ্যকল্পেরই কভারেজ প্রায় সমান (~৯০%), কিন্তু না-টেস্ট-করা অংশের প্রকৃত ঝুঁকি")
print("সম্পূর্ণ ভিন্ন -- তাই কভারেজ শতাংশ একাই আত্মবিশ্বাসের একটি অসম্পূর্ণ পরিমাপ।")