লিস্ট-স্কয়ার্স কার্ভ ফিটিং ও লিনিয়ার রিগ্রেশন

১ · ইন্টারপোলেশন বনাম কার্ভ ফিটিং

M4-এর আগের চারটি পাঠে (L16-L19) আমরা এমন ফাংশন খুঁজেছি যা প্রতিটি ডেটা পয়েন্টের মধ্য দিয়ে ঠিক যায়। কিন্তু বাস্তব-বিশ্বের ডেটা প্রায়ই নয়েজি — পরিমাপ যন্ত্রের ত্রুটি, র‍্যান্ডম ওঠানামা, বা অসম্পূর্ণ মডেলের কারণে। এমন ডেটায় প্রতিটি বিন্দুর মধ্য দিয়ে জোর করে যাওয়া একটি পলিনোমিয়াল বরং নয়েজকেই "ফিট" করে ফেলবে (একে ওভারফিটিং বলা হয়, ../machine-learning/-এ বিস্তারিত)।

লিস্ট-স্কয়ার্স কার্ভ ফিটিংLeast-Squares Curve Fittingএকটি সরল ফাংশন (যেমন একটি সরলরেখা বা নিচু-ডিগ্রি পলিনোমিয়াল) বেছে নেওয়া যা ডেটা পয়েন্টের মধ্য দিয়ে ঠিক না গিয়েও, প্রতিটি পয়েন্টের রেসিডুয়াল (প্রকৃত মান বনাম ফিট করা মানের পার্থক্য)-এর বর্গের যোগফল সর্বনিম্ন করে। সম্পূর্ণ ভিন্ন লক্ষ্য নেয়: একটি সাধারণ, কম-প্যারামিটারের ফাংশন খুঁজে বের করা যা ডেটার সামগ্রিক প্রবণতা (trend) ধরে, প্রতিটি বিন্দুর নয়েজ নয়।

২ · নরমাল ইকুয়েশন

সবচেয়ে সহজ কেস — একটি সরলরেখা y = mx + b ফিট করা — দুটো অজানা প্যারামিটার: ঢাল m এবং ইন্টারসেপ্ট b। লক্ষ্য হলো এমন m, b বের করা যা রেসিডুয়ালের বর্গের যোগফল সর্বনিম্ন করে:

E-কে m ও b-এর সাপেক্ষে ডেরিভেটিভ নিয়ে শূন্যের সমান বসালে (ক্যালকুলাসের ন্যূনতম-খোঁজার মৌলিক কৌশল, ../math-for-ai/index.html-এ বিস্তারিত), যা পাওয়া যায় তাকে নরমাল ইকুয়েশন বলে — একটি ছোট ২×২ লিনিয়ার সিস্টেম:

এই ২×২ সিস্টেম M3-এর যেকোনো টেকনিক (এখানে সরাসরি Cramer's rule, যেহেতু আকার মাত্র ২×২) দিয়ে সমাধান করা যায়।

৩ · একটি সত্যিকারের ডেমো — নয়েজি ডেটায় সরলরেখা ফিট করা

নিচের কোড সেলে random.gauss দিয়ে (নির্দিষ্ট সিড 42, যাতে ফলাফল পুনরুৎপাদনযোগ্য হয়) একটি সিন্থেটিক ডেটাসেট তৈরি করা হয়েছে সত্যিকারের ঢাল 2.5 ও ইন্টারসেপ্ট 1.0 থেকে, তার উপর সিগমা-1.0 গসিয়ান নয়েজ যোগ করে। তারপর হাতে-লেখা নরমাল ইকুয়েশন দিয়ে ঢাল ও ইন্টারসেপ্ট পুনরুদ্ধার করার চেষ্টা করা হয়েছে।

import random

random.seed(42)

true_slope = 2.5
true_intercept = 1.0

xs = [float(i) for i in range(10)]
ys = [true_slope*x + true_intercept + random.gauss(0, 1.0) for x in xs]

print("সিন্থেটিক ডেটাসেট (প্রকৃত ঢাল=2.5, প্রকৃত ইন্টারসেপ্ট=1.0, গসিয়ান নয়েজ সিগমা=1.0, সিড=42):")
for x, y in zip(xs, ys):
    print(f"  x={x:.1f}  y={y:.6f}")

n = len(xs)
sum_x = sum(xs)
sum_y = sum(ys)
sum_xx = sum(x*x for x in xs)
sum_xy = sum(x*y for x, y in zip(xs, ys))

# নরমাল ইকুয়েশন সমাধান (Cramer's rule, ২x২ সিস্টেম):
# [sum_xx  sum_x ] [m]   [sum_xy]
# [sum_x   n     ] [b] = [sum_y ]
det = sum_xx*n - sum_x*sum_x
m = (sum_xy*n - sum_x*sum_y) / det
b = (sum_xx*sum_y - sum_x*sum_xy) / det

print()
print(f"sum_x={sum_x:.4f} sum_y={sum_y:.4f} sum_xx={sum_xx:.4f} sum_xy={sum_xy:.4f}")
print(f"ডিটারমিন্যান্ট = {det:.4f}")
print(f"ফিট করা ঢাল (m)      = {m:.6f}   (প্রকৃত = {true_slope})")
print(f"ফিট করা ইন্টারসেপ্ট (b) = {b:.6f}   (প্রকৃত = {true_intercept})")

rss = sum((y - (m*x + b))**2 for x, y in zip(xs, ys))
print(f"রেসিডুয়াল সাম অফ স্কয়ার্স (RSS) = {rss:.6f}")