লিনিয়ার ইন্ডিপেন্ডেন্স, স্প্যান ও বেসিস

১ · লিনিয়ার কম্বিনেশন

ভেক্টর $\mathbf{v}_1,\mathbf{v}_2,\dots,\mathbf{v}_k$ এবং স্কেলার $c_1,c_2,\dots,c_k$ দেওয়া থাকলে, এদের লিনিয়ার কম্বিনেশন হলো:

পাঠ ০৩-এ আমরা এটি ইতিমধ্যে দেখেছি — $\mathbf{x}=x_1\mathbf{e}_1+x_2\mathbf{e}_2+x_3\mathbf{e}_3$ আসলে $\mathbf{e}_1,\mathbf{e}_2,\mathbf{e}_3$-এর একটি লিনিয়ার কম্বিনেশন, যেখানে স্কেলারগুলো হলো $x_1,x_2,x_3$ নিজেই। স্কেলারগুলো ($c_i$) যেকোনো বাস্তব সংখ্যা হতে পারে — ধনাত্মক, ঋণাত্মক, বা শূন্য।

২ · স্প্যান (Span)

ভেক্টর $\mathbf{v}_1,\dots,\mathbf{v}_k$-এর স্প্যান হলো তাদের সব সম্ভাব্য লিনিয়ার কম্বিনেশনের সেট — অর্থাৎ $c_1,\dots,c_k$-এর সব সম্ভাব্য মান বসিয়ে যত ভেক্টর তৈরি করা যায়, তাদের সবগুলোর সংগ্রহ:

উদাহরণ: $\mathbb{R}^2$-এ যদি $\mathbf{v}_1=(1,0)$ এবং $\mathbf{v}_2=(0,1)$ হয় (মানে $\mathbf{e}_1,\mathbf{e}_2$), তাহলে এদের স্প্যান হলো পুরো $\mathbb{R}^2$ — কারণ যেকোনো $(x_1,x_2)$-কে $x_1\mathbf{v}_1+x_2\mathbf{v}_2$ হিসেবে লেখা যায়। কিন্তু যদি $\mathbf{v}_1=(1,0)$ এবং $\mathbf{v}_2=(2,0)$ হয় (দুটোই একই দিকে, $x$-অক্ষ বরাবর), তাহলে এদের স্প্যান শুধু $x$-অক্ষের উপর থাকা সব বিন্দু — পুরো $\mathbb{R}^2$ নয়, শুধু একটি সরলরেখা। এখানেই পরের ধারণাটা দরকার হয়।

৩ · লিনিয়ার ইন্ডিপেন্ডেন্স

ভেক্টর $\mathbf{v}_1,\dots,\mathbf{v}_k$ লিনিয়ারলি ইন্ডিপেন্ডেন্ট হয় যদি একমাত্র এমন কম্বিনেশন যা শূন্য ভেক্টর দেয়, তা হলো ট্রিভিয়াল কম্বিনেশন — অর্থাৎ:

যদি এমন কোনো নন-ট্রিভিয়াল কম্বিনেশন (কমপক্ষে একটি $c_i\neq0$) থাকে যা শূন্য ভেক্টর দেয়, তাহলে ভেক্টরগুলো লিনিয়ারলি ডিপেন্ডেন্ট। ব্যবহারিকভাবে, লিনিয়ার ডিপেন্ডেন্সের মানে হলো — কমপক্ষে একটি ভেক্টর বাকিগুলোর লিনিয়ার কম্বিনেশন হিসেবে লেখা যায়, অর্থাৎ এটি "নতুন কোনো তথ্য" যোগ করছে না।

যেমন উপরের উদাহরণে $\mathbf{v}_1=(1,0)$ এবং $\mathbf{v}_2=(2,0)$: এখানে $2\mathbf{v}_1 - 1\mathbf{v}_2 = (2,0)-(2,0)=\mathbf{0}$ — এবং $c_1=2\neq0$, তাই এটি একটি নন-ট্রিভিয়াল কম্বিনেশন। সুতরাং $\mathbf{v}_1,\mathbf{v}_2$ লিনিয়ারলি ডিপেন্ডেন্ট — যা মেলে আমাদের আগের পর্যবেক্ষণের সাথে যে তাদের স্প্যান শুধু একটি সরলরেখা।

৪ · বেসিস ও ডাইমেনশন

একটি ভেক্টর স্পেসের (যেমন $\mathbb{R}^n$) বেসিস হলো এমন একটি ভেক্টর সেট যা দুটি শর্ত পূরণ করে:

• এটি লিনিয়ারলি ইন্ডিপেন্ডেন্ট (কোনো ভেক্টর "বাড়তি"/redundant নয়), এবং
• এটি পুরো স্পেস স্প্যান করে (প্রতিটি ভেক্টর এদের কম্বিনেশন হিসেবে লেখা যায়)।

একটি বেসিসে ঠিক কতটি ভেক্টর থাকবে তা নির্দিষ্ট — একেই বলা হয় সেই স্পেসের ডাইমেনশন (dimension)। $\mathbb{R}^n$-এর যেকোনো বেসিসে ঠিক $n$টি ভেক্টর থাকবে। পাঠ ০৩-এর স্ট্যান্ডার্ড বেসিস $\mathbf{e}_1,\dots,\mathbf{e}_n$ এই শর্ত দুটি পূরণ করে — এরা পরস্পর ইন্ডিপেন্ডেন্ট (আগেই পাঠ ০৪-এ দেখেছি এরা পরস্পর অর্থোগোনাল, যা ইন্ডিপেন্ডেন্সের চেয়ে শক্তিশালী শর্ত) এবং যেকোনো ভেক্টরকে $\sum_i x_i\mathbf{e}_i$ হিসেবে লেখা যায়। কিন্তু এটাই একমাত্র বেসিস নয় — $\mathbb{R}^2$-এর $(1,1)$ ও $(1,-1)$ ভেক্টরদুটোও একটি বৈধ বেসিস গঠন করে, কারণ এরাও ইন্ডিপেন্ডেন্ট এবং $\mathbb{R}^2$ স্প্যান করে।

৫ · কেন ML-এ গুরুত্বপূর্ণ — redundant ফিচার ও র‍্যাঙ্ক

একটি ডেটাসেটে প্রতিটি সারি (row) সাধারণত একটি ফিচার-ভেক্টর — যেমন "বাড়ির আয়তন (বর্গফুট), রুম সংখ্যা, বাড়ির আয়তন (বর্গমিটার)"। লক্ষ্য করুন শেষ ফিচারটি প্রথমটির শুধু একটি স্কেলার গুণ (বর্গমিটার = বর্গফুট $\times 0.0929$)। এই তিনটি ফিচার-কলাম লিনিয়ারলি ডিপেন্ডেন্ট — তৃতীয়টি প্রথমটির লিনিয়ার কম্বিনেশন মাত্র, কোনো নতুন তথ্য যোগ করছে না।

এই ধরনের redundant বা পরস্পর-সম্পর্কিত (highly correlated) ফিচার থাকলে ডেটা ম্যাট্রিক্সের কার্যকর র‍্যাঙ্ক (effective rank) কমে যায় — অর্থাৎ কলামগুলো যতটা স্বাধীন তথ্য বহন করতে পারত, তার চেয়ে কম বহন করছে। এর ব্যবহারিক প্রভাব: রিগ্রেশন মডেলে এটি $\mathbf{X}^T\mathbf{X}$-কে সিঙ্গুলার বা প্রায়-সিঙ্গুলার করে তুলতে পারে (পাঠ ০৯-এ ইনভার্স ও র‍্যাঙ্ক দেখার সময় এর প্রভাব সম্পূর্ণ বুঝব), এবং মডেলের সহগ (coefficient) অস্থির হয়ে ওঠে। এই কারণে ফিচার ইঞ্জিনিয়ারিং-এ পরস্পর-সম্পর্কিত ফিচার শনাক্ত করে বাদ দেওয়া একটি গুরুত্বপূর্ণ ধাপ।

৬ · কোড দিয়ে দেখুন — NumPy দিয়ে ইন্ডিপেন্ডেন্স ও র‍্যাঙ্ক পরীক্ষা

একগুচ্ছ ভেক্টরকে একটি ম্যাট্রিক্সের সারি হিসেবে রেখে, np.linalg.matrix_rank দিয়ে তাদের মধ্যে কতগুলো সত্যিকারের ইন্ডিপেন্ডেন্ট আছে তা পরীক্ষা করা যায়।

import numpy as np

# তিনটি ইন্ডিপেন্ডেন্ট ভেক্টর (স্ট্যান্ডার্ড বেসিসের কাছাকাছি)
V_independent = np.array([
    [1.0, 0.0, 0.0],
    [0.0, 1.0, 0.0],
    [0.0, 0.0, 1.0],
])
print("rank (independent):", np.linalg.matrix_rank(V_independent))  # 3

# একটি redundant ফিচারসহ ম্যাট্রিক্স:
# কলাম ৩ = কলাম ১ এর ঠিক ২ গুণ (একদম নির্ভরশীল)
V_dependent = np.array([
    [1.0, 0.0, 2.0],
    [0.0, 1.0, 0.0],
    [2.0, 3.0, 4.0],
])
print("rank (with redundant column):", np.linalg.matrix_rank(V_dependent))  # 2, ৩ নয়

# হাতে-কলমে যাচাই: c1*v1 + c2*v2 = 0 এর ট্রিভিয়াল ছাড়া সমাধান আছে কি?
v1 = np.array([1.0, 0.0])
v2 = np.array([2.0, 0.0])   # v2 = 2 * v1 -> ডিপেন্ডেন্ট
# c1=2, c2=-1 দিয়ে: 2*v1 - 1*v2 = [0, 0]
print("2*v1 - 1*v2 =", 2*v1 - 1*v2)