পজিটিভ ডেফিনিট ম্যাট্রিক্স ও কোয়াড্রেটিক ফর্ম

১ · কোয়াড্রেটিক ফর্ম কী

একটি কোয়াড্রেটিক ফর্মQuadratic Formএকটি ভেক্টর $\mathbf{x}$ ও একটি ম্যাট্রিক্স $\mathbf{A}$ থেকে গঠিত একটি স্কেলার এক্সপ্রেশন $\mathbf{x}^T\mathbf{Ax}$, যা $\mathbf{x}$-এর উপাদানগুলোর দ্বিঘাত (degree-2) পদের সমষ্টি। $$ \mathbf{x}^T\mathbf{Ax} = \begin{pmatrix}x_1&x_2\end{pmatrix}\begin{pmatrix}2&0\\0&3\end{pmatrix}\begin{pmatrix}x_1\\x_2\end{pmatrix} = 2x_1^2 + 3x_2^2 $$

লক্ষ করুন ফলাফল $\mathbf{x}$-এর উপাদানগুলোর দ্বিঘাত পদের একটি সমষ্টি — এই কারণেই একে "কোয়াড্রেটিক" (দ্বিঘাত) ফর্ম বলা হয়। পাঠ ১১-তে আমরা এমন একটি ফর্ম ইতিমধ্যে দেখেছি: $\mathbf{v}^T\mathbf{C}\mathbf{v}$ (PCA-র ভেরিয়েন্স)।

২ · Positive Definite, Semi-Definite ও Indefinite

একটি সিমেট্রিক ম্যাট্রিক্স $\mathbf{A}$-কে শ্রেণীবদ্ধ করা হয় $\mathbf{x}^T\mathbf{Ax}$-এর চিহ্ন কেমন আচরণ করে তার ওপর ভিত্তি করে (সব $\mathbf{x}\neq\mathbf{0}$-এর জন্য):

একটি PD উদাহরণ: $\mathbf{A}=\begin{pmatrix}2&-1\\-1&2\end{pmatrix}$ নিলে $\mathbf{x}^T\mathbf{Ax}=2x_1^2-2x_1x_2+2x_2^2$। এটিকে পূর্ণবর্গে (complete the square) লিখলে $= (x_1-x_2)^2 + x_1^2 + x_2^2$ — তিনটি বর্গ পদের যোগফল, যা $\mathbf{x}\neq\mathbf{0}$ হলে সবসময় ধনাত্মক (নিচে আইগেনভ্যালু দিয়েও এটি নিশ্চিত করব)।

একটি indefinite উদাহরণ, যা পরে পাঠ ১৬-তে saddle point বিশ্লেষণে ফিরে আসবে: $\mathbf{A}=\begin{pmatrix}1&0\\0&-1\end{pmatrix}$, তাই $\mathbf{x}^T\mathbf{Ax}=x_1^2-x_2^2$। এটি $x_1$-অক্ষ বরাবর ($x_2=0$) ধনাত্মক, কিন্তু $x_2$-অক্ষ বরাবর ($x_1=0$) ঋণাত্মক — স্পষ্টভাবে indefinite।

একটি PSD (কিন্তু PD নয়) উদাহরণ: $\mathbf{A}=\begin{pmatrix}1&1\\1&1\end{pmatrix}$, তাই $\mathbf{x}^T\mathbf{Ax}=x_1^2+2x_1x_2+x_2^2=(x_1+x_2)^2\geq0$ — সবসময় অ-ঋণাত্মক, কিন্তু $\mathbf{x}=(1,-1)$-এর মতো কোনো non-zero ভেক্টরের জন্য এটি ঠিক $0$ হয়ে যায় ($1+(-1)=0$)। তাই এটি PSD, কিন্তু PD নয়।

৩ · আইগেনভ্যালু দিয়ে পরীক্ষা

প্রতিবার পূর্ণবর্গ করে যাচাই করা কষ্টসাধ্য — সৌভাগ্যক্রমে পাঠ ১০-এর eigendecomposition একটি সরাসরি পরীক্ষা দেয়:

কেন এটি সত্য তা বোঝা সহজ যদি $\mathbf{v}_i$ আইগেনভেক্টরের ভিত্তিতে $\mathbf{x}$ প্রকাশ করি (spectral theorem নিশ্চিত করে সিমেট্রিক ম্যাট্রিক্সের আইগেনভেক্টরগুলো একটি ভিত্তি — basis — গঠন করে, পাঠ ০৬)। তখন $\mathbf{x}^T\mathbf{Ax}=\sum_i \lambda_i c_i^2$ (যেখানে $c_i$ হলো সেই ভিত্তিতে $\mathbf{x}$-এর স্থানাঙ্ক) — যেহেতু $c_i^2\geq0$ সবসময়, পুরো যোগফলের চিহ্ন সম্পূর্ণভাবে নির্ভর করে $\lambda_i$-দের চিহ্নের ওপর। যাচাই করি উপরের PD উদাহরণে: $\mathbf{A}=\begin{pmatrix}2&-1\\-1&2\end{pmatrix}$-এর characteristic equation $(2-\lambda)^2-1=0\Rightarrow\lambda^2-4\lambda+3=0\Rightarrow(\lambda-3)(\lambda-1)=0$ — আইগেনভ্যালু $3$ ও $1$, দুটোই ধনাত্মক, তাই PD — যা আমাদের পূর্ণবর্গ পরীক্ষার সাথে মেলে।

৪ · কোভেরিয়েন্স ম্যাট্রিক্স সবসময় PSD কেন

যেকোনো র‍্যান্ডম ভেক্টর $\mathbf{X}$-এর কোভেরিয়েন্স ম্যাট্রিক্স $\Sigma$-এর জন্য, এবং যেকোনো ভেক্টর $\mathbf{a}$-এর জন্য, $\mathbf{a}^T\Sigma\mathbf{a}$ আসলে $\mathbf{a}^T\mathbf{X}$ (একটি স্কেলার র‍্যান্ডম ভেরিয়েবল — সব উপাদানের একটি রৈখিক সমাহার) এর ভেরিয়েন্স। অর্থাৎ:

আর ভেরিয়েন্স (পাঠ ২৭-এ পূর্ণ সংজ্ঞা আসবে) সংজ্ঞা অনুযায়ীই একটি বর্গের প্রত্যাশিত মান — $\mathbb{E}[(\cdot)^2]$ — যা কখনো ঋণাত্মক হতে পারে না। তাই সব $\mathbf{a}$-এর জন্য $\mathbf{a}^T\Sigma\mathbf{a}\geq0$, অর্থাৎ প্রতিটি কোভেরিয়েন্স ম্যাট্রিক্স স্বয়ংক্রিয়ভাবে PSD — এটি জ্যামিতি নয়, সরাসরি ভেরিয়েন্সের সংজ্ঞা থেকে আসা একটি বাধ্যতামূলক সত্য।

৫ · সামনের দিকে ইঙ্গিত — Hessian ও local minima

এই পাঠের ধারণাগুলো মডিউল ৪-এ সরাসরি ফিরে আসবে। পাঠ ১৫-তে আমরা একটি ফাংশনের Hessian ম্যাট্রিক্স (দ্বিতীয় ডেরিভেটিভের ম্যাট্রিক্স) দেখব, এবং পাঠ ১৬-তে প্রমাণ করব — একটি critical point-এ Hessian যদি positive definite হয়, তাহলে সেটি একটি local minimum (ঠিক যেমন একচলকের ক্যালকুলাসে $f''(x)>0$ local minimum নির্দেশ করে)। Hessian indefinite হলে সেটি একটি saddle point — এবং উপরে আমরা যে ইনডেফিনিট উদাহরণ ($x_1^2-x_2^2$) দেখেছি, সেটিই পাঠ ১৬-তে সেই সাডল পয়েন্টের ক্লাসিক উদাহরণ হিসেবে ফিরে আসবে।

৬ · কোড দিয়ে যাচাই

নিচে তিন ধরনের ম্যাট্রিক্স — PD, PSD, indefinite — নিয়ে আইগেনভ্যালু দিয়ে শ্রেণীবিভাগ করা হলো, এবং তারপর একটি র‍্যান্ডম ডেটাসেটের কোভেরিয়েন্স ম্যাট্রিক্স সবসময় PSD কি না তা যাচাই করা হলো।

import numpy as np

def classify(A, name):
    eigvals = np.linalg.eigvalsh(A)   # A সিমেট্রিক ধরে নেওয়া হচ্ছে
    if np.all(eigvals > 1e-10):
        kind = "Positive Definite (PD)"
    elif np.all(eigvals >= -1e-10):
        kind = "Positive Semi-Definite (PSD)"
    else:
        kind = "Indefinite"
    print(f"{name}: eigenvalues = {eigvals}  ->  {kind}")

A_pd    = np.array([[2.0, -1.0], [-1.0, 2.0]])
A_psd   = np.array([[1.0,  1.0], [ 1.0, 1.0]])
A_indef = np.array([[1.0,  0.0], [ 0.0, -1.0]])

classify(A_pd, "A_pd")
classify(A_psd, "A_psd")
classify(A_indef, "A_indef")

# কোভেরিয়েন্স ম্যাট্রিক্স সবসময় PSD — একটি র‍্যান্ডম ডেটাসেটে যাচাই
rng = np.random.default_rng(42)
data = rng.normal(size=(100, 4))       # ১০০ স্যাম্পল, ৪টি ফিচার
cov = np.cov(data, rowvar=False)
cov_eigvals = np.linalg.eigvalsh(cov)
print("কোভেরিয়েন্সের আইগেনভ্যালু:", cov_eigvals)
print("সব >= 0?", np.all(cov_eigvals >= -1e-10))