Konno Yuki

Regresi Linier Sederhana, merupakan model yang paling sederhana, yaitu merupakan hubungan antara satu variable tak bebas dan satu variable bebas.
Model Regresi Linier Sederhana

Bila hubungan antara X dan Y dinyatakan dalam garis lurus, maka modelnya dinamakan model regresi linier sederhana. Misalkan data n buah pasangan (Xi,Yi), i = 1,2,…,n maka model linier menjadi:

Yi = β0 + β1Xi + εi , i = 1,2,…,n

Keterangan:
Yi = harga variable respon pada trial ke-i
Xi = harga variable bebas pada trial ke-i
n = banyaknya data
C= intersep yaitu nilai Yi pada saat Xi=0
β1 = kemiringan yaitu besarnya perubahan Y jika X berubah 1 unit
β0 dan β1 disebut koefisien regresi (parameter yang nilainya harus ditentukan)
εi = error/ suku sesatan random → εi~NID(0,σ2)

Sifat-sifat penting
1)Yi merupakan jumlah dari 2 komponen (Yi = β0 + β1Xi + εi)
Suku kontans β0 + β1Xi
Suku random εi
Yi merupakan peubah acak
2)Karena E(εi)= 0 → E(Yi) = β0 + β1Xi
3)Yi = β0 + β1Xi + εi ; Yi = β0 + β1Xi
εi = Yi - Yi
4)Var(εi) = Var(β0 + β1Xi + εi) = σ2
Catatan: Var(a)=0, dengan a= konstanta
5)Karena εi, εj independent, maka Yi dan Yj juga tidak berkorelasi untuk i≠j

Estimasi Parameter
Untuk mendapatkan pebaksir yang baik bagi parameter regresi (β0 dan β1) dapt digunakan metode kuadrat terkecil , yaitu metode dengan meminimumkan jumlah kuadrat penyimpangan (JKS = Jumlah Kuadrat Sesatan)

JKS =εi2 = i=1n(Yi-Yi)2 = i=1n( Yi - β0 + β1Xi)2

Dalam Praktik→ Sampel →Regresi Sampel
Yi = β0 + β1Xi atau Yi = b0 + b1Xi
b0 taksiran untuk β0; b1 taksiran untuk β1, dapat dibuktikan bahwa E(b0) = β0 dan E(b1) = β1 serta ei taksiran untuk εi;
JKS = i=1n( Yi - β0 + β1Xi)2
i=1n( Yi - b0 + b1Xi)2

Untuk meminimumkan suatu fungsi, maka perlu dicari turunan parsial dari JKS = Jumlah Kuadrat Sesatan = SSE = Sum Square Error terhadap b0 dan b1, kemudian menyamakan dengan nol.
∂JKS/(∂b0 ) = 0 →2( Yi - b0 + b1Xi)(-1) = 0→ b0 =Y- b1X
∂JKS/(∂b1 ) = 0 →2( Yi - b0 + b1Xi)(-X)
b1 = nXiYi-XiYin Xi2-(Xi)2
= nXiYi- XiYin Xi2- (Xin)2
=SxySxx

Dengan:
Sxy=inXiYi- i=1nXii=1nYin
Sxx=inXi2-(i=1nXi)2n
X=i=1nXin , Y=i=1nYin

dengan diperoleh nilai-nilai dari b0 dan b1, maka didapat model regresi:
Yi = b0 + b1Xi
Persamaan normal yang berkaitan dengan model regresi linier sederhana di atas adalah:
Yi =nb0+ b1Xi
Xi Yi=b0Xi+ b1Xi2
Nilai-nilai dari b0 dan b1 meupakan penyelesain dari persamaan normal diatas.

Uji Nyata Regresi
Setelah didapat model regresinya, selanjutnya dilakukan uji nyata regresi. Untuk uji nyata regresi ini diperlukan table analisis variansi. Analisis variansi pada dasarnya adalah menguraikan jumlah kuadrat total atas komponen-komponennya. Yaitu jumlah kuadrat regresi dan rat-rata kuadrat sisa, yang merupakan langkah awal yang penting untuk menentukan pengaruh suatu peubah bebas X terhadap respon Y. Penguraian jumlah kuadrat total sesatan sbb:
(Yi - Y) = (Yi -Y) + (Y - Y)
(Yi - Y)2 =(Yi -Y+ Y - Y)2
(Yi - Y)2 =Yi -Y2+2(Yi -Y+ Y - Y) + Y - Y2
↓ = 0
(Yi - Y)2 =Yi -Y2+ Y - Y2

JKT = JKR + JKS
JKS = Jumlah Kuadrat Sesatan (variansi karena sisa),dk = n-2
JKR = Jumlah Kuadrat Regresi (variansi karena regresi), dk=1
JKT = Jumlah Kuadrat Total, dk=n-1
dk( JKT) = dk(JKR )+ dk(JKS)


Untuk menguji apakah model linier yang digunakan cocok dengan data atau tidak, dilakukan uji hipotesa mengenai slope tersebut:
H0 : β1=0
H1 : β1≠0

Satistik uji yang digunakan:
F=JKR/1JKS/(n-2) = RKRRKS

Nilai F ini sering disebut dengan nilai F hitung.
Kriteria penolakannya adalah H0 ditolak jika Fhitung > Fα(1,n-2). Fα(1,n-2) diperoleh dari table distribusi F dengan derajat kebebasan pembilang 1 dan derajat bebas penyebut n-2 pada tingkat signifikansi α. Fα(1,n-2). Disebut F table.
Menerima H0 : β1=0 mengindikasikan bahwa nilai X memberikan kontribusi yang kecil terhadap variabilitas Y. Jika H0 : β1=0 diterima maka midel linier yang kita ambil tidak cocok dengan data. Jika H0 : β1=0 ditolak berarti nilai X memberi kontribusi yang signifikan terhadap variabilitas Y, sehingga model linier yang diambil cocok dengan data.

Koefisien Determinasi dan Korelasi
Kecocokan model regresi dapat juga dilihat dari suatu ukuran kecocokan model yang disebut koefisien determibasi yang dilambangkan dengan
R2= JKR/JKT; 0≤R2≤1.


R2 menerangkan seberapa besar X member sumbangan pada seluruh variasi total Y. makin dekat R2 dengan 1 makin baik kecocokan data dengan model dan sebaliknya makin dekat R2 dengan 0 makin jelek kecocokan tersebut. R2 biasa dinyatakan dalam persen. Misal R2=0,7889 artinya 78,89% variasi total Y dipengaruhi X dan sisanya 22,11% dipengaruhi oleh faktor-faktor lain.
Koefisien korelasi mengukur derajat hubungan linier antara X dan Y. koefisien korelasi populasi disimbolkan dengan ρ ,sedangkan koefisien korelasi sampel disimbolkan dengan rxy dan rumusnya adalah
ρxy = Cov(X,Y)VarXVar(Y); -1 ≤ ρxy ≤ 1
Cov (X,Y) mengukur besar dan arah hubungan linier antara 2 peubah.
rxy estimator dari ρxy

rxy = Xi-XYi-YXi-X2Yi-Y2 = SxySxxSyy ; -1 ≤ ρxy ≤ 1
dengan
Sxy = inXiYi-(inXi)(inYi)n
Sxx = inXi2-(inXi)2n
Syy = inYi2-(inYi)2n
r = 0 atau r~0 natar X dan Y tidak terdapat hubungan atau hubungan sangat lemah.
r = -1 hubungan X da Y sangat kuat, tetapi hubungan negative, X semakin besar nilai Y semakin kecil.
r = 1 hubungan X dan Y sangat kuat dan searah, bila X semakin besar, nilai Y semakin besar pula.
Jika X dan Y bebas satu sama lain r = 0. Rr = 0 tidak berarti X dan Y bebas ( tak ada hubungan linier), mungkin hubungan berbentuk lain.
Hubungan R dan b1
b1 = SxySxx= SxySxx.1Sxx=SxySxxSyy SyySxx=r(SyySxx)
b12 = r2 SyySxx → r2 = b12Syy Sxx =JKR/JKT

Regresi Lewat Titik Pangkal (pusat)
Sering kita jumpai dimana model regresi lewat titik (0,0) merupakan model yang sesuai untuk data. Sebagai contoh, misalkan pada suatu proses kimia, hasil yang diperoleh Y=0, apabila temperature prose (X) sama dengan nol. Model regresi melalui titik (0,0) adalah:
Yi = βiXi + εi → Regresi Populasi
Yi = biXi + εi → Regresi Sampel
Dengan metode kuadrat terkecil didapat : bi = XiYiXi2
Karena hanya 1 parameter yang diestimasi yaitu bi, maka jika JKS hanya mempunyai dk(n-1), sehingga:
S2 =JKSn-1 → E(s2) =σ2
Dapat dibuktikan bahwa
σ2(b1) = σ2Xi2 →s2(b1) = s2Xi2 → s(b1) = sXi2
Selang kepercayaan untuk β1
b1 - tα/2,n-1s(b1) ≤ β1 ≤ b1 + tα/2,n-1s(b1)
selang kepercayaan rata-rata dan individu:
Yi = b1X1 → X = X0 → Y0 = b1X1
Var (Yi) = Var(b1X1) = X02Var(b1) = X02σ2Xi2
s2(b1) = X02 s2Xi2
e = Y-Y
e = Y0 -Y0 → Var(e0) = σ2(1+X02SXi2) → S2(e2) = s2(1+X02SXi2)
SK rata-rata dan individu
Y0- tp s(Y0) ≤ E(Y/X0) ≤ Y0 + tp s(Y0)
Y0- tp s(e0) ≤ Y0 ≤ Y0 + tp s(e0)