Analisis Regresi Linier Sederhana

Duwi Consultant Analisis Regresi Linier Sederhana

Pengertian dan Contoh Soal Regresi Linier Sederhana

Regresi Linier Sederhana – Regresi digunakan untuk melihat bentuk hubungan antar variabel melalui suatu persamaan. Terdapat tiga jenis regresi yang digunakan sesuai dengan tujuan analisis yaitu Regresi Linier Sederhana, Regresi Linier Berganda, dan Regresi non Linear. Hubungannya bisa berupa hubungan sebab akibat selain itu juga dapat mengukur seberapa besar suatu variabel mempengaruhi variabel lain dan dapat digunakan untuk melakukan peramalan nilai suatu variabel berdasarkan variabel lain.

Pengertian Regresi Linier Sederhana

regresi linier sederhana by r-blogger.com

Regresi linier sederhana adalah suatu metode yang digunakan untuk melihat bentuk hubungan antar satu variabel independent (bebas) dan mempunyai hubungan garis lurus dengan variabel dependennya (terikat). Sebuah variabel hasil observasi yang diperoleh sangat mungkin dipengaruhi oleh variabel lainnya, misalkan tinggi badan dan berat badan seseorang. Untuk suatu tinggi tertentu ada besaran berat badan yang mempengaruhi, demikian juga sebaliknya. Contoh lain misalnya produksi padi yang dipengaruhi oleh luas lahan yang ditanami, jenis pupuk yang dipakai, banyaknya pupuk yang dipakai dll.

Namun kenyataanya hubungan antar variabel bebas dan variabel terikat jarang sekali sesederhana itu. Biasanya banyak faktor atau dalam hal ini kita sebut banyak variabel bebas yang menentukan atau dapat mempengaruhi variabel terikat. Untuk kasus demikian maka akan diselesaikan dengan Regresi linier Berganda.

Dalam artikel ini kita akan fokus membahas hubungan satu variabel bebas dengan satu variabel terikat.

Cara mendapatkan garis regresi

Terdapat beberapa cara yang dapat digunakan untuk menentukan garis regresi, yaitu;

Cara bebas (freehand methode)

Kelemahan : tidak ada metode baku yang dipercaya karena tiap orang bisa beda

Menghubungkan dua titik yang terendah dan tertinggi

Kelemahan : Persamaan regresi ini hanya menggunakan dua titik terendah dan tertinggi saja dan titik-titik yang lain tidak dihiraukan dan sangat berbahaya jika ada nilai ekstrim

Membagi data menjadi dua kelompok yang sama,kemudian masing-masing dicari rata-ratanya yaitu x₁ dan x₂

Kelebihan : Sudah mengikutkan semua titik karena dicari rata-ratanya, dan ini adalah cara terbaik daripada 2 cara diatas. Rata-ratanya dipengaruhi nilai ekstrim masing-masing baik nilai ekstrim rendah maupun nilai ekstrim tinggi,sehingga tidak menggambarkan regresi yang sebenarnya

Metode ini diperkenalkan oleh Gauss

$E=\hat{y}-y$

Dalam regresi linear sederhana hubungan variabel tersebut dapat dituliskan dalam bentuk model persamaan linear :

$\hat{y}=a+bx$

cara mencari nilai koefisien a pada regresi linier sederhanamaka didapat bahwa $a=\bar {y}-b\bar{x}$

Variabel Bebas dan Terikat Regresi Linier Sederhana (Dependent And Independent Variable)

Dependent Variable/Variabel Tak Bebas (Y): Variabel yang nilainya ditentukan oleh variabel lain. Diasumsikan bersifat random/stochastic
Independent Variable/Variabel Bebas (X): Variabel yang nilainya ditentukan secara bebas (variabel yang diduga mempengaruhi variabel tak bebas). Diasumsikan bersifat fixed/non stochastic.
Syarat : Y: Berjenis data kuantitatif X: Berjenis data kuantitatif atau kualitatif/kategorik

Konsep Dasar Regresi Linier Sederhana

Pada suatu nilai X tertentu akan terdapat banyak kemungkinan nilai-nilai Y (Y akan terdistribusi mengikuti suatu fungsi peluang tertentu Distribusi Normal) dengan Nilai rata-rata E(Y) dan Nilai varians σ² tertentu
Nilai rata-rata E(Y) diasumsikan berubah secara sistematik mengikuti perubahan nilai X, yang digambarkan dalam bentuk garis linier
Nilai varians σ² pada setiap nilai X akan sama

Prosedur Penting Dalam Regresi Linier Sederhana

Dalam prosedur regresi hal pertama yang harus dilakukan adalah melakukan identifikasi model dengan menggunakan Scatter plot (diagram pencar) yang berguna untuk mengidentifikasi model hubungan antara variabel X dan Y. Bila pencaran titik-titik pada plot ini menunjukkan adanya suatu kecenderungan (trend) yang linier, maka model regresi linier layak digunakan. Setelah itu dapat dilakukan estimasi terhadap parameter model.

Grafik diatas merupakan contoh identifikasi model yang dilakukan dengan variabel X adalah umur mobil dan variabel Y adalah harga mobil. Ternyata titik-titik (plotting data) tersebut terlihat mengelompok di sekitar garis lurus dan scatter plot tersebut, sebenarnya bisa ditarik beberapa garis yang dekat terhadap titik-titik tersebut.

Model Regresi Linear Sederhana

Y_i = β₀ + β₁X_i + ε_i (i = 1, 2, …, n)

dimana :

Y_i merupakan nilai dari variabel dependent pada observasi ke-i

β₀ dan β₁ merupakan parameter model

ε_i merupakan komponen error (pengaruh variabel bebas lain selain variabel X)

X_i adalah nilai variabel bebas X pada observasi ke-i

N adalah banyaknya data observasi (sampel)

[alert-announce]Note: β₀ dan β₁ disebut juga koefisien regresi, β₀ merupakan intercept dan β₁ merupakan slope (gradien garis) yang menyatakan perubahan nilai Y untuk setiap kenaikan satu satuan X.[/alert-announce]

Asumsi Regresi Linier Sederhana

Dalam aplikasinya terdapat beberapa asumsi yang harus terpenuhi untuk melakukan analisis regresi sederhana. Beberapa asumsi tersebut sebagai berikut :

Yi (Variabel Tak Bebas/Dependent Variable) merupakan random variable/bersifat stochastic
Xi (Variabel bebas/Independent Variable) bersifat fixed/non stochastic (bukan merupakan random variable)
E(ε_i) = 0
E(ε_i ε_j) = E(ε_i²) = σ² untuk i = j (Homoscedastic)
E(ε_i ε_j) = 0 untuk i ≠ j (Non autocorrelation)
εi merupakan random variable yang terdistribusi secara bebas dan indentik mengikuti distribusi normal dengan rata-rata 0 dan varian σ²

Metode estimasi yang digunakan pada regresi linier sederhana adalah Metode Kuadrat Terkecil (Least Square Method) dengan prinsip meminimalkan ∑ε_i²

sehingga estimasi parameternya :

$\widehat {\beta }_{1}=\frac {\sum \left( X_{1}-\overline {X}\right) \left( Y_{1}-\overline {Y}\right) }{\sum \left( X_{1}-\overline {X}\right) ^{2}}$

dan

$\widehat {\beta}_{0}=\overline{Y}-\widehat {\beta} _{1}X$

Estimasi untuk Y jika X diketahui :

$\widehat {Y}_{i}=\widehat {\beta }+\widehat{\beta} _{1}X_{i}$

Sifat-sifat Estimator Least Squares

Jika semua asumsi yang diberlakukan terhadap model regresi terpenuhi, maka menurut suatu teorema (Gauss Markov theorem) estimator tersebut akan bersifat BLUE (Best Linear Unbiased Estimator).
Best = Terbaik, mempunyai varian yang minimum
Linear = Linear dalam Variabel Random Y
Unbiased = Tak bias
Artinya estimator tersebut akan unbiased, linier dan mempunyai varian yang minimum diantara semua estimator unbiased & linier yang lain.

Cara Menghitung koefisien determinasi Regresi Linier Sederhana

Dalam regresi linier sederhana, koefisien determinasi (r²) diartikan sebagai ukuran kemampuan semua variabel bebas dalam menjelaskan varians terikat. Karena koefisien determinasi (r²) merupakan kuadrat dari koefisien korelasi (r) maka dapat rumus koefisien determinasi (r²) sama dengan rumus koefisien korelasi (r) yang dipangkatkan.

$r^2=[\frac{n \sum xy – \sum x \sum y}{\sqrt {n\sum x^2 -(\sum x)^2 . \sum y^2 -(\sum y)^2} }]^2$

Misalkan jika diperoleh nilai koefisien korelasi sebesar 0.92 maka koefisien determinasinya adalah 0.85 di dapat dari (0.92)². Artinya, kemampuan variabel bebas dalam menjelaskan varian-varian variabel terikatnya sebesar 85% atau masih terdapat sekitar 15% varias variabel terikat yang dijelaskan oleh faktor lain.

Langkah Membuat Regresi Linear Sederhana

Cari dulu apakah kedua variabel tersebut ada hubungan linear atau tidak
Tentukan terlebih dahulu variabel independent (x) dan variabel dependennya(y)
Membuat diagram pencar dari data x dan y
Dari diagram pencar tersebut akan diperoleh gambaran pola tebaran x dan y.apakah membentuk hubungan linear?jika ya,maka model regresinya adalah regresi linear sederhana,kalau tidak linear bias dicari regresinya
Menghitung a dan b
Menghitung $\hat{y}=a+bx$, dimana $\hat{y}=$ estimasi harga y jika x disubtitusikan kedalam persamaan regresi
Membuat garis $\hat{y}=a+bx$ pada sumbu x dan y

Istilah-istilah dalam Regresi Linier Sederhana

Koefisien Korelasi (r) adalah nilai yang menyatakan kuat atau tidaknya hubungan antara 2 variabel
Standar error koefisien regresi (E) adalah ukuran dari ketepatan koefisien regresi dalam memprediksi nilai populasinya.Standar error diukur berdasarkan akar kuadrat dari deviasi atau varians koefisien regresi sampel dengan koefisien regresi populasi
Koefisien determinasi regresi(r ²) adalah a. Nilai yang menunjukkan seberapa besar pengurangan variasi dalam Y (variabel dependent) saat satu atau lebih X (variabel independent) masuk kedalam model regresi. b. Besarnya sumbangan / andil dari variabel x terhadap variasi atau naik turunnya y

Konstanta (a) adalah perpotongan garis regresi dengan sumbu Y (nilai estimate jika x = 0)
Koefisien arah dari regresi linear (b) adalah nilai yang menunjukkan seberapa besar perubahan nilai Y (variabel dependen) saat X (variabel independent) bertambah satu-satuan

Contoh soal Regresi Linier Sederhana

Tabel diatas menyajikan data dengan variabel X adalah umur mobil dan variabel Y adalah harga. Hasil estimasinya adalah sebagai berikut :

sehingga persamaan regresinya menjadi

$\widehat {Y}=195.47-20.26X$

Dari hasil estimasi yang diperoleh dapat disimpulkan bahwa setiap umur mobil bertambah satu tahun maka harga mobil tersebut akan turun sebesar $2.026.