Regresi linier adalah metode statistika yang digunakan untuk membentuk model
hubungan antara variabel terikat (dependen; respon; Y) dengan satu atau lebih variabel bebas
(independen, prediktor, X). Apabila banyaknya variabel bebas hanya ada satu, disebut sebagai
regresi linier sederhana, sedangkan apabila terdapat lebih dari 1 variabel bebas, disebut sebagai
regresi linier berganda.
Analisis regresi setidak-tidaknya memiliki 3 kegunaan, yaitu untuk tujuan deskripsi dari
fenomena data atau kasus yang sedang diteliti, untuk tujuan kontrol, serta untuk tujuan prediksi.
Regresi mampu mendeskripsikan fenomena data melalui terbentuknya suatu model hubungan yang
bersifatnya numerik. Regresi juga dapat digunakan untuk melakukan pengendalian (kontrol)
terhadap suatu kasus atau hal-hal yang sedang diamati melalui penggunaan model regresi yang
diperoleh. Selain itu, model regresi juga dapat dimanfaatkan untuk melakukan prediksi untuk
variabel terikat. Namun yang perlu diingat, prediksi di dalam konsep regresi hanya boleh dilakukan
di dalam rentang data dari variabel-variabel bebas yang digunakan untuk membentuk model regresi
tersebut. Misal, suatu model regresi diperoleh dengan mempergunakan data variabel bebas yang
memiliki rentang antara 5 s.d. 25, maka prediksi hanya boleh dilakukan bila suatu nilai yang
digunakan sebagai input untuk variabel X berada di dalam rentang tersebut. Konsep ini disebut
sebagai interpolasi.
Data untuk variabel independen X pada regresi linier bisa merupakan data pengamatan yang
tidak ditetapkan sebelumnya oleh peneliti (obsevational data) maupun data yang telah ditetapkan
(dikontrol) oleh peneliti sebelumnya (experimental or fixed data). Perbedaannya adalah bahwa
dengan menggunakan fixed data, informasi yang diperoleh lebih kuat dalam menjelaskan
hubungan sebab akibat antara variabel X dan variabel Y. Sedangkan, pada observational data,
informasi yang diperoleh belum tentu merupakan hubungan sebab-akibat. Untuk fixed data, peneliti
sebelumnya telah memiliki beberapa nilai variabel X yang ingin diteliti. Sedangkan, pada
observational data, variabel X yang diamati bisa berapa saja, tergantung keadaan di lapangan.
Biasanya, fixed data diperoleh dari percobaan laboratorium, dan observational data diperoleh
dengan menggunakan kuesioner.
Di dalam suatu model regresi kita akan menemukan koefisien-koefisien. Koefisien pada
model regresi sebenarnya adalah nilai duga parameter di dalam model regresi untuk kondisi yang
sebenarnya (true condition), sama halnya dengan statistik mean (rata-rata) pada konsep statistika
dasar. Hanya saja, koefisien-koefisien untuk model regresi merupakan suatu nilai rata-rata yang
berpeluang terjadi pada variabel Y (variabel terikat) bila suatu nilai X (variabel bebas) diberikan.
Koefisien regresi dapat dibedakan menjadi 2 macam, yaitu:
1. Intersep (intercept)
Intersep, definisi secara metematis adalah suatu titik perpotongan antara suatu garis dengan
sumbu Y pada diagram/sumbu kartesius saat nilai X = 0. Sedangkan definisi secara statistika
adalah nilai rata-rata pada variabel Y apabila nilai pada variabel X bernilai 0. Dengan kata
lain, apabila X tidak memberikan kontribusi, maka secara rata-rata, variabel Y akan bernilai
sebesar intersep. Perlu diingat, intersep hanyalah suatu konstanta yang memungkinkan
munculnya koefisien lain di dalam model regresi. Intersep tidak selalu dapat atau perlu
untuk diinterpretasikan. Apabila data pengamatan pada variabel X tidak mencakup nilai 0
atau mendekati 0, maka intersep tidak memiliki makna yang berarti, sehingga tidak perlu
diinterpretasikan.
Secara matematis, slope merupakan ukuran kemiringan dari suatu garis. Slope adalah
koefisien regresi untuk variabel X (variabel bebas). Dalam konsep statistika, slope
merupakan suatu nilai yang menunjukkan seberapa besar kontribusi (sumbangan) yang
diberikan suatu variabel X terhadap variabel Y. Nilai slope dapat pula diartikan sebagai ratarata
pertambahan (atau pengurangan) yang terjadi pada variabel Y untuk setiap peningkatan
satu satuan variabel X.
Contoh model regresi:
Y = 9.4 + 0.7*X + 
Angka 9.4 merupakan intersep, 0.7 merupakan slope, sedangkan  merupakan error.
Error bukanlah berarti sesuatu yang rusak, hancur atau kacau. Pengertian error di dalam konsep
statistika berbeda dengan pengertian error yang selama ini dipakai di dalam kehidupan sehari-hari.
Di dalam konsep regresi linier, error adalah semua hal yang mungkin mempengaruhi variabel
terikat Y, yang tidak diamati oleh peneliti.
Uji Asumsi Klasik Regresi Linier
Koefisien-koefisien regresi linier sebenarnya adalah nilai duga dari parameter model regresi.
Parameter merupakan keadaan sesungguhnya untuk kasus yang kita amati. Parameter regresi
diduga melalui teknik perhitungan yang disebut Ordinary Least Square (OLS). Tentu saja, yang
namanya menduga, kita tidak mungkin terlepas dari kesalahan, baik itu sedikit maupun banyak.
Namun dengan OLS, kesalahan pendugaan dijamin yang terkecil (dan merupakan yang terbaik) asal
memenuhi beberapa asumsi. Asumsi-asumsi tersebut biasanya disebut asumsi klasik regresi linier.
Untuk mengetahui apakah koefisien regresi yang kita dapatkan telah sahih (benar; dapat diterima),
maka kita perlu melakukan pengujian terhadap kemungkinan adanya pelanggaran asumsi klasik
tersebut.
Secara manual, dalam melakukan uji asumsi klasik regresi linier, kita harus terlebih dahulu
mendapatkan data residual. Perlu kita ingat, pengujian asumsi klasik menggunakan data residual,
bukan data pengamatan, kecuali uji asumsi multikolinieritas. Dengan kata lain, penerapan pengujian
asumsi klasik regresi linier dilakukan terhadap data residual, kecuali untuk uji asumsi
multikolinieritas. Memang, untuk memunculkan hasil uji asumsi klasik regresi linier, pengguna
paket software statistika pada umunya tidak diminta untuk memasukkan data residual. Hal ini
disebabkan karena pada umumnya software statistika secara otomatis melakukan uji asumsi klasik
tanpa terlebih dahulu meminta pengguna software memasukkan data residual. Menurut penulis, hal
inilah yang membuat sebagian orang tidak menyadari bahwa sebenarnya saat melakukan uji asumsi
klasik, software statistika terlebih dahulu mendapatkan data residual dan baru kemudian melakukan
perhitungan uji asumsi klasik regresi linier.
Asumsi klasik regresi linier adalah sebagai berikut:
1. Model dispesifikasikan dengan benar
Asumsi ini adalah asumsi pertama yang harus dipenuhi oleh peneliti. Maksud dari “model
dispesifikasikan dengan benar” adalah bahwa model regresi tersebut dirancang dengan benar oleh
peneliti. Khusus untuk asumsi ini memang tidak ada uji statistikanya. Hal ini disebabkan karena
model regresi yang dirancang berhubungan dengan konsep teoritis dari kasus yang sedang diteliti.
2. Error menyebar normal dengan rata-rata nol dan suatu ragam (variance) tertentu.
Penulisan matematis dari asumsi kedua ini adalah:
 ~ N 0,2
 merupakan lambang untuk error. Sedangkan ~ adalah lambang matematis untuk kalimat
“menyebar mengikuti distribusi” dan notasi N 0,2 menyatakan distribusi/sebaran normal
dengan rata-rata nol dan ragam 2 . Statistik uji yang paling sering digunakan untuk menguji
asumsi kenormalan error dengan menggunakan data residual adalah Kolmogorov-Smirnov
normality test. Kolmogorov-Smirnov test bekerja dengan cara membandingkan 2 buah
distribusi/sebaran data, yaitu distribusi yang dihipotesiskan dan distribusi yang teramati. Distribusi
yang dihipotesiskan dalam kasus ini adalah distribusi normal. Sedangkan distribusi yang teramati
adalah distribusi yang dimiliki oleh data yang sedang kita uji. Apabila distribusi yang teramati mirip
dengan distribusi yang dihipotesiskan (distribusi normal), maka kita bisa menyimpulkan bahwa data
yang kita amati memiliki distribusi/sebaran normal.
Hipotesis dalam uji normalitas adalah:
H0 : Data menyebar normal
H1 : Data tidak menyebar normal.
Selain dengan statistik uji, pemeriksaan kenormalan residual dapat pula dilakukan dengan
QQ-Plot.
Ciri-ciri dari data yang menyebar normal bila diplotkan dengan QQ-Plot adalah bahwa titik-titik
data tersebut tersebar di sekitar garis lurus. Pembaca sebaiknya tidak perlu terkejut bila suatu saat
menemukan bahwa ujung-ujung dari titik-titik data tersebut agak menjauh dari garis lurus. Hal ini
adalah hal yang wajar dan tidak perlu dianggap serius. Fokus perhatian kita sebenarnya adalah pada
daerah tengah dari kumpulan titik data tersebut. Bila dapat didekati atau digambarkan dengan garis
lurus, maka data tersebut dapat dikatakan menyebar normal.
3. Ragam dari error bersifat homogen (homoskedastic).
Maksud dari ragam bersifat homogen adalah bahwa error memiliki nilai ragam yang sama
antara error ke-i dan error ke-j. Secara matematis ditulis i
2=j
2=
2 dimana i, j = 1, ...., n; dan
n = banyaknya pengamatan. Bagaimanapun juga, error sebenarnya berupa data. Hanya saja, sangat
sulit atau bahkan tidak mungkin untuk mengetahui nilainya secara pasti. Oleh karena itu, diperlukan
suatu penduga dari data error. Data penduga yang paling tepat adalah data residual. Setiap nilai dari
data residual diharapkan memiliki nilai ragam yang mirip. Apabila error memiliki ragam yang
homogen, demikian juga seharusnya dengan residualnya.