Sesat Pikir Quick Count oleh Prof Khairil Anwar Notodiputro

http://www.republika.co.id/berita/koran/opini-koran/14/07/14/n8or8849-sesat-pikir-quick-count

Sesat Pikir Quick Count

Senin, 14 Juli 2014, 12:00 WIB

Pemilihan presiden (pilpres) telah usai dilaksanakan dengan menyisakan permasalahan terhadap kepastian pemenang. Penyebab dasarnya adalah adanya hasil quick count (QC) yang berbeda di antara lembaga survei. Pertanyaannya, mahluk apakah QC tersebut? Bagaimana kita harus memahami QC agar tidak terjadi sesat pikir? Peristiwa pilpres ini adalah momentum penting dalam mengubah wajah Indonesia.

Kontroversi yang timbul dari perbedaan hasil QC jika dibiarkan dapat memicu konflik horizontal yang merugikan masyarakat luas. Menyikapi kondisi tersebut maka Kelompok Peneliti Survey Research Methodology, Departemen Statistika IPB, menyatakan keprihatinan dan berharap agar semua pihak dapat menahan diri. Diharapkan agar masyarakat dapat menyikapi perbedaan hasil QC dengan beberapa perspektif berikut ini.

Pertama, QC berada pada ranah ilmiah, sehingga pelaksanaannya harus mengedepankan nilai-nilai etika, integritas, objektivitas, dan kebenaran. QC bertujuan untuk menduga persentase perolehan suara dalam pemilihan umum (pileg/pilpres/pilkada). Hasil dugaannya bisa berbeda-beda antar-survei, serta kecil kemungkinannya untuk tepat sama dengan hasil perhitungan KPU. QC dengan hasil selisih perolehan suara yang lebih kecil atau sama dengan dua kali sembir galat (margin of error) tidak akan mampu membedakan antara pihak yang menang dan yang kalah.

Kedua, QC merupakan bentuk khusus dari survei (sample survey) dengan tujuan untuk menduga (to estimate) parameter populasi, yaitu persentase perolehan suara secara keseluruhan. Parameter itu belum diketahui sampai saatnya nanti diumumkan oleh KPU. Ketiga, karena QC itu merupakan survei, maka agar hasil QC itu bisa dipercaya harus memenuhi dua prinsip utama, yaitu contoh (sample) harus representatif  dan jumlahnya cukup.

Keempat, hasil dari QC merupakan dugaan terhadap perolehan suara yang sesungguhnya (true value) dari peserta pemilu. Karena hasil QC adalah dugaan, maka sudah pasti ada kesalahan di dalamnya, yang disebut sebagai galat (error), sehingga kecil kemungkinan hasil QC akan tepat sama dengan hasil penghitungan KPU. Kelima, sebagai suatu survei, maka QC tunduk pada sifat-sifat survei yaitu mengandung galat percontohan (sampling error) dan galat bukan percontohan (non-sampling error); semakin besar ukuran contoh, semakin kecil galat percontohannya; hasil dari satu survei ke survei yang lain hampir pasti berbeda; berpotensi mengandung bias jika salah merancang pengambilan contohnya dan jika terdapat banyak TPS yang tidak berhasil dikumpulkan datanya.

Keenam, QC memiliki "dadu bersisi tiga" yang masing masing sisinya mencerminkan ukuran contoh, tingkat kepercayaan, dan sembir galat. Ketiga sisi ini tidak dapat dipisahkan satu dengan lainnya.  Jika ukuran contoh membesar, maka tingkat kepercayaan kita terhadap hasil QC meningkat karena sembir galatnya mengecil.

Ketujuh, apabila selisih perolehan suara dari suatu QC lebih kecil atau sama dengan dua kali sembir galat, maka hasil dari QC itu tidak akan mampu membedakan mana yang menang dan mana yang kalah, atau bersifat inkonklusif. Hasil yang inkonklusif ini tidak dapat dijadikan dasar untuk mengatakan bahwa QC tersebut salah. Kesembilan, QC jika dirancang dengan baik dan dilaksanakan dengan benar akan memberikan hasil yang memuaskan dalam arti ketepatannya dan ketelitiannya dapat diukur.

Lalu bagaimana cara menyikapi perbedaan hasil QC oleh beberapa lembaga survei yang menghebohkan itu? Pilpres yang telah berjalan dengan lancar dan aman seharusnya tidak dicederai oleh perbedaan hasil QC karena berpotensi merusak wajah demokrasi yang sedang dibangun oleh bangsa ini.  Karena itu sikap-sikap berikut penting dikedepankan oleh kita semua.

Pertama, kredibilitas dari suatu survei tidak dapat dihakimi hanya dari hasilnya, melainkan harus dinilai dari perencanaan, implementasi, sampai ke hasilnya. Kedua, penting dan mendesak untuk dilakukan audit terhadap seluruh penyelenggara QC yang mencakup sampling design, proses pengumpulan data, manajemen data, analisis dan penarikan kesimpulan, serta kualifikasi SDM dan ketersediaan perangkat pendukung untuk dapat melaksanakan QC dengan benar.

Ketiga, sebaiknya kita semua bersabar menunggu hasil KPU yang akan diumumkan tanggal 22 Juli yang akan datang. Bagi relawan dan pihak-pihak yang berada di kedua belah pihak penting untuk mengawal proses penghitungan oleh KPU untuk meminimalkan terjadinya kesalahan penghitungan suara. Keempat, jika masih terjadi silang sengkarut pascapenghitungan langsung oleh KPU, maka sebaiknya ditempuh jalur hukum melalui Mahkamah Konstitusi.

Dalam menyikapi hasil QC, kita perlu mengedepankan cara berpikir induktif-probabilistik, bukan cara berpikir deduktif-deterministik. Pola pikir induktif-probabilistik dalam QC adalah bahwa dengan mengamati sebagian hasil TPS, kita ingin menduga hasil dari keseluruhan TPS yang dilakukan secara cacah lengkap oleh KPU.

Sesat pikir QC dapat terjadi karena hasil QC dipahami sebagai hasil final layaknya hasil KPU. Seharusnya QC dipandang sebagai patokan saja, dan untuk keputusan akhirnya harus didasarkan pada cacah lengkap. Ini tidak berarti bahwa kita meragukan kebenaran dan nilai penting dari teori percontohan melainkan karena kita sedang mengambil keputusan yang penting dan krusial. Kesalahan memutuskan pemenang pilpres bisa berimplikasi luas dan kompleks.

Memang tidak mudah ketika survei dilaksanakan berbarengan dengan kepentingan politik. Karena kepentingan bisa jadi mengalahkan kebenaran. Mudah-mudahan pilpres yang berlangsung di saat bulan Ramadhan bukan sebuah kebetulan, tetapi ini pertanda dari Tuhan Yang Maha Kuasa bahwa kejujuran dan integritas serta ketakwaan yang tinggi menjadi landasan berpikir, berpijak, dan bersikap dari semua pihak untuk menghasilkan pemimpin yang adil dan amanah sehingga mampu membawa Indonesia ke gerbang baldatun thayyibatun wa Rabbul ghofuur.

Khairil Anwar Notodiputro
Guru Besar Statistika IPB, Ketua Kelompok Peneliti Survey Research Methodology

Quick Count Pilpres 2014

Ribut-ribut tentang Quick Count pada pemilihan Pilpres, ini pendpat saya "QC itu salah satu bagian dr survey, karena itu maka harus ambil sample. Dalam pengambilan sample ini pasti ada errornya. Banyak orang yg lupa bahwa error dalam pengambilan sample itu ada dua, Sampling Error dan Non Sampling Error. Meskipun hasil suatu LS sampling methods nya bagus dengan margin of error yang kecil, tp ternyata non sampling errornya besar, ya tentu hasinya nggk valid.. Non sampling error ini biasanya adalah human error dari pewawancara atau yg lebih bahaya adalah integritas dan kredibilitas dari LS nya..Sy sebagai org yg pernah 4 th kuliah statistik sngat yakin akan keampuhan QC, tentunya jika semua dilakukan dengan baik dan benar..Menghilangkan kepercayaan pada semua LS bukan hal yg bijak, ingat saat ukur kolesterolpun dengan cek darah, kita sudah lakukan sampling..tapi apapun, agar semua tenang, baiknya tunggu pengumuman KPU sj, sekaligus pembuktian mana LS yang hanya abal-abal..sekian, terima kasih"

Sampling Methods and Margin Of Error

MARGIN OF ERROR & SAMPLING METHODS

Oleh : Imam Mukhlis Affandi

“Survey SMRC : Jokowi Capres tak banyak naikkan elektabilitas PDIP; SMRC melakukan survey di 33 Provinsi dari tanggal 26 Maret – 29 Maret 2014. Survey dilakukan dengan teknik wawancara kepada 2.050 responden. Survey ini menggunakan margin of error sebesar 2,2% dengan tingkat kepercayaan sebesar 95%” (www.liputan6.com/tag/survei)

“Survey Charta Politika : Demokrat urutan 4 Pileg 2014; Charta Politika Indonesia melakukan survey opini publik ini secara nasional pada tanggal 1-8 Maret 2014 melalui wawancara tatap muka. Populasi survey adalah WNI berusia 17 tahun keatas dengan jumlah sampel sebanyak 1.200 responden. Margin of error survey ini adalah 2,83% pada tingkat kepercayaan 95%” (www.liputan6.com/tag/survei).

“Roy Morgan Research : Apapun isunya, Jokowi tak terguncangkan; Survey dilaksanakan selama 1 bulan pada Januari 2014 di 33 Provinsi. Sampel diambil dari 3.000 responden dengan menggunakan teknik random sampling. Dengan tingkat kepercayaan sebesar 95% dan margin of error sebesar 1,8%” (www.liputan6.com/tag/survei).

Tahun 2014 ini merupakan tahun politik bagi bangsa Indonesia. Pada tahun ini terdapat dua event besar yang sangat menentukan masa depan bangsa ini yaitu pemilihan anggota legislatif pada bulan april dan pemilihan presiden pada bulan oktober. Akhir-akhir ini berbagai lembaga survey bak sedang berlomba merilis hasil risetnya jelang dua event besar tersebut. Hampir setiap hari ada saja lembaga survey yang melakukan publikasi yang hasilnya pun berbeda-beda sebagaimana contoh hasil survey diatas. Hal ini tak jarang membuat calon pemilih menjadi galau atau bahkan kadang menimbulkan perbedaan pendapat yang cukup tajam. Dalam menyikapi hasil suatu survey kita harus dapat bersikap cerdas dan dapat memilah mana survey yang benar dan mana survey yang abal-abal serta cenderung tendensius. Dari tiga contoh survey diatas, terdapat beberapa hal yang selalu diungkap ke publik untuk menegaskan validitas hasil survey yaitu margin of error, jumlah sampel responden (sampling size) dan bagaimana metode untuk mendapatkan sampel (sampling methods). Tulisan ini akan mencoba memberikan gambaran secara sederhana mengenai komponen-komponen survey tersebut.

Survey adalah suatu metode sistematis dalam pengumpulan data statistik dengan menggunakan sampel. Sampel dapat dikatakan cuplikan atau perwakilan dari populasi dimana kita akan mendapatkan informasi. Ada beberapa alasan mengapa kita perlu mengambil sampel yaitu : (i) keterbatasan waktu, tenaga dan biaya, (ii) lebih cepat dan lebih mudah, (iii) memberi informasi yang lebih banyak dan dalam, serta (iv) dapat ditangani lebih teliti. Bahkan kadang dalam beberapa kondisi, pengambilan sampel merupakan satu-satunya jalan yang harus dipilih karena tidak mungkin untuk mempelajari seluruh populasi, misalnya untuk meneliti air sungai, mencicipi rasa makanan didapur, serta  mencicipi duku yang hendak dibeli. Sementara itu, populasi adalah keseluruhan objek yang akan/ingin diteliti. Populasi bisa berupa orang, benda, obyek, peristiwa, ataupun yang menjadi obyek dari survey kita. Dalam survey opini publik, sangat penting mengetahui secara jelas terlebih dahulu siapa populasi kita. Kesalahan menentukan populasi, akan berdampak pada kesalahan pada sampel yang dihasilkan. Sebagus apapun teknik penarikan sampel yang kita pakai, hasilnya akan bias kalau sejak awal kita salah dalam menentukan populasi.

Sampling Error dan Non Sampling Error

Dalam survey opini publik yang melibatkan sejumlah sampel, terdapat 2 kesalahan (error) yang mungkin terjadi, yaitu :

(1)  Kesalahan yang muncul dari pengambilan sampel (sampling error).

Kesalahan yang muncul akibat pengambilan sampel tidak bisa dihindari dalam setiap pengukuran pendapat publik atau jajak pendapat. Oleh karena itu peneliti harus menetapkan sampling error tertentu yang muncul dari kesalahan dalam pengambilan sampel. Penentuan sampling error lazim dikenal dengan margin of error. Penetapan margin of error akan berimplikasi pada jumlah sampel yang diambil dalam mewakili populasi pemilih di sebuah Kabupaten/Kota atau Propinsi.

(2)  Kesalahan yang muncul dari kegiatan diluar pengambilan sampel (non sampling error).

Kegiatan diluar pengambilan sampel contohnya adalah kegiatan wawancara, kemampuan pewawancara maupun kegiatan-kegiatan lain yang menyebabkan survey menjadi tidak objektif. Disini integritas dan kredibilitas lembaga survey sangatlah berperan. Kesalahan non sampling error ini apabila terjadi dalam jumlah yang besar dapat menyebabkan hasil survey yang diperoleh menjadi tidak akurat meskipun mempunyai margin of error yang kecil. Kesalahan non sampling error banyak disebabkan oleh human error dalam hal ini adalah pewawancara sebagai ujung tombak survey serta lemahnya integritas dan kredibilitas dari lembaga survey.

Margin of Error

Margin of error merepresentasikan jumlah kesalahan dalam pengambilan sampel pada suatu survey. Margin of error mengukur seberapa mewakili data yang didapat dari sampel dengan data yang ada pada populasi sesungguhnya. Makin besar margin of error, makin jauh suatu sampel dapat dikatakan mewakili populasi sesungguhnya. Makin kecil margin of error, makin dapat dikatakan data pada sampel telah mewakili data populasi sesungguhnya. Margin of error muncul karena dalam prakteknya sampel tidak selalu dapat menjelaskan populasi dengan sempurna. Seberapa baik suatu sampel mewakili populasi dapat dilihat dari dua hal, yaitu margin of error dan tingkat kepercayaan. Dari kedua aspek tersebut dapat diketahui bagaimana kita memilih sampel yang bagus yang benar-benar mewakili populasi.

Secara umum, perhitungan untuk menentukan margin of error adalah sebagaimana rumus berikut :

Margin of Error (MoE)=z x  s/√n

dimana : s = simpangan baku (biasanya dianggap 0.5)

 z = nilai z untuk tingkat kepercayaan tertentu yaitu untuk 95% adalah 1,96 dan untuk 99% adalah 2,58.

n = ukuran sampel

              contoh : sebagaimana pada survey SMRC diatas, diketahui bahwa sampel yang akan diambil adalah sebanyak 2050 responden dengan tingkat kepercayaan 95%, maka margin of errornya adalah 1,96 x (0,5/√2050) = 0,0216 = 2,2%.

 Catatan :

·      Apabila kita ingin mengetahui berapa jumlah sampel yang harus diperoleh dengan margin of error yang diinginkan, maka secara matematis persamaan diatas dapat dibalik.

·      Persamaan di atas merupakan margin of error standar, artinya persamaan tersebut dipakai apabila ukuran populasi sangat besar sebagaimana survey opini publik akhir-akhir ini tentang pemilu maupun calon presiden. Apabila melibatkan populasi yang kecil, maka persamaan di atas harus dikalikan dengan finite population correction (FPC) atau koreksi populasi terbatas. Sehingga rumus persamaannya menjadi : 

 Margin of Error (MoE)=z x  s/√n  x  (N-n)/(N-1)

dimana : FPC = (N - n ) / (N - 1)

               N = ukuran populasi

               n  = ukuran sampel

·      Pengukuran margin of error hanya bisa dilakukan jika metode pengambilan sampelnya (sampling methods) menggunakan probability sampling.

Dari rumus persamaan diatas, maka dapat diambil kesimpulan bahwa terdapat dua hal yang mempengaruhi margin of error yaitu ukuran sampel, dan metode pengambilan sampel.

1)     Ukuran Sampel (Sample Size)

Hubungan antara ukuran sampel dengan margin of error dapat dijelaskan dengan gambar dan tabel dibawah ini. Dengan diasumsikan data menggunakan tingkat kepercayan 95%, menunjukkan bahwa semakin kecil ukuran sampel yang diambil dari populasi, maka semakin besar margin of error, sehingga semakin jauh data sampel dengan data populasi sesungguhnya. Sebaliknya, semakin besar ukuran sampel yang diambil, semakin kecil margin of error, informasi yang didapat dari data sampel akan semakin mewakili data yang ada pada populasi.

Sampel	Besar sampel	Margin of error
A	2000	2%
B	1000	3%
C	500	4%
D	100	10%

 

2)     Metode Pengambilan Sampel (Sampling Methods)

Metode pengambilan sampel dibagi atas 2 kelompok besar, yaitu probability sampling dan non probability sampling. Pemilihan metode apa yang akan digunakan didalam survey kita tergantung dari tujuan survey itu sendiri, apakah survey akan dipakai sebagai alat untuk melakukan generalisasi (membuat estimasi dari suatu populasi pemilih) atau tidak.  Sampel dengan tujuan generalisasi haruslah representative (mewakili populasi).  Sementara sampel yang tidak dipakai dengan tujuan generalisasi tidak memerlukan syarat harus mewakili populasi. Dalam survey opini publik terutama survey untuk pemilu, pemilihan presiden maupun pemilukada, sampel harus memenuhi tujuan generalisasi. Oleh karena itu metode pengambilan contoh yang tepat adalah dengan probability sampling. 

Probability Sampling

Mayoritas survey opini publik termasuk survey elektabilitas partai maupun calon presiden mempergunakan menggunakan metode probability sampling.  Hasil dari survey dipakai untuk mengestimasi suara dari masyarakat (populasi). Supaya sampel bisa dipakai untuk tujuan itu maka harus memenuhi prinsip probabilitas. Faktor pemilihan atau penunjukan sampel yang mana akan diambil, yang semata-mata atas pertimbangan peneliti, disini dihindarkan. Bila tidak, akan terjadi bias. Sampel diambil berdasarkan asas keacakan (randomness), artinya setiap elemen atau unsur dalam populasi memiliki peluang yang sama untuk terpilih sebagai sampel. Dengan cara random, bias pemilihan dapat diperkecil sehingga mendapatkan sampel yang representatif. Keuntungan pengambilan sampel menggunakan probability sampling adalah (i) derajat/selang kepercayaan terhadap sampel dapat ditentukan, (ii) margin of error antara ukuran sampel dengan populasi dapat diperkirakan, serta (iii) besar sampel yang akan diambil dapat dihitung secara statistik.

Beberapa jenis metode pengambilan sampel dengan pendekatan probabilitas adalah :

a)  Sampel Acak Sederhana (Simple Random Sampling)

Proses pengambilan sampel dilakukan dengan memberi kesempatan yang sama pada setiap  anggota populasi untuk menjadi anggota sampel. Jadi disini proses memilih sejumlah sampel n dari populasi N yang dilakukan secara random. Biasanya ada dua cara random yang dapat dilakukan, yaitu dengan mengundinya maupun dengan menggunakan bilangan “random numbers”.

b)  Sampel Acak Sistematis (Systematic Random Sampling)

Pengambilan diawali dengan pengurutan data menurut aturan tertentu. Kemudian dilakukan pemilihan data pertama secara acak, dilanjutkan dengan memilih data lain pada urutan “k” setelah data pertama. Misalnya, setiap pasien yang ke tiga yang berobat ke suatu Rumah Sakit, diambil sebagai sampel (pasien No. 3,6,9,15) dan seterusnya.

c)  Sampel Acak Stratifikasi (Stratified Random Sampling)

Populasi dibagi strata-strata, (sub populasi) dimana dalam setiap strata kondisinya homogen, kemudian pengambilan sampel dilakukan dalam setiap strata baik secara simple random sampling, maupun secara systematic random sampling. Metode pengambilan sampel ini sangat berguna bila pengambilan sampel tidak secara khusus berurusan dengan jumlah populasi, melainkan berurusan dengan perbedaan suatu aspek antara masing-masing strata. Sebagai contoh, bila kita ingin mengetahui minat masyarakat terhadap suatu film, maka diambil metode pengambilan sampel berstrata, yaitu dengan mengambil sampel laki-laki dan perempuan, anak sekolah, mahasiswa, pekerja kantoran, dan lain-lain dengan jumlah yang sama. Hasil yang didapat bila sampel hanya terdiri dari anak sekolah seluruhnya tidak akan valid, karena sangat jarang seorang pekerja kantoran memiliki selera film yang sama dengan seorang anak SMP.

d)  Sampling Acak Klaster (Cluster Random Sampling)

Pengambilan sampel dilakukan terhadap sampling unit, dimana sampling unitnya terdiri dari satu kelompok (cluster). Tiap individu di dalam kelompok yang terpilih akan diambil sebagai sampel. Cara ini dipakai apabila populasi dapat dibagi dalam kelompok-kelompok dan setiap karakteristik yang dipelajari ada dalam setiap kelompok (heterogen). Misalnya ingin meneliti gambaran karakteristik (umur, suku, pendidikan dan pekerjaan) orang tua mahasiswa, maka mahasiswa dibagi dalam 6 tingkat (I s/d VI). Pilih secara random salah satu tingkat (misal tingkat II). Maka orang tua semua mahasiswa yang berada pada tingkat II diambil sebagai sampel.

e)  Sampling Acak Bertahap (Multistage Random Sampling)

Metode multistage random sampling adalah metode pengambilan sampel yang banyak dipakai dalam survey opini publik termasuk dalam survey pemilu maupun calon presiden.  Banyak lembaga survey mempergunakan metode ini dalam pengambilan survey atau riset opini publik dan survey atau riset pemilukada.

Metode pengambilan sampel acak bertingkat (Multistage Random Sampling) adalah pengembangan dari acak klaster.  Pada sampel acak klaster, kita pertama kali tidak melakukan acak atas individu, tetapi kelompok dimana individu berada.  Dari kelompok itu kemudian individu anggota kelompok terpilih diambil.  Pada acak klaster, tahapan dalam penarikan sampel hanya dua, pertama menarik kelompok dimana individu berada.  Kedua, menarik anggota individu dalam kelompok sebagai sampel.  Pada acak bertingkat, kelompok sangat besar.  Karena besar, maka kelompok itu haruslah dipecah lagi ke dalam beberapa kelompok, baru individu diambil.  Oleh karena itu metode ini disebut sampel acak bertingkat.

Misalnya : Kita akan melakukan survey pemilukada untuk Kabupaten S, maka tahapan-tahapan dalam penentuan sampel acak bertingkat adalah sebagai berikut:

·      Membagi pemilih pada masing-masing Kecamatan di wilayah Kabupaten S. Jumlah sampel pada masing-masing kecamatan proporsional dengan jumlah pemilih yang ada pada masing-masing kecamatan.

·      Menetapkan Primary Sampling Unit (PSU) dalam hal ini kelurahan/desa yang ada di Kabupaten S. Jumlah PSU atau desa/kelurahan yang diambil pada masing-masing kecamatan tergantung jumlah sampel yang diambil pada masing-masing kecamatan di wilayah Kabupaten S. Desa atau kelurahan terpilih diambil secara acak dari seluruh desa/kelurahan dalam kecamatan dimana setiap desa/kelurahan mempunyai kesempatan yang sama untuk terpilih.

·      Menetapkan Secondary Sampling Unit (SSU) dalam hal ini Rukun Tetangga (RT) terpilih pada kelurahan terpilih di wilayah Kabupaten S. Jumlah RT terpilih berdasarkan jumlah sampel pada masing-masing kelurahan/desa. RT terpilih harus terambil secara acak dari seluruh RT pada kelurahan terpilih, dimana setiap RT mempunyai kesempatan yang sama untuk terpilih

·      Menetapkan Final Sampling Unit (FSU) yaitu rumah tangga terpilih.  Metode yang dipakai dalam penentuan rumah tangga bisa menggunakan teknik acak sederhana (simple random sampling) atau sampling acak sistematis (systematic random sampling) berdasarkan data rumah tangga yang diperoleh dari Ketua RT.

·      Menetapkan responden terpilih pada rumah tangga terpilih dengan menggunakan metode kishgrid, dimana setiap responden yang memiliki hak pilih pada rumah tangga terpilih memiliki kesempatan yang sama untuk terpilih.

·      Membagi sampel berdasarkan kuota pemilih di Kabupaten S (stratified random sampling) berdasarkan : gender, usia, strata pendidikan, urban/rural

Kesimpulan

Dari penjelasan diatas, maka dari berbagai survey pemilu dan pilpres yang akhir-akhir ini semakin sering dipublikasikan, kita sudah bisa tahu bahwa semakin banyak jumlah responden survey tersebut, maka semakin kecil margin of error nya. Semakin kecil margin of error, semakin dapat dikatakan data pada sampel telah mewakili data populasi sesungguhnya. Namun demikian, margin of error yang kecil juga tidak menjamin suatu survey akurat atau tidak. Ada faktor-faktor lain yang harus secara lebih detail dipelajari dari survey tersebut, yaitu :

·   Metode sampling yang digunakan. Margin of error hanya bisa dihitung apabila metode sampling yang digunakan dalam survey adalah probability sampling. Probability sampling digunakan mengingat survey opini publik menggunakan hasil dari survey untuk mengestimasi suara dari masyarakat (populasi). Agar hasil estimasi tersebut tidak bias, sampel yang dipilih harus memenuhi prinsip probabilitas yang artinya setiap elemen atau unsur dalam populasi memiliki peluang yang sama untuk terpilih sebagai sampel. Oleh karena itu seharusnya dalam rilis publikasi hasil survey yang dilakukan oleh lembaga-lembaga survey juga menjelaskan apa metode sampling yang digunakan beserta bagaimana penerapan metode tersebut. 

•    Kesalahan dalam survey opini publik bukan hanya berasal dari sampling error, namun juga dari non sampling error. Metode multistage random sampling yang sering digunakan dalam survey opini publik menuntut adanya pemahaman pewawancara terhadap materi pertanyaan, prosedur penetapan sampel maupun kemampuan pewawancara dalam proses wawancara dengan pemilih (face to face interview). Oleh karena itu, pewawancara yang ada harus terlebih dahulu dilatih dan  kemudian merekrut supervisor yang berperan melakukan quality control dan validasi terhadap hasil survey yang dilakukan oleh pewawancara. Selain pewawancara, non sampling error juga sangat dipengaruhi oleh integritas dan kredibilitas lembaga survey. Lembaga survey idealnya tidak memiliki interest yang di survey sehingga tidak ada permainan manipulasi data yang disengaja karena sesungguhnya data itu sakral.