Jika anda menemukan sebuah survei, maka ada beberapa teknik untuk melakukan validasi terhadapnya. Dengan melakukan validasi, maka kita bisa menilai sejauh mana keakuratan, kebenaran dan kejujuran sebuah survei.
Pertama yaitu melakukan validasi dokumen. Survei yang dilengkapi dengan dokumen yang lengkap tentu lebih bisa dipercaya dibandingkan dengan potongan atau hasil krop dari dokumen. Survei dengan dokumen akan bisa divalidasi lebih lanjut, sedangkan potongan dokumen, tidak akan bisa di validasi lebih lanjut, seperti validasi populasi, validasi metodologi dan validasi sampel.
Kedua yaitu melakukan validasi populasi. Semakin dekat sebuah penelitian dengan konsep populasi yang sebenarnya maka semakin bagus penelitian tersebut. Misalnya jika penelitian kita terkait dengan penelitian Pemilu, maka populasinya yaitu daftar pemilih tetap yang dikeluarkan oleh KPU. Jadi kalau kita menarik sampel dari populasi yang semakin dekat maka semakin bagus. Misalnya ada yang mengambil sampel dari DPT, ada yang mengambil sampel dari DPS, Ada juga yang langsung mengambil sampel dari penduduk. Semuanya bisa dibenarkan asalkan teknik nya tetap menggunakan teknik yang random.
Ketiga yaitu melakukan validasi metodologi. Secara umum hampir semua lembaga survei menggunakan pendekatan proporsionalitas atas populasi di setiap strata nya. Adapun pengambilan sampel di tahapan terakhir menggunakan cara random.
Tapi berdasarkan beberapa laporan dari peneliti dari lembaga yang berbeda, ada yang menggunakan random secara penuh dari keseluruhan populasi di desa atau dusun tersebut, dengan mendata seluruh penduduk (rumah) di dusun sampel. Ada juga lembaga peneliti yang mengambil dari random secara terbatas dari sebagian populasi di desa atau dusun tersebut, misalnya dengan meminta 50 atau 60 Rumah dari dusun tersebut, baru di random secara acak. Ada juga yang menggunakan titik acuan misalnya titik acuannya adalah masjid atau kantor desa, selanjutnya dari titik acuan, enemurator secara acak sistematis mencari pemilih atau penduduk yang hendak diwawancarai.
Persoalan lain yang terkadang dihadapi, Walaupun secara metodologis sudah benar, secara konsep sudah benar, terkadang peneliti tidak secara sungguh sungguh turun kepada responden nya. Mengapa?boleh jadi karena jonornya yang terlalu kecil, sehingga dia hanya sekedar nya saja melakukan penelitian. Boleh jadi karena soal soal yang lainnya. Sehingga terkadang kita sering mendengar seloroh peneliti hanya mengisi survei nya di bawah pohon. Nah, pada umumnya, lembaga survei mengantisipasinya dengan mengambil spot check.
Tahap keempat yaitu melakukan validasi sampel. Di sini saya ingin memperkenalkan istilah statistik yang bersifat statis dan statistik yang bersifat dinamis. Apa contohnya statistik yang bersifat dinamis yaitu opini publik misalnya siapakah yang akan dipilih pada hari itu jika diadakan Pemilu. Statistik dinamis tentu berubah-ubah, tergantung waktu dan tempat penelitiannya.
Apa contohnya statistik yang bersifat statis yaitu jenis kelamin tingkat pendidikan, umur, suku, dan yang lainnya .
Nah, Secara konseptual jika sebuah lembaga survei sudah gagal mengukur statistik yang statis maka agak sulit bagi kita untuk mempercayai dia bisa melakukan pengukuran secara akurat dan presisi untuk statistik yang bersifat dinamis. Ini yang dikenal dengan istilah bias sampel, bias demografi.
Misalnya, ada sebuah lembaga survei di NTB, pada satu waktu melakukan survei, ternyata kelompok sampel dengan pendidikan SMA diatas 50%, maka dapat dikatakan penelitian survei tersebut mengalami bias pada cluster pendidikan menengahnya, karena menurut data BPS, jumlah pendidikan menengahnya sekitar 30%-an. Nah, namun dalam situasi tertentu bias ini terkadang juga bisa diabaikan jika ternyata, secara proporsional, kecenderungan statistik dinamisnya tidak terlalu dipengaruhi oleh kategori demografi tersebut.
Jadi, jika Anda menerima sebuah dokumen survei makan lakukan pengujian dengan empat tahap tadi. Jika surveinya hanya Sepotong potong tentu tidak bisa kita melakukan pengujian secara cermat, tidak bisa kita menentukan kebenaran secara tepat apakah survei itu bisa dipercaya atau kah tidak dipercaya.
Jadilah kita penggosip survei, jadilah kita sebagai kaum bigot survei. Janganlah kebodohan memperparah kita. Jangan sampai.