Berikut ini adalah kutipan-kutipan yang saya kumpulkan dan terjemahkan dari buku How to Lie with Statistics oleh Darrell Huff.
Tanpa harus membacanya semua, Anda mendapatkan hal-hal yang menurut saya menarik dan terpenting.
Saya membaca buku-buku yang saya kutip ini dalam kurun waktu 11 – 12 tahun. Ada 3100 buku di perpustakaan saya. Membaca kutipan-kutipan ini menghemat waktu Anda 10x lipat.
Selamat membaca.
Chandra Natadipurba
===
Berbohong dengan Statistik
oleh Darrel Huff
Bab 1 Sampel dengan Bias yang Terbentuk… di Dalamnya
“Rata-rata lulusan Yale, Angkatan ’24, menghasilkan $25.111 per tahun.”
Demikian yang dilaporkan majalah Time, mengomentari sesuatu yang ada di New York Sun.
Separuh Kebenaran, karena:
(1) Masalah pelaporan sendiri atau bias memilih sendiri (tidak representatif, apakah alamatnya masih benar, berapa banyak yang tidak merespon?).
“Menjadi cukup jelas bahwa sampel telah mengabaikan dua kelompok yang paling mungkin menurunkan rata-rata.”
Angka $25.111 mulai menjelaskan dirinya sendiri. Jika angka tersebut benar untuk sesuatu, itu hanya berlaku untuk kelompok khusus lulusan angkatan ’24 yang alamatnya diketahui dan bersedia untuk berdiri dan memberitahukan berapa banyak yang mereka hasilkan.
Bahkan itu memerlukan asumsi bahwa para pria tersebut mengatakan yang sebenarnya.
Pernah ada survei rumah-ke-rumah yang bertujuan mempelajari pembaca majalah, di mana pertanyaan kunci adalah: Majalah apa yang dibaca oleh rumah tangga Anda?
Ketika hasilnya ditabulasi dan dianalisis, tampaknya banyak orang menyukai Harper’s dan tidak banyak yang membaca True Story. Padahal, terdapat data dari penerbit saat itu yang menunjukkan dengan sangat jelas bahwa True Story memiliki jutaan sirkulasi lebih banyak daripada Harper’s yang hanya ratusan ribu.
Pada akhirnya, ditemukan bahwa jika Anda ingin mengetahui apa yang dibaca orang-orang tertentu, tidak ada gunanya bertanya langsung kepada mereka. Anda bisa belajar lebih banyak dengan pergi ke rumah mereka dan mengatakan bahwa Anda ingin membeli majalah bekas dan bertanya apa yang bisa didapatkan?
Kemudian yang perlu Anda lakukan hanyalah menghitung Yale Reviews dan Love Romances. Bahkan metode yang meragukan itu, tentu saja, tidak memberi tahu Anda apa yang orang baca, hanya apa yang telah mereka terima.
PETUNJUK: Jika Anda ingin mengetahui gaji, periksa slip gaji atau laporan pajak.
Seorang psikiater pernah melaporkan bahwa hampir semua orang mengalami gangguan neurotik. Terlepas dari fakta bahwa penggunaan istilah seperti itu merusak makna kata “neurotik”, mari kita lihat sampel pria tersebut. Siapa yang telah diamati oleh psikiater itu? Ternyata dia mencapai kesimpulan yang mendidik ini dari mempelajari para pasiennya, yang jauh sekali dari sampel populasi yang representatif. Jika seseorang normal, psikiater kita tidak akan pernah bertemu dengannya.
Untuk bukti lebih lanjut, kembali ke tahun 1936 dan kegagalan terkenal dari Literary Digest. Sepuluh juta pemilik telepon dan pelanggan Digest yang meyakinkan para editor majalah yang sudah ditakdirkan gagal tersebut bahwa hasil pemilu akan dimenangkan oleh Landon 370, Roosevelt 161, berasal dari daftar yang telah akurat memprediksi pemilu tahun 1932.
Bagaimana bisa ada bias dalam daftar yang sudah teruji sebelumnya? Tentu saja ada bias, sebagaimana ditemukan dalam tesis-tesis perguruan tinggi dan kajian lain: Orang yang mampu memiliki telepon dan langganan majalah pada tahun 1936 hanyalah sebagian kecil pemilih. Secara ekonomi, mereka adalah jenis orang khusus, sampel yang bias karena sebagian besar terdiri dari pemilih Partai Republik. Sampel memilih Landon, tetapi pemilih berpikir sebaliknya.
Sampel dasar disebut “acak”. Itu dipilih secara murni dari “semesta,” kata yang digunakan oleh ahli statistik untuk merujuk pada keseluruhan dari mana sampel adalah bagian. Setiap nama kesepuluh diambil dari berkas kartu indeks. Lima puluh potongan kertas diambil dari topi yang penuh.
Tes untuk sampel acak adalah: Apakah setiap nama atau benda dalam kelompok memiliki peluang yang sama untuk masuk dalam sampel?
Begitu juga dengan “volume wanita” dari Dr. Alfred C. Kinsey. Masalahnya, seperti halnya apa pun yang didasarkan pada pengambilan sampel, adalah bagaimana membacanya (atau ringkasan populernya) tanpa mempelajari terlalu banyak hal yang tidak sepenuhnya benar. Ada setidaknya tiga tingkatan sampel yang terlibat.
Sampel populasi Dr. Kinsey (satu tingkatan) jauh dari sampel acak dan mungkin tidak terlalu representatif, tetapi sampelnya sangat besar dibandingkan dengan apa pun yang pernah dilakukan di bidangnya sebelumnya dan angkanya harus diterima sebagai sesuatu yang membuka wawasan dan penting meskipun tidak sepenuhnya akurat.
Mungkin lebih penting untuk mengingat bahwa setiap kuesioner hanyalah sampel (tingkatan lain) dari pertanyaan yang mungkin, dan jawaban yang diberikan oleh wanita tersebut tidak lebih dari sampel (tingkatan ketiga) dari sikap dan pengalamannya terhadap setiap pertanyaan.
Jenis orang yang menjadi bagian dari tim pewawancara dapat memengaruhi hasil dalam cara yang menarik.
Bab 2 Rata-Rata yang Terpilih dengan Baik
Jika Anda membuat daftar pendapatan tahunan semua keluarga di suatu kota tertentu, Anda mungkin akan menemukan bahwa nilainya berkisar dari yang sangat kecil hingga mungkin mencapai sekitar $50.000, dengan beberapa pendapatan yang sangat besar.
Lebih dari sembilan puluh lima persen dari pendapatan tersebut berada di bawah $10.000, yang menempatkannya jauh ke sisi kiri kurva. Alih-alih simetris seperti lonceng, kurva ini akan terdistorsi.
Itulah sebabnya ketika Anda membaca pengumuman dari seorang eksekutif perusahaan atau pemilik bisnis bahwa rata-rata gaji karyawan di perusahaannya adalah sekian, angka tersebut bisa berarti sesuatu dan bisa juga tidak.
Jika rata-ratanya adalah median, Anda bisa mempelajari sesuatu yang signifikan:
Setengah dari karyawan menghasilkan lebih dari itu; setengah lainnya kurang. Tetapi jika itu adalah mean (dan percayalah, mungkin itu yang digunakan jika tidak ditentukan jenisnya), Anda mungkin tidak mendapatkan informasi yang lebih signifikan daripada rata-rata dari satu pendapatan sebesar $45.000—milik pemilik—dan gaji dari sejumlah pekerja yang bergaji rendah.
PETUNJUK: Dalam statistik pendapatan atau kekayaan, median lebih akurat daripada mean.
Bab 3 Angka-Angka Kecil yang Tidak Ada di Sana
Biarkan sekelompok kecil orang mencatat jumlah gigi berlubang selama enam bulan, lalu beralih ke produk Doakes’. Satu dari tiga hal pasti akan terjadi: jumlah gigi berlubang akan meningkat secara signifikan, berkurang secara signifikan, atau jumlahnya tetap sama.
Jika kemungkinan pertama atau terakhir yang terjadi, Doakes & Company akan menyimpan angka tersebut (di tempat yang tersembunyi) dan mencoba lagi. Cepat atau lambat, melalui operasi kebetulan, sekelompok percobaan akan menunjukkan peningkatan besar yang layak dijadikan berita utama dan mungkin keseluruhan kampanye iklan. Ini akan terjadi baik mereka menggunakan Doakes’, baking soda, atau tetap menggunakan pasta gigi yang lama.
Pentingnya menggunakan kelompok kecil adalah ini: “Dengan kelompok besar, perbedaan yang dihasilkan secara kebetulan cenderung kecil dan tidak layak untuk dipublikasikan besar-besaran.”
Sebuah contoh luar biasa muncul dalam kaitannya dengan uji vaksin polio beberapa tahun lalu. Percobaan itu tampak sebagai eksperimen skala besar yang mengesankan, sebagaimana eksperimen medis umumnya: 450 anak divaksinasi di suatu komunitas dan 680 dibiarkan tidak divaksinasi sebagai kontrol.
Tak lama kemudian, komunitas tersebut dilanda epidemi. Tak satu pun dari anak yang divaksinasi yang terkena polio yang bisa dikenali. Begitu juga dengan kelompok kontrol. Apa yang diabaikan atau tidak dipahami oleh para peneliti dalam merancang proyek ini adalah rendahnya insiden polio paralitik.
Dalam tingkat yang biasa, hanya dua kasus yang diharapkan muncul dalam kelompok sebesar ini, jadi percobaan itu sejak awal tidak mungkin berarti. Dibutuhkan sekitar lima belas hingga dua puluh kali lipat jumlah anak untuk mendapatkan jawaban yang berarti.
Bagaimana Anda bisa menghindari ditipu oleh hasil yang tidak konklusif? Haruskah setiap orang menjadi ahli statistik dan mempelajari data mentahnya sendiri? Tidak seburuk itu; ada uji signifikansi yang mudah dipahami.
Ini hanyalah cara untuk melaporkan seberapa besar kemungkinan bahwa angka percobaan mewakili hasil nyata daripada sesuatu yang dihasilkan secara kebetulan. Inilah angka kecil yang tidak ada di sana—dengan asumsi bahwa Anda, pembaca awam, tidak akan memahaminya.
PELAJARAN dari kasus Alfred Kinsey: “Berbahaya untuk menyebutkan subjek yang memiliki muatan emosional tinggi tanpa segera menyatakan apakah Anda mendukung atau menentangnya.”
Oklahoma City dapat mengklaim suhu rata-rata yang serupa selama enam puluh tahun terakhir: 60,2 derajat. Tetapi seperti yang bisa Anda lihat dari grafik di bawah ini, angka yang sejuk dan nyaman itu menyembunyikan rentang suhu sebesar 130 derajat.
Bab 4 Banyak Gembar-Gembor Tentang Hal yang Hampir Tidak Ada
Seperti dalam kasus perhitungan hipotetis kita, kesalahan yang mungkin terjadi pada tes IQ Stanford-Binet ditemukan sebesar tiga persen. Ini tidak ada hubungannya dengan seberapa baik tes tersebut secara mendasar, melainkan hanya dengan seberapa konsisten tes ini mengukur apa pun yang diukur. Jadi, IQ yang ditunjukkan oleh Peter mungkin lebih lengkap jika dinyatakan sebagai 98 ± 3 dan IQ Linda sebagai 101 ± 3.
Bab 5 Grafik yang Menyesatkan
Perusahaan baja telah menggunakan metode grafik yang menyesatkan serupa dalam upaya untuk membentuk opini publik agar menolak kenaikan upah.
Bab 6 Gambar Satu Dimensi
Bab 7 Angka yang Setengah Relevan
Jika Anda tidak bisa membuktikan apa yang ingin Anda buktikan, tunjukkan sesuatu yang lain dan berpura-pura bahwa hal tersebut sama. Atau coba yang ini. “27 persen dari sampel besar dokter terkemuka merokok merek Throaties—lebih dari merek lain mana pun.”
Angka tersebut mungkin palsu, tentu saja, dalam beberapa cara, tetapi itu sebenarnya tidak masalah. Satu-satunya jawaban untuk angka yang tidak relevan seperti itu adalah, “Lalu apa?”
Dengan segala hormat kepada profesi medis, apakah dokter tahu lebih banyak tentang merek tembakau daripada Anda? Apakah mereka memiliki informasi khusus yang memungkinkan mereka memilih yang paling tidak berbahaya di antara rokok?
Tentu saja tidak, dan dokter Anda akan menjadi orang pertama yang mengatakannya. Namun, angka “27 persen” itu entah bagaimana terdengar seolah-olah memiliki arti.
Bab 8 Korelasi Palsu
Korelasi, angka yang tampaknya meyakinkan yang seakan membuktikan bahwa sesuatu terjadi karena sesuatu yang lain, sebenarnya bisa menjadi beberapa jenis. Salah satunya adalah korelasi yang dihasilkan secara kebetulan.
Jenis kovariasi yang umum adalah hubungan di mana relasi itu nyata tetapi tidak mungkin memastikan variabel mana yang menjadi penyebab dan mana yang menjadi akibat. Dalam beberapa kasus, sebab dan akibat dapat berganti peran dari waktu ke waktu atau bahkan keduanya bisa menjadi sebab dan akibat pada saat yang bersamaan.
Korelasi antara pendapatan dan kepemilikan saham mungkin termasuk jenis ini. Semakin banyak uang yang Anda hasilkan, semakin banyak saham yang Anda beli, dan semakin banyak saham yang Anda beli, semakin banyak pendapatan yang Anda dapatkan; tidak akurat jika hanya mengatakan bahwa satu hal menyebabkan yang lainnya.
Mungkin yang paling rumit adalah kasus yang sangat umum di mana tidak ada satu pun variabel yang memiliki efek sama sekali pada yang lain, namun terdapat korelasi yang nyata. Banyak manipulasi dilakukan dengan yang satu ini.
Nilai akademik rendah di antara perokok rokok termasuk dalam kategori ini, seperti juga banyak statistik medis yang dikutip tanpa penjelasan bahwa meskipun hubungan itu nyata, sifat sebab-akibatnya hanya masalah interpretasi. Ada yang dengan senang hati menunjuk pada ini: Ada hubungan yang erat antara gaji pendeta Presbiterian di Massachusetts dan harga rum di Havana.
Dalam kasus pendeta dan rum, mudah untuk melihat bahwa kedua angka tersebut meningkat karena pengaruh faktor ketiga: kenaikan harga yang hampir universal dan historis.
Hal lain yang harus diwaspadai adalah kesimpulan di mana korelasi diasumsikan berlanjut di luar data yang telah didemonstrasikan. Mudah untuk menunjukkan bahwa semakin banyak hujan di suatu daerah, semakin tinggi jagung tumbuh atau bahkan semakin besar hasil panen. Hujan, tampaknya, adalah berkah. Namun, musim hujan yang sangat lebat dapat merusak atau bahkan menghancurkan tanaman.
Korelasi positif bertahan sampai titik tertentu dan kemudian dengan cepat menjadi negatif. Di atas sejumlah inci tertentu, semakin banyak hujan turun, semakin sedikit jagung yang Anda dapatkan.
Masalah satu-satunya adalah bahwa bersama dengan angka-angka dan fakta-fakta muncul kesimpulan yang sama sekali tidak berdasar. Ini adalah kekeliruan post hoc dalam bentuk terbaiknya. Ini mengatakan bahwa angka-angka ini menunjukkan bahwa jika Anda (putra atau putri Anda) kuliah, Anda kemungkinan besar akan menghasilkan lebih banyak uang daripada jika Anda memutuskan menghabiskan empat tahun berikutnya dengan cara lain.
Kesimpulan yang tidak berdasar ini didasarkan pada asumsi yang sama tidak berdasarnya, bahwa karena orang-orang yang berpendidikan perguruan tinggi menghasilkan lebih banyak uang, mereka mendapatkannya karena mereka kuliah.
Sebenarnya kita tidak tahu apakah orang-orang ini adalah mereka yang akan menghasilkan lebih banyak uang meskipun mereka tidak kuliah. Ada beberapa hal yang cukup kuat menunjukkan bahwa ini mungkin benar.
Perguruan tinggi mendapat jumlah anak dari dua kelompok yang tidak proporsional: yang pintar dan yang kaya. Yang pintar mungkin menunjukkan daya menghasilkan yang baik tanpa pengetahuan perguruan tinggi. Dan untuk yang kaya… yah, uang menghasilkan uang dalam beberapa cara yang jelas. Jarang sekali anak-anak orang kaya ditemukan dalam kelompok berpendapatan rendah, apakah mereka kuliah atau tidak.
Q: Apa pengaruh kuliah terhadap peluang Anda tetap belum menikah? A: Jika Anda seorang wanita, peluang menjadi perawan tua melonjak. Tapi jika Anda seorang pria, efeknya sebaliknya—meminimalkan peluang Anda untuk tetap lajang.
Universitas Cornell melakukan studi terhadap 1.500 lulusan perguruan tinggi paruh baya yang tipikal. Dari kalangan pria, 93 persen menikah (dibandingkan dengan 83 persen untuk populasi umum). Namun, dari lulusan wanita paruh baya, hanya 65 persen yang menikah. Jumlah perawan tua relatif tiga kali lebih banyak di antara lulusan perguruan tinggi dibandingkan dengan wanita pada populasi umum.
Ketika Susie Brown, berusia tujuh belas tahun, membaca ini, dia mungkin berpikir bahwa kuliah meningkatkan peluang menjadi lajang, meskipun pembaca yang tergesa-gesa mungkin pergi dengan ide tersebut.
Di sini sekali lagi korelasi nyata digunakan untuk mendukung hubungan sebab-akibat yang belum terbukti. Mungkin sebenarnya terjadi sebaliknya, dan wanita-wanita tersebut akan tetap belum menikah meskipun mereka tidak kuliah. Mungkin bahkan lebih banyak lagi yang gagal menikah. Jika kemungkinan-kemungkinan ini tidak lebih baik daripada yang diinginkan oleh penulis, mereka mungkin sama-sama valid: yaitu, hanya dugaan.
Sebenarnya ada bukti yang menunjukkan bahwa kecenderungan untuk menjadi perawan tua mungkin mengarah pada keinginan untuk kuliah. Dr. Kinsey tampaknya menemukan korelasi antara seksualitas dan pendidikan, dengan sifat-sifat yang mungkin sudah terbentuk sebelum usia kuliah. Ini semakin membuat pernyataan bahwa kuliah menghalangi pernikahan menjadi diragukan.
Sebuah artikel medis pernah menunjuk dengan kekhawatiran besar pada peningkatan kanker di kalangan peminum susu. Kanker, tampaknya, semakin sering terjadi di New England, Minnesota, Wisconsin, dan Swiss, di mana banyak susu diproduksi dan dikonsumsi, sementara tetap jarang di Ceylon, di mana susu langka.
Sebagai bukti lebih lanjut, disebutkan bahwa kanker kurang umum di beberapa negara bagian Selatan yang lebih sedikit mengonsumsi susu. Juga, disebutkan bahwa wanita Inggris yang meminum susu lebih sering mengidap beberapa jenis kanker 18 kali lipat daripada wanita Jepang yang jarang minum susu.
Sedikit penggalian mungkin akan menemukan cukup banyak cara untuk menjelaskan angka-angka ini, tetapi satu faktor sudah cukup untuk menunjukkan kesalahan ini. Kanker terutama merupakan penyakit yang menyerang pada usia paruh baya atau setelahnya. Swiss dan negara-negara bagian yang disebutkan memiliki populasi dengan harapan hidup yang relatif panjang. Wanita Inggris pada saat penelitian dilakukan hidup rata-rata dua belas tahun lebih lama dibandingkan wanita Jepang.
Bab 9 Cara Memanipulasi Statistik
Menyesatkan orang dengan menggunakan bahan statistik bisa disebut manipulasi statistik; dalam satu kata (meskipun tidak terlalu baik), statistikulasi.
Karl Marx juga tidak ragu untuk mencapai kesan ketepatan yang palsu dengan cara yang sama. Dalam menghitung “tingkat nilai lebih” di sebuah pabrik, ia memulai dengan serangkaian asumsi, dugaan, dan angka bulat yang bagus: “Kami asumsikan limbah sebesar 6%… bahan baku… berharga sekitar 342 poundsterling. 10.000 spindel… berharga, kami asumsikan, 1 poundsterling per spindel… Keausan kami taruh di angka 10%… Sewa gedung kami perkirakan sebesar £300…” Dia mengatakan, “Data di atas, yang dapat diandalkan, diberikan kepada saya oleh seorang pengusaha pemintalan di Manchester.”
Dari perkiraan ini, Marx menghitung bahwa: “Tingkat nilai lebih adalah 80/53 — 15311/13%.” Untuk hari kerja sepuluh jam ini memberinya “kerja yang dibutuhkan — 321/23 jam dan kerja berlebih — 62/33.” semua ini hanya taktik.
Bab 10 Cara Menanggapi Statistik
Siapa yang mengatakannya? Hal pertama yang harus dicari adalah bias—laboratorium dengan sesuatu yang ingin dibuktikan demi teori, reputasi, atau bayaran; surat kabar yang bertujuan membuat berita menarik; buruh atau manajemen dengan tingkat upah yang dipertaruhkan.
Carilah bias yang disengaja.
Metodenya bisa berupa pernyataan yang salah langsung atau pernyataan ambigu yang sama efektifnya dan tidak dapat dihukum.
Dari mana dia tahu? Waspadai bukti sampel yang bias, yang dipilih secara tidak benar atau, seperti yang satu ini, memilih sendiri. Tanyakan pertanyaan yang sudah kita bahas di bab awal: Apakah sampelnya cukup besar untuk memungkinkan kesimpulan yang dapat diandalkan?
Demikian pula dengan korelasi yang dilaporkan: Apakah cukup besar untuk berarti? Apakah ada cukup banyak kasus untuk mencapai signifikansi? Sebagai pembaca biasa, Anda tidak bisa menerapkan uji signifikansi atau menyimpulkan secara tepat kecukupan sampel.
Apakah Seseorang Mengganti Topik? Variasi post hoc dari omong kosong yang penuh pretensi adalah cara lain untuk mengganti topik tanpa terlihat melakukannya. Perubahan sesuatu dengan sesuatu yang lain disajikan seolah-olah terjadi karena sesuatu itu.
Apakah Ini Masuk Akal? Anda mungkin mengenal rumus keterbacaan Rudolf Flesch. Rumus ini mengukur betapa mudahnya sebuah prosa dibaca, dengan item-item sederhana dan objektif seperti panjang kata dan kalimat
“Pada akhirnya, ditemukan bahwa jika Anda ingin mengetahui apa yang dibaca orang-orang tertentu, tidak ada gunanya bertanya langsung kepada mereka. Anda bisa belajar lebih banyak dengan pergi ke rumah mereka dan mengatakan bahwa Anda ingin membeli majalah bekas dan bertanya apa yang bisa didapatkan?”
