Ada studi ilmiah yang sangat berkualitas, ada studi yang nyaris seperti “sampah”.
Banyak penulis atau jurnalis mendukung pendapat mereka dengan studi. Mereka berkata, “Studi mendukung klaim ini” atau “Penelitian yang dilakukan tahun lalu mengonfirmasi pendapat ini.” Mereka menggunakan studi untuk memperkuat argumen mereka.
Anda melihat kata “studi” atau “penelitian” sebagai tanda. Sebuah tanda bahwa penulis telah melakukan tugasnya. Sebuah tanda bahwa fakta empiris mendukung pendapat penulis. Namun, berhati-hatilah. Setiap studi itu unik dan berbeda. Kualitasnya bervariasi. Studi atau penelitian dengan kualitas tertinggi adalah yang saya sebut “Ultrastudi”. (atau ultrastudies dalam bahasa Inggris).
Ultrastudi adalah studi atau penelitian dengan sampel besar dan didasarkan pada penalaran yang benar.
Mengapa ultrastudi penting bagi Anda?
Sebagai pembaca, Anda mencari jawaban terbaik. Jawaban terbaik adalah jawaban yang relevan bagi Anda.
Jawaban yang terbukti bekerja dan memberi hasil atas masalah atau pertanyaan Anda.
Jawaban terbaik memiliki daya prediksi.
Richard Feynman, seorang peraih Nobel dalam bidang Fisika, mengatakan bahwa sains hanya berarti, “Jika Anda melakukan X, maka Y akan terjadi.”
Anda mencari jawaban ilmiah karena Anda tahu bahwa jawaban ilmiah berhasil memprediksi apa yang akan terjadi jika Anda melakukan sesuatu.
Karena ultrastudi didasarkan pada sampel besar dan penalaran yang benar, ia memiliki kaliber ilmiah tertinggi.
Ultrastudi akan memberikan Anda jawaban yang paling mendekati kenyataan. Kenapa? Studi bersampel besar akan memiliki hasil jawaban yang mendekati perilaku manusia yang sebenarnya. Karena makin besar sampel, makin kecil kemungkinan galat (error). Margin of errornya makin tipis. Singkatnya, Ultrastudi memiliki daya prediksi yang hebat.
Anda menginginkan yang terbaik dalam hidup Anda, termasuk jawaban terbaik atas pertanyaan Anda. Anda harus menggunakan jawaban terbaik yang tersedia. Dan itulah ultrastudi.
Misalkan Anda mencari jawaban, “Apa yang harus saya lakukan agar memiliki satu juta dolar di kantong ketika saya berusia 60 tahun?” Jawaban ilmiah untuk itu adalah aturan 20-25-10. Artinya, “Anda harus menabung 25% dari penghasilan Anda selama 20 tahun dalam dana indeks (index fund) dengan pengembalian tahunan yang terbukti sebesar 10%.” Aturan ini sederhana, akurat, dan terbukti. Jawabannya juga tidak ambigu, jelas, dan dapat dilakukan.
Bagaimana aturan 20-25-10 muncul?
Aturan ini muncul dari ultrastudi.
John Bogle telah melakukan semacam ultrastudi untuk mendukung teori tersebut. Dia adalah pendiri Vanguard. Perusahaan ini adalah penasihat investasi Amerika yang berbasis di Pennsylvania, dengan aset sekitar $7 triliun di bawah pengelolaan. Vanguard mengelola uang sebesar $7 triliun dengan premis sederhana. Anda akan mendapatkan pengembalian 10% dari investasi Anda di pasar saham setiap tahun jika Anda secara konsisten membeli semua anggota dari 500 perusahaan terbesar secara proporsional.
Mengapa? Karena 500 saham ini (biasanya disebut ‘S&P 500’) merupakan kombinasi dari pertumbuhan ekonomi, ekspansi ekonomi AS secara keseluruhan, kerja, dan inovasi. Ini memiliki pengembalian yang dapat diprediksi dan stabil dalam jangka panjang. Pengembalian (atau return)-nya sekitar 10% per tahun.
Pengembalian ini adalah pengembalian dari indeks pasar dari tahun 1931 hingga 2006:
Sumber: John Bogle, Little Book of Common Investing
Mengapa saya menggolongkan studi Bogle sebagai “ultrastudi”?
Pertama, studinya didasarkan pada data yang besar.
Jika Anda hanya memiliki satu hari data dari pasar saham, data Anda mungkin tidak representatif. Data tersebut mungkin bias. Jika Anda memiliki data selama satu minggu, data tersebut juga mungkin bias. Bahkan jika Anda memiliki data selama 250 hari (1 tahun), datanya masih bisa bias, tetapi lebih baik daripada satu hari atau satu minggu data.
Bagaimana dengan data selama sepuluh tahun? Itu jauh lebih baik karena melibatkan 2.500 hari data. Dengan data yang sangat besar, Anda akan melihat rata-rata yang sebenarnya. Anda akan melihat pola karena nilai-nilai ekstrem akan hilang.
Jika Anda memiliki data dari tahun 1931 hingga 2006 atau 75 tahun, Anda memiliki data yang sangat baik. Data ini mencakup 18.750 titik data. Anda memiliki bukti kuat karena data Anda telah melalui banyak fluktuasi seperti perang dunia, resesi ekonomi, ekspansi, dan gejolak politik.
Para ilmuwan menyebut fenomena ini sebagai The Law of Large Number “Hukum Bilangan Besar.”
Jacob Bernoulli adalah orang pertama yang membuktikan kebenaran prinsip ini berdasarkan deduksi matematis yang amat rapi.
Prinsip ini menyatakan, “Rata-rata sampel yang diamati dari sampel besar akan mendekati rata-rata populasi yang sebenarnya dan akan semakin mendekati semakin besar sampelnya.”
Dalam bahasa awam, semakin besar sampel yang Anda miliki, semakin dekat Anda dengan kebenaran. Apakah ini dogma? Tidak. Saya akan memberikan beberapa bukti empirik mengapa benar bahwa, “semakin besar sampel yang Anda miliki, semakin dekat Anda dengan kebenaran.” Singkatnya, data-data dari dunia nyata yang mengonfirmasi bukti formal logis dari Bernoulli.
Pertama, dari matematika: Jika Anda melempar koin, secara intuitif Anda tahu bahwa peluang munculnya kepala adalah lima puluh-lima puluh, bukan?
Tetapi, misalkan Anda dan 19 teman Anda bersama-sama melempar koin 10 kali berturut-turut. Secara kebetulan, satu atau dua teman Anda mungkin mendapatkan “kepala” lima kali berturut-turut. Kepala, kepala, kepala, kepala, dan kepala. Ini terjadi karena jumlah lemparan teman Anda kecil.
Ilmuwan telah membuktikan bahwa jika teman Anda melempar 10.000 kali, peluang kepalanya akan kembali ke lima puluh-lima puluh.
Berikut adalah buktinya:
(1) Ahli alam Prancis Count Buffon (1707-1788) melempar koin 4.040 kali. Hasilnya? 2.048 kepala, atau proporsi 2.048/4.040 = 0,5069 untuk kepala.
(2) Sekitar tahun 1900, ahli statistik Inggris Karl Pearson dengan heroik melempar koin 24.000 kali. Hasilnya: 12.012 kepala, dengan proporsi 0,5005.
(3) Ketika dipenjara oleh Jerman selama Perang Dunia II, ahli statistik Afrika Selatan John Kerrich melempar koin 10.000 kali. Hasilnya: 5.067 kepala, dengan proporsi kepala = 0,5067
Kedua, dari ilmu kedokteran:
(1) Carl Reinhold August Wunderlich, seorang dokter Jerman, mengukur suhu ketiak dari sekitar 25.000 orang, dan berdasarkan analisis, dia menetapkan 98,6°F (atau 37°C) sebagai norma. Jika Anda sehat saat ini, suhu ketiak Anda sekitar 98,6°F (atau 37°C). Cek sendiri fakta ini sekarang dan Anda akan kagum mengenai The Law of Large Number yang berlaku pada kehidupan Anda sendiri.
(2) Ketika sekelompok peneliti Stanford menganalisis pengukuran suhu yang diambil selama tiga periode sejarah—1860-1940; tahun 1970-an; dan 2007-2017—mereka menemukan bahwa suhu rata-rata orang sehat sedikit menurun. Ini berarti temuan Wunderlich benar.
(3) Dan sebuah studi Inggris pada tahun 2017 yang dilakukan pada lebih dari 35.000 pasien menemukan bahwa suhu rata-rata oral di antara peserta adalah 36,6°C atau 97,88°F. Ini juga berarti bahwa temuan Wunderlich telah direplikasi.
Jadi, bertaruh dengan bilangan besar secara praktis aman karena lebih dekat dengan kenyataan.
Dan karena lebih dekat dengan kenyataan, prediksi dari analisis cermat terhadap jumlah besar memiliki daya prediksi yang kuat.
Kedua, Ultrastudi didasarkan pada penalaran yang benar dan bebas dari penalaran yang salah.
Mengapa 500 perusahaan terbesar di Amerika dapat mewakili ekonomi Amerika? Karena perusahaan-perusahaan terbesar mendominasi ekonomi Amerika.
Pemenang (hampir) mengambil semuanya.
Jika 500 perusahaan terbesar di Amerika tumbuh, ekonomi AS akan tumbuh, dan sebaliknya. Jika kita bertaruh pada S&P 500, itu berarti kita bertaruh pada ekonomi Amerika.
Tidak semua studi besar didasarkan pada penalaran yang benar. Beberapa studi mungkin melakukan kesalahan penalaran, sehingga tidak dapat kita golongkan sebagai Ultrastudi.
Contoh pertama, penelitian tentang pengaruh istri yang memiliki sifat yang tekun dan ambisius (conscientiousness) terhadap pendapatan suaminya.
Sebuah penelitian dari Australia menyimpulkan bahwa bagi pria, memiliki istri yang bersifat conscientiousness meningkatkan penghasilannya.
Studi ini meneliti 5.832 pria dan 4.993 wanita di Australia. Namun, studi ini hanya menunjukkan korelasi, sedangkan korelasi tidak menyiratkan sebab-akibat.
Ini adalah kekeliruan. Correlation does not imply causation.
Penalaran yang lebih hati-hati adalah seseorang cenderung memilih pasangan yang mirip. Pria yang tekun dan ambisius cenderung memilih wanita yang tekun dan ambisius. Sifat tekun dan ambisius dikenal sebagai penyebab kesuksesan. Jadi, sifat itulah yang menjadi penyebab kesuksesan, bukan sifat istrinya.
Contoh kedua, Literary Digest secara salah memprediksi pemenang Pemilu Presiden AS 1936 padahal data yang mereka kumpulkan sangat besar.
Majalah Literary Digest mengirimkan 10 juta surat yang meminta orang-orang untuk memberi tahu siapa yang akan mereka pilih dalam pemilihan presiden 1936. Mereka menerima kembali 2,4 juta surat suara.
Mereka memprediksi Alf Landon akan mengalahkan Franklin Roosevelt dengan perolehan suara 57% berbanding 43%.
Namun, pada hari pemilihan, Roosevelt memenangkan 62% berbanding 37%.
Masalah pertama dari penelitian ini adalah, sampel yang dipilih tidak representatif terhadap pemilih. Literary Digest menggunakan daftar nomor telepon, pendaftaran pengemudi, dan keanggotaan klub untuk memilih sampelnya.
Pada saat itu, telepon, mobil, dan klub lebih sering tersedia hanya untuk orang kaya. Sampel mereka ternyata bias.
Masalah kedua dengan survei Literary Digest adalah bahwa hanya sekitar 2,4 juta orang yang merespons survei tersebut. Ketika tingkat respons rendah (seperti dalam kasus ini, 0,24), survei dikatakan menderita bias nonrespons.
Ini adalah jenis bias seleksi khusus di mana orang-orang yang enggan dan tidak merespons dikecualikan dari sampel. Survei Gallup dengan sampel lebih sedikit secara akurat memprediksi kemenangan Roosevelt.
Contoh ketiga, survei Gallup tentang kepuasan dan kinerja karyawan.
Sebuah survei tentang kepuasan dan kinerja karyawan oleh Gallup melakukan kesalahan penalaran. Gallup menyurvei 7.939 unit bisnis di 36 perusahaan.
Survei ini meneliti hubungan antara kepuasan karyawan dan hasil seperti laba. Total respondennya adalah 198.514 orang dari lima industri.
Pesan utama dari survei ini adalah “Semakin tinggi kepuasan dan keterlibatan karyawan, semakin tinggi hasil unit bisnis.”
Namun, metodenya cacat.
Karena peneliti menanyakan kepada karyawan, “Pada skala lima poin, di mana ‘5’ sangat puas, dan ‘1’ sangat tidak puas, seberapa puas Anda dengan (Nama Perusahaan) sebagai tempat bekerja?”
Pertanyaan ini bermasalah.
Mengapa? Karena karyawan yang merasa unit bisnis mereka sukses mungkin merasa puas dengan tempat kerja mereka. Jadi, menyimpulkan bahwa “jika karyawan puas dengan unit mereka, maka unit tersebut akan menjadi menguntungkan” adalah salah.
Ini disebut masalah “kausalitas terbalik.” Kita berpikir A menyebabkan B, padahal sebenarnya “B menyebabkan A.”
Untuk memperbaiki masalah kausalitas ini, peneliti harus memberi jeda antara survei dan pengukuran kinerja (misalnya, lima tahun).
Dalam kasus Gallup, tanyakan dulu pertanyaan tentang kepuasan karyawan, misalnya pada tahun 2025. Setelah lima tahun, lihat kinerja unit bisnis mereka. Tidak mungkin kinerja bisnis pada tahun 2030 dapat memengaruhi jawaban karyawan pada tahun 2025.
Oleh karena itu, kita tidak bisa mengklasifikasikan studi Gallup sebagai ultrastudi, meskipun memiliki sampel besar.
Mari kita lihat studi lain.
Studi PIMS tentang konglomerat bisnis.
Studi PIMS adalah studi dengan sampel besar. PIMS adalah singkatan dari Profit Impact of Market Strategy.
Awalnya, General Electric, sebuah konglomerat bisnis yang sangat beragam (tahun 1970-an hingga 1980-an), ingin mengetahui apa yang membuat suatu Strategic Business Unit (SBU) lebih menguntungkan daripada SBU lainnya.
Antara tahun 1970 dan 1983, sekitar 2.600 SBU dari sekitar 200 perusahaan berpartisipasi dalam survei. Saat ini ada sekitar 12.570 observasi untuk 4.200 SBU. Basis data PIMS mencakup lebih dari 25.000 tahun pengalaman bisnis di tingkat SBU.
Mengapa di tingkat SBU? Karena SBU adalah tempat interaksi dengan pelanggan terjadi dan di mana keputusan pemasaran serta investasi dibuat.
Studi PIMS menyimpulkan bahwa: “Dalam jangka panjang, faktor tunggal terpenting yang memengaruhi kinerja unit bisnis adalah kualitas produk dan layanannya, relatif terhadap pesaingnya.“
Kesalahan dalam pernyataan ini bukan terletak pada kesimpulannya. Tetapi, pada metode yang digunakan untuk mendapatkan kesimpulan tersebut. Di mana metodenya salah? Pada pertanyaannya.
Peneliti meminta informan untuk “memperkirakan persentase volume penjualan bisnis ini pada tahun ini yang disumbangkan oleh produk dan layanan yang, dari sudut pandang pelanggan, dinilai sebagai ‘Superior,’ ‘Setara,’ dan ‘Inferior’ dibandingkan dengan yang tersedia dari tiga pesaing utama.” Informan dari studi ini adalah karyawan perusahaan yang berpartisipasi dalam program penelitian. Perkiraan ini mungkin bias.
Karyawan yang merasa bahwa perusahaan mereka sukses secara finansial mungkin melebih-lebihkan kualitas produk mereka. Mereka mungkin berpikir bahwa pelanggan menyukai produk mereka.
Jadi, kausalitasnya bekerja seperti ini: karena perusahaan merupakan kisah sukses, karyawan berpikir bahwa produk mereka bagus, bukan sebaliknya. Jadi, menyimpulkan bahwa produk mereka superior terhadap kesuksesan perusahaan adalah salah. Bias ini disebut Halo Effect bias.
Bagaimana cara memperbaiki kesalahan penalaran ini? Peneliti harus mengganti metode penilaian kualitas yang ada dengan metode baru. Alih-alih meminta karyawan untuk memperkirakan hubungan antara kualitas produk mereka dan penjualan, mereka harus meminta perusahaan riset independen untuk mensurvei konsumen guna menilai kualitas produk mereka.
Ultrastudi juga dapat berasal dari serangkaian studi.
Sebuah studi tunggal dengan sampel besar jarang terjadi. Karena mahal atau memerlukan waktu yang sangat lama.
Jawaban dari beberapa studi dengan sampel kecil dapat menjadi ultrastudi. Studi yang lebih baru mengonfirmasi dan memperkuat studi yang lebih awal. Secara kumulatif, mereka menjadi ultrastudi.
Studi-studi ini pada dasarnya menjawab pertanyaan yang sama. Namun, mereka mungkin berbeda dalam hal kebangsaan sampel, tempat, atau pekerjaan sampel yang diteliti.
Kadang-kadang, upaya sistematis untuk melakukan studi-studi dilakukan oleh para ilmuwan senior yang telah lama berkecimpung dalam suatu topik penelitian tertentu. Penelitian yang meneliti studi ini disebut studi atas studi. Studi atas studi ini disebut systematic review atau meta-analysis.
Jadi, apa pesan moralnya? Hanya gunakan ultrastudi untuk memandu hidup Anda di tengah chaosnya dunia ini. Anda punya peluang lebih sedikit untuk menjadi keliru!
“Hanya gunakan ultrastudi untuk memandu hidup Anda di tengah chaosnya dunia ini. Anda punya peluang lebih sedikit untuk menjadi keliru!”
