طراحی پژوهش و آزمایش خوب در دکتری؛ از فرضیه تا نتایج قابل‌اعتماد
یک مطالعه بد طراحی‌شده، هر قدر هم با دقت اجرا شود، نمیتواند به پرسش شما پاسخ روشن بدهد. این فصل اصول طراحی پژوهش خوب را مرور میکند: متغیرها، حجم نمونه، مدیریت داده، اجرای گام‌به‌گام، تشخیص خطاها و اینکه وقتی همه‌چیز طبق برنامه پیش نمی‌رود چه کنیم.
در فصل قبل دیدیم که «مثل یک دانشمند فکر کردن» یعنی ساختن فرضیههای ابطال‌پذیر و آزمودن صادقانه آن‌ها. اما آزمودن صادقانه به ابزاری نیاز دارد: طراحی خوب. یک آزمایش یا مطالعه بد طراحی‌شده، هر چقدر هم با دقت اجرا شود، نمیتواند به پرسش شما پاسخ روشن بدهد. نتیجه‌اش داده‌هایی است که چند تفسیر مختلف را برمی‌تابد، داورانی که درباره روش سؤال‌های بی‌پاسخ می‌پرسند، و ماه‌هایی که باید دوباره صرف شود.
در مقابل، طراحی خوب کمی وقت بیشتر در ابتدا می‌گیرد، اما در طول مسیر چندین برابر جبران میکند. بسیاری از دانشجویان دکتری بعدها می‌گویند کاش چند هفته بیشتر روی طراحی وقت گذاشته بودند، به جای چند ماه دست‌وپنجه نرم کردن با داده‌هایی که نمی‌شد تفسیرشان کرد. این فصل از دوره زندگی در دوران دکتری اصول طراحی پژوهش خوب را مرور میکند: از ویژگیهای یک طراحی محکم تا اجرای گام‌به‌گام، تشخیص خطاها و اینکه وقتی همه‌چیز طبق برنامه پیش نمی‌رود چه کنیم.
مثل فصل قبل، مثال‌ها بیشتر از پژوهش‌های آزمایشی آمده‌اند، اما اگر پیمایش، مصاحبه، تحلیل داده‌های ثانویه یا مطالعه موردی انجام می‌دهید، بخشی جداگانه برای شما در نظر گرفته‌ایم و تقریباً همه اصول این فصل در کار شما هم کاربرد دارند.
هفت ویژگی یک طراحی خوب
یکی از جنبه‌های حیاتی روش علمی، آزمودن فرضیه با آزمایش یا مطالعه‌ای است که به‌خوبی طراحی شده باشد. اما «به‌خوبی طراحی‌شده» دقیقاً یعنی چه؟ هفت ویژگی زیر، معیارهایی هستند که می‌توانید هر طرح پژوهشی را با آن‌ها بسنجید؛ چه طرح خودتان و چه طرحی که در یک مقاله می‌خوانید.
۱. تمایز میان فرضیههای رقیب
طراحی خوب باید بتواند میان دو یا چند فرضیه رقیب تمایز بگذارد. در یک طراحی ضعیف، ممکن است نتیجه‌ای بگیرید که با بیش از یک فرضیه سازگار است و در نهایت نتوانید بگویید کدام توضیح درست است. پیش از اجرا از خودتان بپرسید: «اگر فرضیه الف درست باشد چه نتیجه‌ای می‌بینم؟ اگر فرضیه ب درست باشد چه؟» اگر پاسخ هر دو یکی است، طراحی‌تان قدرت تمایز ندارد.
۲. تکرارپذیری نتایج
وقتی آزمایش را چند بار انجام می‌دهید، آیا نتایج تکرار می‌شوند؟ اگر نه، احتمالاً نقصی جدی در طراحی وجود دارد؛ متغیری کنترل نشده، روشی که به شرایط حساس است، یا ابزاری که پایدار نیست. تکرارپذیری درون‌آزمایشگاهی، پیش‌شرط تکرارپذیری توسط دیگران است.
۳. کنترل متغیرها
آزمایش باید نسبت به هر متغیری که آزموده میشود به‌خوبی کنترل شده باشد. باید این احتمال را از بین ببرید که عامل دیگری، غیر از آنچه تغییر داده‌اید، اثر مشاهده‌شده را ایجاد کرده باشد. گروه کنترل مناسب، شرایط یکسان برای همه گروه‌ها و تصادفی‌سازی، ابزارهای اصلی این کنترل‌اند.
۴. روش‌های اندازهگیری قابلتکرار
روش اندازهگیری شما باید از روزی به روز دیگر، میان پژوهشگران مختلف یک آزمایشگاه و میان آزمایشگاه‌های مختلف قابلتکرار باشد. بسیاری از پژوهشگران نتیجه‌ای را معتبر نمی‌دانند مگر اینکه آزمایشگاه مستقل دیگری بتواند آن را بازتولید کند. برای همین، روش‌ها را با جزئیات کامل مستند کنید و در صورت امکان از روش‌های استاندارد و معتبر استفاده کنید.
۵. کورسازی
در فصل قبل درباره سوگیری پژوهشگر صحبت کردیم. ممکن است پژوهشگر ناخودآگاه داده‌ها را طوری بخواند یا ثبت کند که به نتیجه مورد انتظارش نزدیک شود. کورسازی یعنی کسی که اندازهگیری یا ارزیابی میکند نداند هر نمونه یا شرکت‌کننده به کدام گروه تعلق دارد. در پژوهش‌های انسانی، اغلب شرکت‌کنندگان هم نباید بدانند در کدام گروه‌اند. حتی اگر کورسازی کامل ممکن نیست، کورسازی جزئی (مثلاً کدگذاری نمونه‌ها توسط فرد دیگر) هم کمک میکند.
۶. صحت و دقت
تقریباً در هر نوع پژوهشی چیزی را اندازه می‌گیرید: سرعت یک واکنش، غلظت یک ماده، نمره یک آزمون، زمان واکنش یک شرکت‌کننده. باید بدانید اندازه‌گیری‌تان چقدر به مقدار واقعی نزدیک است (صحت) و چقدر تکرارپذیر است (دقت). بخش بعدی این دو را باز میکند.
۷. قابلیت اطمینان و ارقام معنادار
میزان قابلیت اطمینان داده‌ها تعیین میکند نتایج را با چند رقم معنادار می‌توانید گزارش کنید. گزارش عددی با شش رقم اعشار، وقتی ابزار شما فقط تا یک رقم اعشار دقت دارد، نه‌تنها اطلاعات بیشتری نمی‌دهد، بلکه نشان میدهد پژوهشگر به عدم قطعیت اندازه‌گیری‌اش توجه نکرده است. همیشه عدم قطعیت را کنار مقدار گزارش کنید.
صحت و دقت: دو مفهومی که اغلب قاطی می‌شوند
صحت یعنی میانگین اندازهگیریها چقدر به مقدار واقعی نزدیک است. دقت یعنی اندازهگیریهای تکراری چقدر به هم نزدیکاند. میشود دقیق بود اما صحیح نبود (همه اندازهگیریها نزدیک هم، اما دور از مقدار واقعی؛ نشانه خطای سیستماتیک)، یا صحیح بود اما دقیق نبود (میانگین درست، اما پراکندگی زیاد؛ نشانه خطای تصادفی).
نکته کاربردی: برای بررسی صحت، اندازهگیری را روی نمونه‌ای با مقدار شناخته‌شده (استاندارد یا مرجع) انجام دهید. برای بررسی دقت، یک اندازهگیری را چند بار تکرار کنید و پراکندگی را ببینید. هر دو را پیش از شروع کار اصلی انجام دهید، نه وقتی که داده‌ها جمع شده‌اند و نتایج عجیب به نظر می‌رسند.
سه گام طراحی: هدف، راهبرد، جزئیات
علم خوب و طراحی خوب دست در دست هم پیش می‌روند. برای طراحی یک آزمایش یا مطالعه خوب، این سه گام را دنبال کنید:
گام ۱: هدف را مشخص کنید
در این آزمایش یا مطالعه خاص، دقیقاً چه چیزی را می‌خواهید بررسی کنید؟ به کدام پرسش می‌خواهید پاسخ دهید؟ پرسش باید آن‌قدر مشخص باشد که بتوانید بگویید چه نتیجه‌ای به آن پاسخ مثبت و چه نتیجه‌ای پاسخ منفی میدهد. یک قاعده مفید: هر آزمایش، یک پرسش اصلی. آزمایشی که می‌خواهد همزمان به پنج پرسش پاسخ دهد، معمولاً به هیچ‌کدام پاسخ روشن نمی‌دهد.
گام ۲: راهبرد را برنامه‌ریزی کنید
چطور به این هدف می‌رسید؟ اندازه و دامنه آزمایش چقدر است؟ چند گروه، چند شرایط، چند تکرار؟ چه گروه‌های کنترلی لازم است؟ آیا یک مطالعه آزمایشی کوچک پیش از اجرای اصلی لازم است؟ در این گام، با استاد راهنما و در صورت نیاز با یک آمارشناس مشورت کنید.
گام ۳: به جزئیات اجرایی توجه کنید
جزئیات اجرا را روی کاغذ بیاورید: به کدام ابزار، تجهیزات، مواد، نرم‌افزار یا مجوز نیاز دارید؟ هر مرحله چقدر طول می‌کشد؛ یک ساعت، یک روز، یک ماه؟ چه کسی چه کاری انجام میدهد؟ اگر چیزی خراب شود یا تمام شود، جایگزین چیست؟ بسیاری از تأخیرهای دکتری از همین جزئیات به‌ظاهر کوچک می‌آید.
متغیرها را بشناسید
وقتی هدف را مشخص و فرضیه را صورت‌بندی کردید، باید متغیرهایی را که برای آزمودن فرضیه به کار می‌برید، تعریف کنید.
| نوع متغیر | تعریف | مثال (اثر کود بر رشد گیاه) |
|---|---|---|
| مستقل | متغیری که پژوهشگر تغییر میدهد یا دست‌کاری میکند. | مقدار کود |
| وابسته | متغیری که اندازه می‌گیرید تا اثر متغیر مستقل را ببینید. | ارتفاع گیاه پس از شش هفته |
| کنترل‌شده | عواملی که ثابت نگه می‌دارید تا اثرشان حذف شود. | نوع خاک، نور، آبیاری، دما |
| مخدوش‌کننده | عاملی که هم با متغیر مستقل و هم با وابسته رابطه دارد و میتواند اثر کاذب ایجاد کند. | اگر گلدان‌های پرکود را نزدیک پنجره بگذارید، نور اثر کود را مخدوش میکند. |
در سادهترین شکل، آزمایش خوب فقط یک متغیر را در هر زمان تغییر میدهد تا اثر آن روشن باشد. اما گاهی می‌خواهید اثر همزمان چند متغیر و تعامل آن‌ها را بررسی کنید؛ مثلاً اثر کود در دو سطح نور مختلف. در این صورت از طرح‌های عاملی استفاده میشود که اگر درست طراحی شوند، اطلاعات بیشتری با منابع کمتر می‌دهند. انتخاب میان این دو رویکرد، دقیقاً همان جایی است که مشورت با آمارشناس ارزشمند است.
یک نکته مهم: متغیرهایی که تصور می‌کنید مستقل‌اند، ممکن است در واقع به هم مربوط باشند. اگر این رابطه را نادیده بگیرید، نتایج ممکن است نامعتبر شوند. در بخش «آیا می‌توانید به نتایج اعتماد کنید؟» به این موضوع برمی‌گردیم.
طرح آماری و حجم نمونه
پس از تعریف متغیرها، باید طرح آماری مناسب را با دقت انتخاب کنید. طرح آماری به متغیرهایی که در نظر دارید و نوع پرسش‌تان بستگی دارد. مثلاً اگر می‌خواهید میانگین دو گروه را مقایسه کنید، یک نوع آزمون مناسب است و اگر بیش از دو گروه دارید، نوع دیگری. اگر رابطه میان دو متغیر پیوسته را بررسی می‌کنید، باز روش دیگری لازم است.
پیش از جمعآوری داده با آمارشناس مشورت کنید، نه بعد از آن. اگر زیست‌شناسی هستید که روی جمعیتی از گیاهان یا جانوران کار میکند، پزشکی که کارآزمایی بالینی انجام میدهد، یا پژوهشگر علوم اجتماعی که پیمایش طراحی میکند، آمارشناس میتواند پیش از شروع به شما بگوید چه حجم نمونه‌ای لازم است و چه طرحی مناسب است. آمارشناسی که بعد از جمعآوری داده سراغش می‌روید، اغلب فقط میتواند بگوید چرا این داده‌ها به پرسش شما پاسخ نمی‌دهند.
حجم نمونه چقدر باید باشد؟
یکی از رایج‌ترین ضعفهای پژوهش‌ها، نمونه کوچک است. با نمونه خیلی کوچک، حتی اگر اثر واقعی وجود داشته باشد، ممکن است نتوانید آن را تشخیص دهید؛ و اگر چیزی پیدا کنید، احتمال اینکه اندازه‌اش را بیش از واقعیت برآورد کرده باشید بالاست. «تحلیل توان» روشی است برای تخمین اینکه برای تشخیص اثری با اندازه مشخص، به چه حجم نمونه‌ای نیاز دارید. این تحلیل به چند فرض نیاز دارد، مثل اندازه اثر مورد انتظار، که معمولاً از پژوهش‌های قبلی یا یک مطالعه آزمایشی به دست می‌آید.
مطالعه آزمایشی (پایلوت)
پیش از اجرای کامل، یک نسخه کوچک از آزمایش یا مطالعه را اجرا کنید. مطالعه آزمایشی برای گرفتن نتیجه نهایی نیست؛ برای پیدا کردن مشکلات است: پرسشی که شرکت‌کنندگان بد می‌فهمند، مرحله‌ای که بیشتر از انتظار طول می‌کشد، ابزاری که در شرایط واقعی خوب کار نمی‌کند. چند روز مطالعه آزمایشی میتواند ماه‌ها کار را نجات دهد.
اگر در انتخاب آزمون یا محاسبه حجم نمونه کمک می‌خواهید، صفحه تحلیل آماری با SPSS و R نقطه شروع خوبی است و تیم مشاوره پژوهشی هوش پژوهشی هم میتواند همراهی کند.
برنامه جمعآوری و مدیریت داده
بعد از طراحی آزمایش، باید برنامه‌ای برای جمعآوری و نگهداری داده‌ها داشته باشید. باید بدانید چه نوع داده‌ای جمع می‌کنید، در چه قالبی و چطور ذخیره‌اش می‌کنید. این کار شاید خسته‌کننده به نظر برسد، اما وقتی پس از دو سال صدها فایل داده دارید، تفاوت میان یک پوشه منظم و یک پوشه آشفته، تفاوت میان چند ساعت و چند هفته کار است.
- قرارداد نام‌گذاری: از ابتدا تعیین کنید فایل‌ها چطور نام‌گذاری شوند؛ مثلاً تاریخ، شماره آزمایش، شرایط و نسخه. «data_final_final2.xlsx» را برای همیشه کنار بگذارید.
- داده خام را دست نزنید: یک نسخه از داده‌های خام را فقط‌خواندنی نگه دارید و همه پردازش‌ها را روی نسخه کپی انجام دهید.
- فراداده بنویسید: برای هر مجموعه داده، یک فایل توضیح کوتاه داشته باشید: چه چیزی، کی، چطور، با چه ابزاری و با چه واحدهایی اندازه گرفته شده.
- پشتیبان‌گیری چندجایی: دست‌کم دو نسخه پشتیبان در دو مکان مختلف.
- حریم خصوصی: اگر داده‌های انسانی دارید، اطلاعات هویتی را جدا و امن نگه دارید و قواعد اخلاق پژوهش دانشگاه را رعایت کنید.
برنامه تحلیل را پیش از دیدن داده بنویسید
در نهایت، پیش از جمعآوری داده، برنامه تحلیل را مشخص کنید: کدام آزمون‌ها را روی کدام متغیرها اجرا می‌کنید، با داده‌های گمشده و پرت چه می‌کنید و معیار تصمیم‌گیری چیست. همان‌طور که در فصل قبل دیدیم، این کار مهم‌ترین سد در برابر سوگیری تأیید و «دست‌کاری تحلیل تا رسیدن به نتیجه دلخواه» است. اگر بعداً به دلیل موجهی تحلیل را تغییر دادید، اشکالی ندارد؛ فقط شفاف گزارشش کنید.
اجرای آزمایش در هفت مرحله
مرحله بعد، آزمودن هر فرضیه است. برای این کار فهرستی از کارهایی که برای پاسخ به هر پرسش لازم است تهیه کنید؛ این فهرست، روش اجرایی شما خواهد بود.
- مواد و تجهیزات را آماده کنید. فهرستی از همه چیزهایی که لازم دارید تهیه کنید: مواد، ظروف، ابزار دقیق، نرم‌افزار، فرم‌ها یا پرسشنامه‌ها. همه را جمع کنید و مطمئن شوید درست کار می‌کنند. کالیبراسیون ابزارها را پیش از شروع انجام دهید.
- داده‌ها را ثبت کنید. آزمایش‌ها اغلب به‌صورت یک سری انجام می‌شوند؛ مثلاً هر بار یک متغیر را با مقدار متفاوتی تغییر می‌دهید. هر «اجرا» را جداگانه ثبت کنید و پاسخ سیستم را در جدول یا نمودار بنویسید. داده‌هایی که در این مرحله جمع می‌کنید «داده خام» است؛ فقط پس از تحلیل می‌توان آن‌ها را «نتیجه» نامید.
- مشاهدات را ثبت کنید. هر مشکلی که پیش می‌آید و هر چیزی که از ابتدا تا انتهای آزمایش رخ میدهد را یادداشت کنید، هر قدر هم که آن لحظه بی‌اهمیت به نظر برسد. این مشاهدات بعدها برای تفسیر داده‌های خام حیاتی‌اند.
- آزمایش را تکرار کنید. تکرارپذیری یکی از قواعد اصلی روش علمی است. نتایج باید هم برای خودتان و هم برای دیگران قابلتکرار باشد. تکرار کمک میکند مطمئن شوید نتیجه حاصل یک اتفاق یا خطای یک‌باره نیست.
- داده‌ها را تحلیل کنید. طبق برنامه‌ای که از پیش نوشته‌اید: آمار توصیفی، آزمون‌های آماری، نمودارها. تحلیل داده به شما اجازه میدهد نتایج را دقیق و معتبر ترسیم کنید و به نتیجه‌گیری منطقی برسید.
- نتایج را ارائه دهید. در قالب گزارش، پوستر، ارائه شفاهی در جلسه گروه یا کنفرانس. ارائه زودهنگام نتایج، بازخوردی می‌آورد که شاید تفسیر شما را تغییر دهد.
- نتایج را ارزیابی و تفسیر کنید. محدودیت‌ها، عدم قطعیت‌ها و احتمال خطا را بسنجید. تفسیر خوب صادقانه می‌گوید داده‌ها چه چیزی را نشان می‌دهند و چه چیزی را نشان نمی‌دهند.
آیا می‌توانید به نتایج اعتماد کنید؟
آزمایش را درست طراحی کرده‌اید و امیدوارید طبق روش‌ها و رویه‌هایی که تعیین کرده بودید اجرایش کرده باشید. حالا نتایج جلوی شماست. اگر در مقایسه با گروه کنترل تفاوتی نمی‌بینید، یا تفاوتی می‌بینید که انتظارش را نداشتید، اولین پرسش این است: آیا روش‌های اندازه‌گیری‌ام درست کار کرده‌اند؟ اگر مطمئن شدید ابزار مشکلی ندارد، بعد سراغ تشخیص نوع خطا بروید.
تشخیص خطاهای تصادفی
تشخیص خطاهای تصادفی آسان‌تر است، چون به داده‌هایی می‌انجامند که دقیقاً تکرار نمی‌شوند. هیچ دو اندازهگیری در طبیعت دقیقاً یکسان نیستند؛ پس باید تصمیم بگیرید که آیا تفاوت در داده‌ها با تغییرپذیری طبیعی توضیح‌پذیر است یا نه. تکرار بیشتر و افزایش حجم نمونه، اثر خطای تصادفی را کم میکند. گاهی خطای تصادفی به این دلیل رخ میدهد که در یک اجرا کاری را کمی متفاوت انجام داده‌اید؛ مثلاً ظرفی را به‌طور کامل تمیز نکرده‌اید. اینجاست که دفترچه پژوهش دقیق نجات‌بخش میشود.
شناسایی خطاهای سیستماتیک
شناسایی خطاهای سیستماتیک دشوارتر است، چون در نگاه اول داده‌ها ثابت و تکرارپذیر به نظر می‌رسند و نمی‌دانید چه چیزی همه اندازهگیریها را به یک سمت هل میدهد. راه‌های تشخیص: اندازهگیری نمونه‌های استاندارد با مقدار شناخته‌شده، مقایسه با روش اندازهگیری مستقل دیگر، تغییر عمدی شرایطی که فکر می‌کنید بی‌اثرند، و خواستن از فرد دیگری که همان اندازهگیری را انجام دهد.
شناخت متغیرهای مرتبط
اگر متغیرها از هم مستقل نباشند و این رابطه را نادیده بگیرید، نتایج ممکن است نامعتبر شوند. متغیرها فقط وقتی مستقل‌اند که اثرشان را به‌طور جداگانه ایجاد کنند. مثلاً اگر دما و رطوبت در آزمایشگاه شما همزمان تغییر می‌کنند، نمی‌توانید اثر یکی را بدون کنترل دیگری نسبت دهید. پیش از نتیجه‌گیری، از خودتان بپرسید: «چه چیز دیگری همزمان با متغیر مستقل من تغییر کرده است؟»
طراحی در پژوهش‌های غیرآزمایشی
اگر پژوهش شما پیمایش، مصاحبه، تحلیل داده‌های موجود یا مطالعه موردی است، ممکن است فکر کنید این فصل برای شما نیست. اما اصول همان‌اند، فقط شکلشان فرق میکند:
| اصل طراحی | در پیمایش و پرسشنامه | در پژوهش کیفی و مصاحبه | در تحلیل داده‌های ثانویه |
|---|---|---|---|
| هدف روشن | هر سؤال به کدام متغیر پژوهش مربوط است؟ | پرسش پژوهش و دامنه پدیده مورد مطالعه | دقیقاً چه پرسشی از این داده‌ها پاسخ‌پذیر است؟ |
| کنترل سوگیری | ترتیب سؤال‌ها، جمله‌بندی خنثی، نمونه‌گیری مناسب | بازاندیشی پژوهشگر، ثبت پیش‌فرض‌ها، بررسی با همکار | آگاهی از نحوه جمعآوری اولیه و محدودیت‌های داده |
| اعتبار اندازهگیری | روایی و پایایی ابزار | اعتبارپذیری، انتقال‌پذیری، قابلیت تأیید | تعریف دقیق متغیرها و سازگاری میان منابع |
| مطالعه آزمایشی | اجرای پرسشنامه روی گروه کوچک | یک یا دو مصاحبه آزمایشی | تحلیل اکتشافی روی بخشی از داده |
| ثبت دقیق | مستندسازی فرایند جمعآوری و پاک‌سازی | یادداشت میدانی، ضبط و پیاده‌سازی دقیق | نسخه‌بندی کد و مستندسازی هر تبدیل |
برای آشنایی بیشتر با این طراحی‌ها، صفحه‌های پژوهش کیفی و NVivo و مرور نظام‌مند و متاآنالیز را ببینید.
اخلاق پژوهش را از مرحله طراحی ببینید
ملاحظات اخلاقی چیزی نیست که بعد از طراحی به آن اضافه شود؛ بخشی از خود طراحی است. اگر پژوهش شما با انسان، جانوران، داده‌های شخصی یا مواد خطرناک سروکار دارد، پیش از شروع باید مجوزهای لازم را از کمیته اخلاق دانشگاه یا مرجع مربوط بگیرید. این فرایند گاهی هفته‌ها یا ماه‌ها طول می‌کشد؛ پس آن را در زمان‌بندی‌تان لحاظ کنید.
- رضایت آگاهانه: شرکت‌کنندگان باید بدانند در چه چیزی شرکت می‌کنند، چه خطرهایی وجود دارد و می‌توانند هر زمان کنار بکشند.
- کمینه‌سازی آسیب: آیا میشود با نمونه کوچک‌تر، روش کم‌تهاجمی‌تر یا داده‌های موجود به همان پرسش پاسخ داد؟ در پژوهش‌های جانوری، اصل کاهش، جایگزینی و بهبود را در نظر بگیرید.
- محرمانگی: از ابتدا تعیین کنید داده‌های هویتی چطور جدا، رمزگذاری و نگهداری می‌شوند و چه کسانی به آن‌ها دسترسی دارند.
- ایمنی: ارزیابی خطر کار با مواد و تجهیزات را پیش از شروع انجام دهید و دستورالعمل‌های ایمنی را جدی بگیرید.
طراحی‌ای که نیازهای اخلاقی را از ابتدا در نظر گرفته باشد، معمولاً سریع‌تر تصویب میشود و کمتر در میانه کار متوقف میشود.
طراحی برای دیگران: تکرارپذیری و شفافیت
پژوهش شما فقط برای خودتان نیست. روزی کسی، شاید یک داور، شاید دانشجوی دکتری دیگری در آن سوی دنیا، شاید خودِ شما پنج سال بعد، می‌خواهد بفهمد دقیقاً چه کرده‌اید و چرا. طراحی با این نگاه، کیفیت کار را بالا می‌برد:
- پروتکل مکتوب داشته باشید. پیش از اجرا، روش را آن‌قدر دقیق بنویسید که فرد دیگری بتواند بدون پرسیدن از شما اجرایش کند. همین پروتکل بعدها پیش‌نویس بخش روش مقاله و رساله میشود.
- کد و تحلیل را قابل‌بازتولید کنید. اگر تحلیل را با نرم‌افزار انجام می‌دهید، به جای کلیک‌های ثبت‌نشده، از اسکریپت یا فایل دستورها استفاده کنید تا هر نتیجه با اجرای دوباره همان مراحل بازتولید شود.
- تغییرات را مستند کنید. اگر در میانه کار روش را عوض کردید، تاریخ، دلیل و جزئیات تغییر را ثبت کنید.
- به اشتراک‌گذاری فکر کنید. بسیاری از مجلات امروز از پژوهشگران می‌خواهند داده‌ها یا کدها را در دسترس قرار دهند. اگر از ابتدا داده‌ها را منظم و مستند نگه دارید، این کار در زمان انتشار آسان است.
بخش روش‌شناسی معمولاً همان بخشی است که داوران با دقت بیشتری می‌خوانند. اگر پروتکل‌تان کامل باشد، نوشتن آن بخش در فصل از داده تا مقاله بسیار ساده‌تر خواهد بود.
وقتی آزمایش طبق برنامه پیش نمی‌رود
هر اتفاقی بیفتد، چه آزمایش موفق باشد و چه نه، چیزی یاد گرفته‌اید؛ چون علم خیلی فراتر از گرفتن «جواب» است. حتی اگر آزمایش‌ها به پرسش‌های مشخص‌تان پاسخ ندهند، ایده‌هایی می‌دهند که میشود با آن‌ها آزمایش‌های بعدی را طراحی کرد. دانستن اینکه چه چیزی کار نمی‌کند، خودش دانش است.
وقتی نتیجه غیرمنتظره است، این گام‌ها را طی کنید:
- مکث کنید و ثبت کنید. پیش از هر تغییری، دقیقاً بنویسید چه انتظاری داشتید و چه دیدید.
- سادهترین توضیحها را اول بررسی کنید. خطای محاسبه، برچسب اشتباه نمونه، تنظیم نادرست دستگاه. بسیاری از «کشف‌های» عجیب، اشتباه‌های ساده‌اند.
- دفترچه پژوهش را مرور کنید. آیا شرایطی متفاوت بوده که آن روز اهمیتش را ندیدید؟
- با کسی صحبت کنید. توضیح دادن مشکل برای یک هم‌گروهی یا استاد راهنما، گاهی خودش راه‌حل را آشکار میکند.
- یک آزمایش کوچک برای آزمودن توضیح احتمالی طراحی کنید. به جای تکرار کورکورانه کل آزمایش.
و اگر آزمایش‌ها پشت سر هم شکست می‌خورند و احساس ناامیدی می‌کنید، فصل کنار آمدن با شکست‌ها دقیقاً برای همین لحظه‌هاست.
داستان فرضی: مطالعه آزمایشی‌ای که سه ماه نجات داد
این داستان ساختگی است و برای روشن‌تر شدن مفاهیم این فصل نوشته شده است.
رضا دانشجوی دکتری علوم تربیتی بود و می‌خواست اثر یک روش تدریس را بر انگیزه دانش‌آموزان بسنجد. پرسشنامه‌اش آماده بود و مجوز سه مدرسه را گرفته بود. استادش پیشنهاد داد پیش از اجرای اصلی، پرسشنامه را روی یک کلاس اجرا کند. رضا اول مخالف بود؛ فکر می‌کرد وقت تلف میشود.
مطالعه آزمایشی سه مشکل را آشکار کرد. دو سؤال پرسشنامه را دانش‌آموزان کاملاً متفاوت از منظور رضا فهمیده بودند. پر کردن پرسشنامه به جای پانزده دقیقه، سی دقیقه طول کشید و کلاس‌ها برای این زمان آماده نبودند. و مهم‌تر از همه، معلمی که قرار بود روش جدید را اجرا کند، بدون آموزش کافی آن را به شکل متفاوتی اجرا کرد. رضا سؤال‌ها را اصلاح کرد، پرسشنامه را کوتاه‌تر کرد، یک جلسه آموزشی برای معلم‌ها گذاشت و با آمارشناس دانشکده حجم نمونه را دوباره محاسبه کرد. اجرای اصلی بی‌دردسر پیش رفت. اگر این مشکلات در اجرای اصلی پیدا می‌شدند، داده‌های یک ترم کامل عملاً قابل‌استفاده نبود.
- شروع جمعآوری داده پیش از روشن شدن پرسش. داده زیاد بدون پرسش روشن، معمولاً به تحلیل‌های بی‌هدف و نتیجه‌گیری‌های سست می‌انجامد.
- نداشتن گروه کنترل مناسب. بدون مقایسه درست، نمی‌شود گفت اثر مشاهده‌شده از متغیر مستقل است یا از چیز دیگری.
- نمونه کوچک به خاطر محدودیت زمان. اگر نمونه کافی ممکن نیست، بهتر است پرسش را محدودتر کنید تا اینکه به پرسشی بزرگ با داده ناکافی پاسخ دهید.
- تغییر چند متغیر همزمان بدون طرح عاملی. نتیجه، داده‌ای است که نمی‌شود اثر هر متغیر را از آن جدا کرد.
- حذف مطالعه آزمایشی برای صرفه‌جویی در وقت. تقریباً همیشه گران‌تر تمام میشود.
جمع‌بندی: طراحی خوب، نصف نتیجه است
برای طراحی پژوهش خوب، هدف را مشخص کنید، راهبرد را برنامه‌ریزی کنید و به جزئیات اجرا توجه کنید. متغیرها را تعریف کنید، طرح آماری و حجم نمونه را پیش از جمعآوری داده و ترجیحاً با کمک آمارشناس تعیین کنید، برنامه مدیریت و تحلیل داده را از پیش بنویسید و یک مطالعه آزمایشی اجرا کنید. هنگام اجرا همه‌چیز را ثبت کنید، تکرار کنید و پیش از اعتماد به نتایج، خطاهای تصادفی و سیستماتیک و متغیرهای مرتبط را بررسی کنید. و یادتان باشد: آزمایشی که طبق برنامه پیش نرفت، شکست نیست؛ داده است.
اگر فقط یک توصیه از این فصل در ذهن‌تان بماند، این باشد: پیش از جمعآوری اولین داده، طرح خود را برای استاد راهنما، یک هم‌گروهی باتجربه و در صورت امکان یک آمارشناس توضیح دهید و از آن‌ها بخواهید ایرادهایش را پیدا کنند. هر ایرادی که در این مرحله پیدا شود، ارزان‌ترین ایرادی است که در کل پروژه پیدا خواهید کرد.
چک‌لیست پیش از اجرای آزمایش یا مطالعه
طراحی خوب، ماه‌ها کار را نجات میدهد
این فصل بخشی از دوره زندگی در دوران دکتری با دکتر سعید جوی‌زاده است؛ ۲۵ فصل از انتخاب گروه تا دفاع و بعد از آن.
سوالات متداول درباره طراحی پژوهش در دکتری
ویژگیهای یک طراحی پژوهش خوب چیست؟
طراحی خوب میان فرضیههای رقیب تمایز میگذارد، نتایج تکرارپذیر میدهد، متغیرها را کنترل میکند، روش اندازهگیری قابلتکرار دارد، در صورت امکان کورسازی میشود و به صحت، دقت و عدم قطعیت اندازهگیری توجه دارد.
فرق صحت و دقت در اندازهگیری چیست؟
صحت یعنی میانگین اندازهگیریها چقدر به مقدار واقعی نزدیک است و دقت یعنی اندازهگیریهای تکراری چقدر به هم نزدیکاند. دقت بالا بدون صحت نشانه خطای سیستماتیک است.
کی باید با آمارشناس مشورت کنم؟
پیش از جمعآوری داده، در مرحله طراحی. آمارشناس میتواند به انتخاب طرح مناسب و محاسبه حجم نمونه کمک کند؛ مشورت بعد از جمعآوری داده اغلب نمیتواند ضعفهای طراحی را جبران کند.
مطالعه آزمایشی (پایلوت) چه فایده‌ای دارد؟
نسخه کوچکی از پژوهش اصلی است که برای پیدا کردن مشکلات روش، ابزار و زمان‌بندی اجرا میشود، نه برای گرفتن نتیجه نهایی. میتواند از هدر رفتن ماه‌ها کار جلوگیری کند.
اگر نتیجه آزمایشم غیرمنتظره بود چه کنم؟
اول دقیق ثبت کنید، بعد سادهترین توضیحها مثل خطای محاسبه یا برچسب اشتباه را بررسی کنید، دفترچه پژوهش را مرور کنید، با دیگران مشورت کنید و برای آزمودن توضیح احتمالی یک آزمایش کوچک طراحی کنید.
منبع الهام ساختار موضوعی: Gosling, P. & Noordam, B. Mastering Your PhD, Springer. متن این صفحه بازنویسی و شرح آموزشی است.