- 從概念到測量
探究基本上是一種答問。上一課討論如何定題,題目定好後,便進入資料搜集的階段。問題是,我們如何才知道搜集回來的資料真能回答我們先設的問題?我們認為相關的資料又是否被其他人所認同?這些都涉及科學探究術語中,有關概念操作化、信度、效度以及抽樣等問題。根據 O'Leary (2004:58) 的建議,所有科學探究都應具備以下元素:
科學探究所需元素 |
客觀性 (objectivity) |
個人的主觀性可以在探究的不同階段滲入並左右探究所得。我們必須在每個關鍵的階段隔離自己的偏見和價值觀等帶引導性的因素,並依從一些基本的程序,更全面的探究現象,盡量把可能出現的偏差和盲點減至最少。
本課程系列主要闡明三個階段扮演的角色:(a) 定題、(b) 數據蒐集、以及 (c) 資料分析和立論。上一課討論過第一點,本章則會集中探討蒐集資料時需要注意的事項。下一課將就分析和立論時應進行的基本程序續述。
|
信度 (reliability) |
探究所得的數據和結果能否在重復的處境和程序下繼續一致?另見稍後之解述。
|
效度 (validity) |
信度和測量工具的穩定性有關,效度則評估工具能否真正量度概念的精髓,即探究追求的真實價值 (truth value);另見稍後之解述。 |
概括性 (generalizability) |
探究結果能否概括至實徵範圍以外的個案?換句話說,來自樣本的資料能否有效地概括至更大之母群?這和抽樣相關,另見稍後之解述。 |
可驗證性 (verifiability) |
探究數據和結論是否能夠被其他人檢驗證明?這和程序整體的客觀性和透明度有關。例如,探究員有否明確解釋如何進行資料蒐集過程?及如何就這些資料作出分析和立論?簡而言之,其他人能否真確重復相關程序,並得出大概一致的結果和結論? |
- 概念操作化
無論專題報告的文獻和概念部份寫得如何完美動人,最關鍵的還是如何把這些內容轉化為相關的實徵指標和測量工具,然後有系統地將之搜羅資料分析。概念操作化所指的,便是這個把抽象概念轉化為可測量驗證之實徵數據的過程。
以上說話可能相對抽象,讓我們先從一個反面教材出發,檢視例子如何把概念操作化,淺析當中問題,再循本課程系列建議的科學程序重新修正,帶出探究需要留意的一些重要事項。以下我們會以民建聯於2007年所做的一項調查《父親自我形象及期望的調查》(下稱「調查」)做為概念操作化的例子。我們並非針對個別團體,而是想大家知道很多日常接觸到的調查都會犯類似的錯誤,這個只是其中一個例子。
例子:父親自我形象及期望的調查
從表面看,「調查」基本上是描述性而不是解釋性,集中探究現象的事實和檢核面向。題目包含三個概念,分別 是“父親”、“自我形象”和“期望”,而「調查」把父親角色和第二和第三個概念結合,配成兩個有待操作化的探究概念,即“父親自我形象”和“父親期望”。「調查」共發問了七個問題,當中那些問題是用來測量這兩個概念呢?
測量工具(「調查」問題) |
估計用作測量的概念或資料類別 |
i. |
請問你有幾多個兒女? |
個人背景資料(子女數目) |
ii. |
你點解要生下一代? |
成為父親的動機 |
iii. |
你認為自己屬於以下哪一類型的父親? |
自我形象(所屬之父親類型) |
iv. |
你認為作為父親最需要給予子女什麼東西? |
對父親角色的籠統期望 |
v. |
你認為身為父親感到最大的困擾是? |
自我形象(對能力的評估)
父親角色的面向 |
vi. |
你最希望兒女同自己講以下哪句說話? |
對子女的期望 |
vii. |
在你眼中怎樣評價自己身為父親的成績? |
自我形象(對能力的評估) |
如上圖顯示,“父親自我形象”和“父親期望”兩個關鍵概念,分別以問題(iii)、(v)、(vii)和 (iv)、 (vi)測量:
關鍵概念 |
「調查」問題 |
「調查」答項 |
父親自我形象 |
(iii) |
你認為自己屬於以下哪一類型的父親? |
嚴父型
與子女像朋友
寵縱兒女
不太關心,教兒女是母親的事
無意見 |
(v) |
你認為身為父親感到最大的困擾是? |
經濟負擔
兒女教育問題
兒女健康問題
兒女溝通問題
來自妻子及其他家庭成員的壓力 |
(vii) |
在你眼中怎樣評價自己身為父親的成績? |
超好
好
中規中矩
不合格 |
父親期望 |
(iv) |
你認為作為父親最需要給予子女什麼東西? |
相陪的時間
經濟的支持
道德品行的培養
精神上支持
其他 |
(vi) |
你最希望兒女同自己講以下哪句說話? |
我考到好成績
我想第時好似爹地咁
我會孝順你
我第時會養你
其他 |
作為測量工具,這些問題能否滿足科學探究的要求?我們不單要留意問項的設計,更須注意答項真正提供的選擇。這些測量工具做得不“貼身”,蒐集回來的數字和資料便得無所用。以下將就每個問題淺探:
- 概念一:父親自我形象
縱觀「調查」中的三個問題,會發現真正量度的內容其實片面空泛:
-
(iii) 這問題嘗試量度父親的自我形象。觀乎提供之答項,則以集中評估自己和子女之關係,並以對子女管束之輕重來決定變值的變化。
-
(v) 另一方面,“困擾”一詞亦見含糊,究竟意指
- 自己能力上做得不足的事項,抑
- 作為父親會擔憂的問題,而這些問題不一定和自己能力有關,或在個人能力範圍控制以內?
兩者的意思明顯不同。探究想尋找的是那方面的資料?比方魏先生在作答時選擇了“兒女教育問題”,那我們該詮釋為前者抑後者的意思呢?前者跟自我形象和自我能力評估有關,後者則關乎受訪者認為父親角色可能帶來的壓力,未必和自我能力評估有關。「調查」的總體設計沒有提供任何幫助我們辨別兩者的線索,這令數據的信度和效度俱減,有機會令我們誤解了數據的指向,是探究過程必須避免的問題。
- (vii) 受訪者須在回答這問題時籠統評估自己的表現。
「調查」其實僅有兩個確切量度自我形象的問題,即(iii)和(vii),我們會發現前者是唯一對自我形象的面向和意思作進一步探索的問題。儘管如此,我們所知的也只是有限的、有關父親和子女之間的自我關係評估,並主要限於管束強弱的變幅。(vii)則只是籠統的自我評估,但我們是否真的了解受訪者在回答“超好”或“不合格”的背後是指那方面的好和不好?表面上,(vii) 確實是量度自我形象,然這類資料有否深層啟示,必須配合探究中所得的其他資料。以現有設計而言,量度父親自我形象的數據實太零碎單薄,亦導致(vii)所得之數據變得極為空洞,令我們無法真正探究父親的自我形象是什麼。
「調查」共有七條問題,除卻以上三條問題,以及另外兩題有關背景和做父親的動機的問項,其實只有兩條量度父親期望的問題,分別是(iv)和(vii),量度父親對自己及子女的期望。
在評估這概念的測量程序之前,我們必先返回一個更基本的問題,即有關探究的目的和背後理念。「調查」報告沒有詳細解釋設計邏輯或清楚界定每個概念的意思,但有提及探究背後的一些假設:
“一個和諧的家庭,父親的自我形象及期望對促進家庭融洽起重要作用。為此...進行一項調查,以了解以為人父的人士對自我形象及期望的意見。
”
如是者,便應在鎖緊關鍵概念之際同時清晰探討面向,並在設計問項的時候更集中搜集和父親角色與家庭關係有關的資料。 須明白每個概念 -- 包括父親角色、自我形象以及期望 -- 的涵蓋面甚廣,我們須清晰操作化所用之定義,並循這方向把概念轉化為變項或其他類型的測量工具。否則便方向頓失,問非所需,資料得無所用。這見諸「調查」中七條問題的設計:
-
「調查」設計的問題
如上表顯示,問題主要分四大類,分別量度以下各項:
雖然受訪者都有一個共同身份(父親),然這組別的背景極為多元。搜集基本個人資料能幫助我們了解有關上一課中提到的“什麼人”(who)、以及預視第三個變項的問題。個人資料涵蓋的範圍沒有邊際,我們需做的是思考那些背景上的分別最可能在父親群中呈現自我形象和期望方面的分歧。例如,來自不同階層、或擁有不同教育程度的父親會否在價值觀上對家庭和父親這角色有不同的看法?這些因素都可能影響當事人的自我形象,以及他對自己和子女的期望。
「調查」中餘下一個與別不同的問題,即 (ii) -- “你點解要生下一代? ”。表面上,這問題探究為父之動機,究竟和探究題目有什麼關係,實在令人摸不著頭腦。提供的答項卻在這方面提供了一點端倪,而答項包括:
養兒防老
「調查」原意是否籍此問題探究受訪者對生兒育女的價值觀呢?如是者,方向是正確的,但提問方法和各問項的協調上卻出現頗大的問題。以下部份嘗試採用本課程系列建議的科學方法,從返程序的早段,重構並提出基本的建議和修正。
例子:建議和修正
這階段首要做的是清晰主題、鎖定概念、以及確認所需之實質數據。我們建議循以下方向進行修正:
「調查」報告中並沒有交代關鍵概念的定義,讓我們先就此作補充修正:
概念 |
概念定義 |
父親 |
父親是一個社會角色 (social role),是一個關係結構(“家”)下的一個身份 (social status)。家是一種社會建制 (family as a social institution),而這建制內有一套互動的角色,如母親、兒子或女兒。每個角色都附帶社會/集體價值觀 (social/collective values) 下認可的功能 (functions)。例如,傳統父權社會強調父親在外工作和養家的角色,而母親則負責主內,料理家務和照顧下一代。這些觀念會隨著社會變遷和因應不同背景的社群而有所不同。
|
自我形象 |
自我形象則是一個自我評估的概念,關乎個人不同面向 -- 如能力 (capability)、價值 (worthiness) 和重要性 (significance) -- 之反思審定。 (Coopersmith, S. 1967)
|
如下圖示,我們會在界定概念的過程中,發現不同概念之間的微妙關係。例如,自我形象背後反映的其實是個人對家庭和相關角色的理解和價值觀念。如是者,我們應在概念操作化,以及整體問項的設計中,儘量涵蓋相關的面向,並確保測量工具能搜集足夠的資料去驗證推論的關係。
數據豐富與否,視乎我們如何把概念界定,逐步將之轉化為測量的工具。假設我們心目中想了解的是父親的自我形象,但這概念太空泛,我們希望在搜集資料的時候可循不同方向查問。要做到這點,我們需要在定義的過程中儘量豐富概念的面向 (maximize the dimensions),希望在概念化的階段已設想到現象涉及的不同範圍。大家必須緊記,探究最終所得是來自一連串依次的程序。要盡量減少過程中的隨意和主觀性,便必須把整個探究邏輯(logic of inquiry) 透明化,那樣才能有序可依,讀者和評分員亦可有客觀的準則去判斷程序有否出錯,以及結論是否可信。
以自我形象這個概念為例,我們可先分三個面向(能力、價值和重要性),再作不同層面(物質、情感)的次分類:
如此類推,我們可邏輯地把以上的導圖操作化為以下的問卷問題。這些問題和附帶的答項便是我們用來量度自我形象的測量工具:
對比「調查」中只有以下問題探究自我形象,上表問項所蒐集回來的資料明顯全面和明確得多:
概念 |
測量問題 |
自我形象 |
你認為自己屬於以下哪一類型的父親? |
你認為身為父親感到最大的困擾是? |
在你眼中怎樣評價自己身為父親的成績? |
- 變項的屬性
- 測量尺度 (scale of measurement)
以上修正的每一個問題都可視作為一個變項。正如第一課中提到,變項是一個隔離屬性 (attribute/property)的工具,而變項的值指一些具體的屬性,會根據數值或類別而出現變化。例如,性別是一個類別變項,而這變項的值包括男或女;年齡亦能作變項,但其屬性變化可以任何大於零的數值顯現。 測量尺度看似是很技術性的問題,但不同屬性的資料其實需要不同的圖表和統計工具歸納分析,第四課將提供基本示範。
假若選用的是設有答項的問卷調查法或實驗法,則亦須留意答項中之變值設計。所提供的選項必須同時滿足以下三個條件:
答項必須避免重疊
這是科學探究書籍中常提的互斥 (mutually exclusive) 問題。要做到資料準確無誤,答項中的變值必須避免重複。下表便是一個反面例子:
下圖(左)顯示上表分佈,右圖則根據原始答案及互斥之類分下繪製。受訪者中其實有60%喜歡游泳,但由於左圖的答項設計並不互斥,資料只顯示有20%喜歡游泳,而誤導了讀者有關其它選項 -- 運動和戶外活動 -- 的意思。
非互斥類別下可能出現的答案 |
互斥類別下的答案 |
|
|
答項必須涵蓋所有可能出現的變值
即使問題問准了,我們是否有提供適當的答項呢?我們設計的選項能否為受訪對象提供一個貼近他們實際經驗的選擇?這牽涉探究用語中常提的周延性 (mutually exhaustive)問題。假設曹小姐是第六位受訪者,而她大部份餘閑時間都用來上網,實際用來閱讀的時間十分有限,更談不上真正熱愛。然而,提供的答項有限,她在沒有選擇之下只能選 (a):
受訪者 |
選項 |
名字 |
餘閑活動 |
(a)閱讀 |
(b)觀賞電影 |
(c)游泳 |
(d)運動 |
(e)戶外活動 |
? |
曹小姐 |
上網 |
|
|
|
|
|
變項的互斥性和周延性同樣重要,探究員必須兩者兼顧,才能設計出有效的指標。以下之答項便嘗試修正剛才的問題,提供互斥周延之選項:
請選出你最熱愛的五項餘閑活動 ,並依次由1至5(1代表最喜愛),顯示喜愛程度之排序: |
a
b
c
d
e
f
g
h
i
j
k |
看電視
戲院看戲
閱讀 (不包括網上瀏覽)
逛街購物
參觀博物館
戶外運動
室內運動
上卡拉OK
電子遊戲 (網上或網外)
上網 (不包括網上電子遊戲)
其他 〔請註明 〕 |
答項應反映實際的變值差異
即使滿足了以上要求,還需留意每個答項之間的變值變化是否有效反映差異範圍內的重要分別。假設我們向一百個受訪者發問同一問題,你認為以下那個變幅的答項能更有效地搜集數據?
問題:在過去一年內,你每月平均花費多少在纖體產品和服務上? |
樣本數目:100 |
|
答項設計一 : |
答項 ($) |
0 |
1-500 |
501-1,000 |
1,001-3,000 |
3,001或以上 |
個案 (%) |
20 |
20 |
30 |
25 |
5 |
|
沒有回答的個案:0
|
|
答項設計二: |
答項 ($) |
1-100 |
101-500 |
501-5,000 |
5,001或以上 |
個案 (%) |
5 |
15 |
59 |
1 |
|
沒有回答的個案: 20 |
如以下圖示,答項設計一的選幅較能顯示受訪者之間的差異,設計二則有過半(59%)的個案集中在某一個選幅內,反映答項設計無法有效反映樣本內的變值分佈。更甚者,由於答項設計缺乏周延性,未能涵蓋所有可能出現的選幅,竟有五份一的受訪者在沒有適當選項的情況下無法作答。
答項設計一 |
答項設計二 |
|
|
這樣的數據粗疏空泛,將無助往後分析。反觀答項設計一,我們有更多資料去辨別行為型態(消費習慣)的差異。我們可把這些差異分佈對比個案的其他變項屬性,如年齡或教育程度,以探索不同變項之間可能有的相互關係。 以下圖表便是根據相同的樣本,但來自不同答項設計的數據所計算出來的結果:
答項設計一 |
|
答項設計二 |
|
如範例顯示,樣本中各個年齡層的確在纖體月均花費上呈現系統性的分別,而這見諸甲圖的月均花費分佈。根據圖示,花費明顯隨著年齡層的遞升而增加,但卻在41歲或以後逐見回落。反觀設計二,由於某個答項兼容的變幅過大,導致數據無法有效顯示不同年齡組別之間可能出現的差異。如乙圖顯示,探究員會答項設計失當的情形下,根據所蒐集的數據而錯誤把26-50歲幾個年齡層的消費行為歸為類同,明顯扭曲真相。
在實際探究過程中,我們無法確知“真相”的屬性。然而,我們可通過嚴謹的程序去設計可行情況下最科學和全面的測量工具。正因如此,我們必須在探究的初階進行有系統的背景資料蒐集,並在確立問題後清晰關鍵概念的定義,然後逐步將之操作化。如進行的是量性分析,更應仔細設計答項,訂立適當的尺度和變幅。每一個步驟都必須透明循序,這樣才能搜集真正有用的資料。
- 測量工具的品質
所有探究方法都只是一種測量工具。然而,無論工具是好抑壞,最後都會蒐集到某些資料回來,我們須學會的是辨別數據之優劣。例如,訪問的問題有否用上不當的字眼,導致對方理解有誤,影響回答時的真確性?科學探究術語中把這些問題分為兩類,亦即早前提及的信度和效度,簡述如下:
同一個問題,問予反應應是一致的受訪者,會否得出不同的答案?這便是信度的問題。信度高的測量工具能在重複測試下得出穩定和一致的結果。假設我們分別以兩個容器去重複量度同一體積的清水,而以下是所得數據:
測量次數 |
體積 (安士) |
容器一 |
容器二 |
1 |
12 |
8 |
2 |
12.2 |
7 |
3 |
11.9 |
10 |
4 |
12 |
9 |
5 |
12.1 |
6.5 |
平均數 |
12.04 |
8.1 |
比較兩個容器,第一個的信度明顯較高,平均數與每次測量體積之異差有限,只是徘徊於0.04至0.16安士之間。反觀第二個容器,可能因為漏水或其他原故,測量結果極不穩定,平均數與每次測量體積之異差少則0.1,多則高達1.9安士,致令信度大減。
同一邏輯應用於社會探究問題。問項和答項所用的詞彙會否含糊不清,導致不同人有不同理解,減低工具的可信性?探究員又會否在訪問時用上有指引性的語調,導致數據素質上出現參差?這些都是影響信度的關鍵因素,須多加留意。
例如,早前提及之「調查」中問及,“你認為身為父親感到最大的困擾是什麼?”這問題所指的是受訪者實際遇到的困難,抑或他以為一般為父會最關心的問題?好的測量工具必須意思明確,因任何詮釋上的含糊都會製造類似容器漏水的問題,減低數據的穩定性。
一般而言,測量工具越劃一化,越牽涉較少的主觀詮釋便會信度更高。假設我們只能發問以下一個問題,前者把“稱職”劃一界別於滿足子女的物質需要上,後者則留給受訪者較多詮釋空間,而對方可能因應當時的情境而聯想到不同的“稱職”指標,減低測量工具的信度。
問題一:在提供物質需要方面,你覺得自己是否一個稱職的父親?
問題二:你覺得自己是否一個稱職的父親?
另外,由於探究往往牽涉人與人之間的互動溝通,我們也須留意操作這些工具時可能產生的偏差問題。例如,我們可能發問以下問題 -- “在過去的一年中,你曾否參與任何大型遊行?”問題簡單直接,但我們發問的語調可能會令對方感到我們認可或不認可這些行為,這些顧慮都會影響對方是否如實作答。換句話說,探究工具不局限於實際用的問項,也包括操作工具的探究員,亦即人的因素。我們需在探究的每個程序保持中立,所蒐集的數據才能保持客觀。
信度關乎測量工具的穩定性,效度則評估工具能否真正量度相關的真實價值 (truth value)。信度高的測量工具不一定帶有高的效度。假設郵包的真正重量是10千克,而以下是兩個電子磅的測量結果。A磅的測量結果相當穩定,但卻一致地偏離實際重量 5 千克。B磅的測量結果則欠穩定性,結果徘徊於真實數值的 ±2千克差幅內,但卻比A磅更接近真實重量。兩者比較下,前者信度高、效度低,後者則相反。
測量次數 |
測量結果 (千克) |
A磅 |
B磅 |
1 |
5 |
8 |
2 |
5 |
9 |
3 |
5 |
10 |
4 |
5 |
11 |
5 |
5 |
12 |
信度 |
|
|
效度 |
|
|
理想的測量工具應兩者兼備。以社會探究問題為例,假設我們想了解受訪者是否有歧視同性戀者,則以下那個問題的效度較高呢?
問題一:你是否認同同性戀?
問題二:你覺得你有否歧視同性戀者?
問題三:假若你同事告訴你知他是同性戀者,你會否因此和他疏遠關係?
要提高效度,必須弄清自己探究的是什麼,這返回早前提及之定題和概念定義等問題 。
|