:::

利用多層線性模式瞭解題目無反應

 研究論文
利用多層線性模式暸解
題目無反應*
楊孟麗*
摘要
研究己顯示,題自無反應的形成與安訪者及題目的特質有關,若
不加以暸解,可能會使研究結果產生偏誤。另一方面,也發現訪員特
質與受訪者在某些特殊議題的回答行為有關。因此討論題目無反應
峙,~\賓將訪員、受訪者與題目,三方區的特質同時納入考慮。已有
研究者將多層線性模式(HLM) 應用於題目無反應,但這些研究只眼
於探討題目與回答者兩者,或受訪者與訪員兩者之間的E動,或者無
反應的總數與受訪者及訪員之間的關係。本研究以HLM 中的三層模
式來探討題目特質、受訪者與訪員三者對於無反應的影響。所使用的
方法是先依攘題目的特質(面向)分類後,再以三層模式分析這些面
向中的無反應,同時暸解訪員特質、受訪者特質、與題目面向三者的
影響。我以分析台灣地區社會變遷基本調查第三期四次的傳播組中的
十個題目做為例子,並討論其結果。
關鍵字:多層線性模式、題頂無反應、訪員特色、受訪者特色
本中央研究院調查研究工作室博士後研究
的調查研究/第12 期
U sing Multilevel Modeling to
U nderstand Item N onresponse
Meng-Li Yang*
? ABSTRACT
Item nonresponse has been shown related to respondent and
item characteristics. On the other hand, interviewer characteristics
also have been found related to response behavior on some
special issues. Therefore, in studying item nonresponse, we need
to take into consideration characteristics of al1 three above,
namely, the interviewer, the respondent and the items. To solve
the problem, this study groups items based on what they measure
or what mechanism they might activate (dimension), and then
uses the 3-1evellogistic model to analyze them, so that the threeway
interaction among the items' dimensions, the respondent and
the interviewer can be investigated. N onresponse from 10 questions
in the Mass Media Volume (volume 1) of the Taiwan Social
Change fourth survey of the third period are analyzed as an
example. Results and implications are discussed.
Key W ord: HLM, multilevel logistic model, item nonresponse,
interviewer characteristics, respondent characteristícs
一、題目無反應
調查研究中的題目無反應包括了受訪者對於該題目的拒答、或回
* Postdoctoral in Office of Survey Research, Academia Sinica.
利用多層線性模式瞭解題目無反應61
答「不知道上「不瞭解題意」、「沒意見」等無法用於分析的資料。而
無反應對於研究品質的影響,除了減少可使用的資料外,也可能威脅
研究結果的正確性。因此鑽研調查研究法的研究者必須試圖瞭解題目
無反應可能產生的原因,以便盡可能改善調查的方式,減少無反應的
產生。
歷年來的研究發現,題目的特性、受訪者的特質及訪員的某些特
質都可能造成題目無反應。題目的難易度(例如:用字是否易區、回
答問題所需的知識、該議題一般人是否常接觸,是否需要仔細計算推
敲等)或複雜度,影響題目無反應的例子,幾乎隨手可得(例如Francis
and Busch, 1975 及Borgers and Hox, 200 1)。而問卷題目本身若有
跳答,也會增加題目無反應的發生(Messmer and Seymol汀, 1982) 。
此外問題的內容若涉及社會讚許或隱私(例如收入)等敏感題目時,
題目無反應的出現率也比較高(例如Berinsky , 1999 是個有趣的例
子)。
關於受訪者的特色方面,題目無反應則與年齡、性別與教育程度
有關。女性,年齡愈大,及教育程度愈低都會使答項無反應增高(Ferber,
1966; Ford, 1968; Craig and McCann, 1978; Francis and
Busch, 1975; Messmer and Seymour, 1982; Kaldenberg et al.,
1994) 。
另一方面,訪員特色如何影響答項無反應似乎尚無定論。Singer
et a l.兩次(1979 , 1983) 研究訪員的預期如何影響答項無反應,卻獲
得不同的結果。訪員人格特質方面的研究也沒有一致的結論(Groves
and Couper, 1998) 0 Hox (1994) 發現訪員在這方面的影響很小o
Pickery and Loosveldt (1998) 在探討受訪者回答「沒意見」的數目
如何受訪員特色與受訪者特色的影響,雖然發現了大量的訪員效應,
62 調查研究/第12 敗
卻無法以任何一個訪員的變項解釋所發現的效應。
綜合以上文獻回顧發現,探討題目無反應時,研究者幾乎若不是
侷限於無反應與受訪者之間的關係,就是侷限於無反應與訪員之間的
相關(唯一的例外,就筆者的暸解,是以多層線性模式(Hierarchical
Linear Model '以下簡稱HLM) 作的研究,例如Hox , 1994 及Pickery
and Loosveldt, 1998) 。
Borgers and Hox (200 1)可說是研究無反應最理想的方法:他
們請了許多專家評定所有題目的各種特質,再進而利用HLM 統計軟
體以瞭解這些特質如何與兒童的特質互動(由於是自填問卷,所以沒
有訪員特色的問題;但如果是訪答問卷,也能輕而易舉地加入研究模
式中)。然而,一般研究題目無反應時幾乎都沒有這樣豐沛的資源,而
且,因為無反應常只佔題目所得資料的極小部分,無法以統計的方法
個別探討每個題目產生無反應的原因(不能通過顯著檢定)。因此研究
者只好計算每位受訪者無反應的總題數,再試圖瞭解這些數目與受訪
者或訪員特質的關係。
但是,一般的社會調查通常包含許多方面的問題,例如可能包括
個人背景資料、個人行為、各方面的知識及各方面的態度等。而這些
題目引起無反應的原因可能大不相同:可能源於社會讚許的機制,可
能是因為受訪者實際的知識能力有其限制,或因為他自認知識程度不
足,或者可能因為被視為侵犯隱私。更有甚者,雖然研究對於訪員的
影響力尚無定論,但訪員的某些特質的確對某些方面問題的回答有關
(例如訪員性別對兩性問題的影響力(Kane and Macaulay, 1993;
Catania et 泣, 1996) 及訪員種族對於種族問題的影響力(Anderson
et 泣, 1988; Finkel et 祉, 1991; Davis, 1997) )。這使得無反應產生的
原因更加錯綜複雜,而無法以單純的無反應次數總和來探討其發生的
利用多層線性模式瞭解題目無反應的
因素。尤其,一般研究者通常只能藉此瞭解無反應與受訪者特質,或
無反應與訪員特質間的關係,而無法同時探討無反應與受訪者及訪員
特質三者的關係,便無反應的研究益形艱難。
本研究企圖從男一個層面來探討題目面向、受訪者及訪員三者如
何影響題目無反應;所謂題目面向也就是題目的特性或其可能引起的
機制,例如可能需要較多知識,可能侵犯私人領域,或引起社會讚許
機制的題目內容。這樣的方式不但能保持各個題目無反應的原本型
態,也將各題目依其所測量的面向分類,分別瞭解各面向中題目無反
應發生的因素。我的方法是先將題目依據面向加以歸類,再應用
Raudenbush et al. (199 1)及Raudenbush and Sampson (1999)
的分析方法,以HLM 中的三層模式(3-1evel model)分析之。本文
使用的軟體是HLM 5.0 版(Raudenbush et 祉, 2000) 。
以下將先介紹這項方法,再以社會變遷第三期第四次大眾傳播組
(塵海源,民國88 年)的題目無反應為例,說明如何在三層模式的環
境下,分析各面向的題目無反應;最後,我將討論分析結果,及其對
於未來調查研究的啟示O
二、以HLM 探討題目無反應
HL孔1 (Bryk and Raudenbush, 1992; Raudenbush and Bryk,
2002) 在國外己被廣泛使用於各領域,尤其是教育研究界與社會學界,
常用它來暸解個體與團體之間的關係。一些研究者也利用HLM 中的
二層模式從事調查研究(Hox et al., 1991; Hox, 1994; Van Tilburg,
1998) 0 HLM 適用於調查研究的主要原因是:調查資料都是呈現層
級的形式(一位受訪者回答許多題目;一位訪員訪問多個受訪者) ,使
64 調查研究/第12 期
得同一位受訪者的回答都會有共同的特徵:而接受同一位訪員訪問的
受訪者,也會因為訪員特質的影響,不免在回答行為上有一些共同點。
從統計上而言,這些共同點使得同一位訪員所訪問的受訪者們的
回答行為之間,變異性比較小:而不同訪員所訪問的受訪者回答行為
之間的變異性較大。當研究者要瞭解訪員特質是否影響受訪者的回答
時,若使用傳統的迴歸法分析時,不論是從訪員層面(較高層)或受
訪者層面(較低層)著手,都會遭遇統計上的困境O 基本上,若從較
低層著手,會增加犯第一類型錯誤的機會(Type 1 error) ,也就是迴
歸所估算的標準誤比實際的標準誤小,因而增加了研究者獲得統計顯
著的機會:而若從較高層著手,統計數值的準確與否,則視每組的人
數(每位訪員的工作量)是否類似而定(詳細情形請參考Bryk and
Raudenbush, 1992) 。
以HLM 探討題目無反應,受訪者在某些題是否為無反應(不知
道、拒答、不瞭解題意等)就成為第一層的依變項(有意義的回答=
O 、或無反應=1) 。由於只有o ' 1 兩種值,必須使用logistic regression
0 HLM 及其他類似的多層軟體中的logistic regression 的估計
值幾年來一直不夠準確(見Guo and Zhao, 2000; Goldstein, 1995;
Goldstein and Rasbash, 1996) ,然而自1996 年起,經過Hedecker
and Gibbons (1994, 1996) 'Pinheiro and Bates (1 995) 及Wolfinger
(1999) ,與Yang (1998) 及Raudenbush et al. (2000) 各自從事的
理論研究與實際軟體的開發,已經使多層線性模式中的logistic regress10n
達到相當高的水準:尤其後二者(Yang , 1998; Raudenbush
et 泣, 2000) 的研究是直接針對HLM 中的logistic regression 而作
(三者的比較,請見Raudenbush et al., 2000) 。本文所列的估計值即
使用HLM5 中Yang (1998) 所發展的估算法。
利用多層線性模式瞭解題目無反應65
由於一般調查研究無法詳細探討問卷中的每一個題目所要求於受
訪者的知識、能力、或誠實度高低,因此無法在第一層放入相應的自
變項。並且題目無反應通常只是資料中的極少數,且常含有大量測量
誤差,不利於以單一題項作分析;但是另一方面,有些題項所測量的
面向可能引發類似的機制,因此我們可以創造一些面向指標變項
(indicator variable) ,將同一面向的題目都給予1 值,非屬該面向的
題目則給予O 值;第二層及第三層則按照一般的多層線性模式,分別
以受訪者及訪員的特色探討它們對這些面向的影響。這樣的作法,是
將同一面向的題目看成是測量該面向的一種「量表j 加以分析。它的
好處是不但可增加統計上的檢力(power) ,而且也使研究者能瞭解題
目、受訪者與訪員三方如何互動,解決了無反應研究無法同時研究題
目、受訪者與訪員三者間關係的困境。這個想法是得自Raudenbush
et al. (1 99 1)及Raudenbush and Sampson (1999) 的靈感。
Raudenbush et al. (1991) 及Raudenbush and Sampson (1999)
整合了題目反應理論的模式(item response theory ,簡稱IRT) 、概
化理論(generalizability theory) 、因素分析(factor analysis) 於
HLM 的三層模式中,將第一層視為一個測量模式(measurement
model)也就是將第一層的各個變項視為少數幾個量表,每個人(或
個體)對於這些「問題J 的「回答行為h 則看作是這幾個量表所要測
量的「特質J Oatent trait) 的具體表現。因此從第一層的分析中,我
們得到了這些「特質」的估計值(也就是第一層的過歸係數) ,再經由
第二層及第三層來暸解這些特質與個體的其他特質及其所屬團體與環
境如何互動。
的調查研究/第12 期
三、以「台灣地區社會變遷基本調查」
第三期第四次資料為例
為了便於說明如何利用HLM 研究無反應,我直接分析「台灣地
區社會變遷基本調查」第三期第四次(塵海源,民國88 年)的大眾傳
播組(問卷一)中,一組十個題目中無反應的回答(包括拒答、不知
道、不瞭解題意) 0 大眾傳播組正式調查自一九九八年七月六日開始,
於當年八月底完成問卷回收的工作。其訪問方式是以訪員到府訪問,
絕大多數是由訪員按問卷提問,受訪者的回答也由訪員紀錄於問卷
上。該計畫以分層三段系統抽樣的方式調查台灣各鄉鎮市區十八歲至
六十四歲的民眾,總計共有1920 位民眾接受訪問, 88 位訪員擔任這一
部份的訪問工作。而實際分析時,由於有些受訪者在教育、職業或收
入變項中沒有資料,因此實際分析時,共有1820 位受訪者O
大眾傳播組的這10 個題日,是詢問受訪者對於報紙(前五題)與
電視(後五題)新聞報導的看法,內容見附錄一。受訪者的選擇有:
很同意、同意、不同意、很不同意;但如果受訪者經訪員追問後還是
表示不知道、不瞭解題意或拒答,訪員就據以紀錄。問卷中有極少數
的缺漏,所謂缺漏項是指訪員沒有作任何紀錄。由於訪員漏填的可能
原因很多,而所佔比例很少,本次分析不將缺漏納入無反應考量。表
1 是這十題的無反應率。
要如何看待這十題,可謂見仁見智。例如,最直接的作法是:依
據其大項來分,也就是分為電視及報紙兩面向(而不要常數項Cintercept)
,才不會發生linearity 的問題) ,以便於在第二層時探討影響這
兩面向的因素,因此共有十個變項(兩個大面向及八個題目指標變
利用多層線性模式瞭解題目無反應的
表?、各題無反應率的統計數值
題號訪員漏填不瞭解題意拒答不知道LE司A至口一ιr*
84.1 .005 .008 .008 .096 .112
84.2 .005 .005 .008 .074 .087
84.3 .005 .007 .012 .107 .126
84.4 .005 .005 .013 .110 .128
84.5 .005 .005 .011 .092 .108
84.6 .001 .008 .005 .081 .094
84.7 .001 .004 006 .055 .065
84.8 .002 .008 .009 .083 .100
84.9 .002 .005 .011 .092 .108
84.10 .001 .003 .012 .061 .076
* I訪員漏填」不列入「合計」中。
項) ;另一方面,它們也可能是讓受訪者評量媒體在兩方面的表現一一
傳遞訊息的功能,及中立公平的程度一一因此也有十個變項;更簡化
的方法,是將它們都視為測量媒體的態度,因此囊括在一個量表之內
(只有一個面向) ,因此有十一個變項。又或者除了兩大媒體變項之外,
只要是問同一方面的問題(例女口I通常是中立的J) ,就合併為一個
小面向,而忽略原有回答的出處(原始題目) ,因此有六個變項O 然而
忽略問題回答出處的作法,等同於將這些回答視作較大面向(某種隱
含特質)中任何可互換的(exchangeable) 觀察值,放棄了該題目的
特質所能提供的訊息,也使得第一層的分析不再是湖量模型(measurement
model) ,也不適用IRT 的觀念,因此這次的分析將不考慮
這最後一種方法。
筆者曾利用latent class factor (Vermunt and Magidson,
的調查研究/第12 期
2001) ,企圖由統計法來決定該如何分類。結果發現,兩個factor 的模
型頗適合資料(L2 =943 , df =991 , ρ=.86) ,從圓1 的bi-plot 觀察得
知,這十題頗為相似;若要勉強分出兩個面向,可將第1 至6 題視為
第一個面向(它們的值等於1 時在第二個factor 的值較低) ,第二個
面向是第7 題至第10 題(它們的值檔等於1 時在第一個factor 的值
較低而在第二個factor 的值較高)。然而若將第六題納入第一個面
向,將僅因為這一題而增加詮釋結果的困難度(無法以電視或報紙明
圖卜設定兩個latent class factors 所形成的bi-plot
8~'
。。0.2 0.4 0.6 0.8 1.0
Factor1
利用多層線性模式瞭解題目無反應的
顯劃分) ;因此最後決定是以一至五題為第一個(報靠民)面向,六至十
題為第二個(電視)面向。
影響這兩面向的因素有哪些呢?這兩種傳播媒體似乎非常類似,
但又有一些不同之處。例如,需要識字才能看得懂報紙,看電視則不
需要識字,因此也許教育程度會使兩者的「不知道」回答比率有所不
同。再者,幾乎不看報紙的民眾與幾乎不看電視的民眾,也應該較無
法回答這些問題;尤其,若看報紙或電視時,不常看報紙的新聞(包
括政治、社會、大陸的新聞) ,或不看電視的時事評論與新聞氣象,則
其回答「不知道」的比率也可能較高。同時,愈少接觸四大媒體(報
紙、電視、雜誌、廣播)者,回答「不知道」的機會應該愈高。我們
也考慮到,若受訪者少與人聊天,表示他孤立於社會之外的機會較大,
對於傳媒的瞭解自然也比一般人少,而致無法回答問題。男一方面,
偏遠地區的民眾由於資訊較為不足,也可能較無法回答這些問題。最
後再放入一般發現會影響題目無反應的變項:性別(女性較高卜年齡
(老年人較高卜職業與收入O
教育、職業與收入三者,在社會研究學界被視為個人的社經指標,
常共同出現於迴歸分析中作為控制變項,但它們之間的高相關也常令
人擔心。本次資料中,教育、職業與個人收入相關頗高(教育與職業
階層相關是.523 '職業階層與個人收入的相關是.569) ,但並不至於高
到產生嚴重的multico l1inearity (此三者問的tolerance 都> .4 0) 。另
外,由於台灣教育制度快速地變化,本次樣本中年齡與教育程度的相
關也達到一.480 '但即使如此,四者共開放入分析中也尚不至於造成嚴
重的multicollinearity (年齡與其他三者的tolerance 都>.30) 。
最後,訪員觀察紀錄中記載了受訪者是否曾表示拒絕或不耐煩。
由於有表現這兩種態度的受訪者可能較不願意費心思考問題,因此出
70 調查研究/第12 期
現無反應的機會可能也較高。此外,雖然這10 題不具威脅性,因此第
三者在場與否,應不致影響其拒答率(Blair, 1979; Hartmann,
1995) ,但根據社會讚許理論,也許有第三人在場,受訪者也許較願意
表達意見,以免讓自己在他人面前顯得無知。上述這三個訪問情境變
項將納入分析中,作為受訪者層的自變項。關於訪員的部分,所記載
的訪員資料只有訪員性別:這是訪員層唯一的自變項。
綜上所述,我希望瞭解下列幾個問題:
關於受訪者的特色:
1.受訪者的社經背景對這兩面向的無反應率,影響程度各是如
何?
2. 受訪者與外界的接觸,對於兩面向的無反應率,影響程度各是
如何?
關於訪問的環境:
1.受訪者被訪問的意願(拒絕或不耐煩) ,對於兩面向的無反應
率,影響程度各是如何?
2. 無第三人在場是否影響這兩個面向的無反應率?
關於訪員:
1.訪員的性別是否會影響這兩個面向的無反應率?
2. 訪員的性別與受訪者的性別之間的交互作用,是否會影響這兩
個面向的無反應率?
以下設定這次分析所需要的變項。設依變項Yijk 是接受第k 位訪
員訪問的第j 位受訪者,在第i 題的反應行為(無反應=1 ,其他=0) 。
由於Yijk 屬於0-1 變項,故使用logistic regression 。第一層(最低
層,也就是題目層)的自變項必須由分析者自行製造,包括:
1.面向(報紙與電視)指標,分別是XNik 與XTjk 。如果該題屬於
利用多層線性模式瞭解題目無反應71
報紙面向'X^臼k = l 如果該題屬於電視面向'XTjk 1 否則均為零。
2. 題目指標(共八個,是1 至4 題及6 至9 題的題目指標;兩個
面向各留一題做為參照題) ,分別是XUk ~ X2jk 、X3jk 、X4jk 、X6jk 、
X7jk 、XSjk 、X9jk o 例如若該項回答是出自第一題, Xuk =l 否則XUk
=0 ;其餘以此額推。由於兩面向的題數相等,因此不需要將這些變項
減去其平均值(Sampson and Raudenbush, 1999) 。
第二層的自變項均以Zmjk 表示;第三層的自變項只有訪員的性
別,以W戶表示。第二、第三層的自變項及定義見附錄二。各變項的
平均值與標準差見附錄三。
HLM 第一層的方程式是:
f( 五jk)=ß蜘X的h+bhXDh+EbhZJh+ 旱βijkXijk+ eijk, (1)
var( eijk) = S-2
f(y批) = 7) ijk' 也就是所謂的log泣,
7) ijk =叫fZJ) , μijk= prob.(Yijk= 隔几)。
其中3的h 是第k 位訪員所訪問的第j 位受訪者在報紙面向的係數,
βm 是第k 位訪員所訪問的第j 位受訪者在電視面向的係數。如果我
們以矩陣的觀點來看方程式(1) , X Njk + XTjk 所成的design matrix
會與intercept 的design ma trix 完全相同,造成linearity 的問題,
而無法進行運算,因此在這個模型中不能有intercept 0β祉, i=l, 2,
3, 4, 6, ..., 9 則是第k 位訪員所訪問的第j 位受訪者在第1 到4 題及
第6 至9 題的係數;從IRT 的角度而言,方程式(1)是以第5 及第10
72 調查研究/第12 期
題各作為報紙面向及電視面向題目的參照標準。就報紙面向而言,
-1*ß祉'i=1 , 2, 3 , 4 是第1 到4 題的「題目難度J (item difficulty) ,
第5 題的難度則是o ;電視面向方面, -1*β仙, i =6, ___, 9 是第6 到
9 題的「題目難度J (item difficulty) ,第10 題的「難度j 則是0 。
因此在第一層時每位受訪者都有一個不同的β 值,而這些值在第
二層則以該受訪者的特質Zmjk 來解釋, m=1, 2, ___,M
且4
ßNjk= YNOk+ ~γNmkZmjk + UNjk ' (2)
用=1
βTjk=Y川是IYTm心+ UTjk' U川Tjk~N(G),~) 但)
~是一個variance-covariance matrix 0 而各題的難度則設定為
對每位受訪者都相同:
β ijk = YiOk , i = 1, 2, ___, 4, 6, ___, 9 。(4)
接著, YNOk 與γTOk 在第三層由訪員的性別, w戶,來解釋O
γNOk= πNOO+ π-NOl Wk + VNk ' (5)
YTOk= π咐舟。1 仇+ VTk ' V川~N((~), T) (6)
T 是一個variance-covariance matrix 0 而訪員性別與受訪者性別的
交互作用也在此設定。若Z2jk' m=1, 2, ___,M 中, Z2jk 表示受訪者性
別,則γT2k 是受訪者性別在電視面向的係數, YN2k 是受訪者性別在報
紙面向的係數,將此兩者以訪員性別各別加以解釋,就獲得了受訪者
利用多層線性模式瞭解題目無反應73
性別與訪員性別的交互作用:
YN2k= πN20+ πN21 協主,
γT2k= πT20 十πT21 Wk 。
其他係數則設為YNmk= πNmO'
γ Tmk= πTmO '
YiOk= 品。o '
(7)
(8)
(9)
(10)
(11)
也就是兩面向的其他受訪者特質所產生的影響你肘, γTmk ' 及題目難
度(γz帥)都假設不因訪員不同而有變化。以上的模型指令附於附錄四。
四、分析與討論
表2 與表3 是依照以上的模式所得的結果。表3 是各單一題目的
係數,以IRT 的角度來看,將這些係數乘以一l' 就可視為題目的「難
表2 、兩聞向各題的「難度」
報紙電視
爭議性議題,反應各界意見.11 (.30) . 61( .27) *
報導完整一l. 36 (. 33) * .03 (. 28)
報導中立一.03( .30) l. 01( .27) *
報導公正.16(.30) .82(.31)*
報導可信。(報紙面向參照題) o (電視面向參照題)
括號中的數值為標準誤(S. E.) *表示p< . 05
74 調查研究/第12 期
表3 、兩百向的分析結果
報紙面向電視面向
常數一2.6吐(.53) * 3.87(.55) *
男性訪員.28 (. 26) .76 (. 32) *
男性受訪者一.23 (. 20) 61 (.21) *
男性受訪者*男性訪員- .94(.41) * 32 (. 35)
受訪者年齡層.13(.10) 15 (.11)
教育層級.42(.13)* .19 (.12)
職業層級一.12 (.11) .15(.09)
收入層級一.03 (. 05) .04(.04)
居住偏遠地區51( .22)* 67 (. 26) *
不讀報紙l. 54 (. 45) 平
不看電視.69 (. 62)
不接觸媒體的程度.66 (. 18)* .74(.14)*
不與人聊天l. 35(.44) * l. 05(.39) *
常讀報紙新聞一.36(.42)
常看電視新聞.54 (. 20) *
表示拒絕.14(.25) .27(.27)
不耐煩.57(.20)* .15 (. 22)
沒有第三者在場.15(.21) 01(.17)
括號中的數值為標準誤CS.E.) 表示p<.05
度」。而在此這些係數的意義則是:無反應的比例愈低,則得1 分者愈
少,因此係數值愈小。例如,報紙面向以第五題為參照標準,所以它
的係數值是零;大致上, 若該面向其他題目無反應率比第五題高,則
該題在表3 的係數為正,皮之則為負,但這種關係並非絕對的,因為
利用多層線性模式瞭解題目無反應75
模型運算時還必須同時考慮其他題目的表現。
表3 顯示,受訪者背景中,男性在電視面向的無反應率顯著較女
性為低,而教育水準只對報紙面向有影響,反應出報紙的確比電視需
要較多的智識才能了解:職業層級與收入層級及年齡則均不具影響;
控制了其他的社經條件之後,居住於偏遠地區的受訪者無反應的回答
率仍然較高,這可能是偏遠地區的受訪者資訊較不足,或他們比其他
地區的受訪者較不習慣表達自己的態度。而與外界接觸的管道中,除
了媒體的接觸之外,與人接觸(聊天)也是一個重要的預測變項。訪
問情境(第三者在場、受訪者表示拒絕或不耐煩)中只有受訪者不耐
煩會顯著增加報紙面向的無反應率。最後,男性訪員在兩面向都有減
少無反應的作用,但在報紙面向是當男性訪員碰到男性受訪者時才有
這種作用。
由表4 可知,受訪者層還有許多未解釋的變異量,而訪員層的變
異量則極低,尤其報紙面向的變異量已到達不顯著的水準;這些訊息、
顯示:即使納入了模型中所包含的變項之後,受訪者之間對這些題目
的無反應,差異還是很大,而訪員對於無反應的影響力差別相對小很
多,尤其報紙面向幾乎沒有差別。此外,兩面向間不論是在受訪者層
或訪員都有高相關(受訪者層=.95 '訪員層二.95) 。這比作HLM 分
析之前,加總兩面向的無反應後所得的相關數.706 還更高,這是因為
表4 、兩面向在受訪者層及訪員層的變異數與共變數
報紙面向變異數
是.08 (. 29)
.09 (. 07)
括號中的數值為標準誤的.E.l
電視面向變異數
3.20 (. 23)
.40(.12)
76 調查研究/第12 期
第一層的測量模式除去了測量誤差之故。
高相關意味著兩面向之間的高度重複與多餘,因此有必要將二者
合一。也就是不再有XNjk 與X駒,而僅以截距(intercept) ßOjk 取代,
而所有在第二層用以解釋ßNjk 及2酬的受訪者變項都轉而解釋
ßOjk ' 其他則保持不動。也就是第一層時,方程式(1)變成(lb) :
f( Y;明)=丘。Ijk+ ~月ßijkXijk+ eijk (lb)
由於已經合為一大面向,因此各題的指標X戶中,只要保留一個作為
參照組即可;此處我將第十題作為參照組。方程式(2) 與(3) 則由
(2b) 取代之:
M
ßOjk= γOOk + ~ YOmkZmjk 十U駒, UOjk"'-'N(O , δ2) (2b)
因此γNOk 與YTOk 在(2b) 已不復存在,而簡化為γOOk 。因此方程式(5)
與(6) 由(5b) 取代:
γ'OOk = 7[000 + 7[001 Wk + V酬,的ok ",-,N(0 , r2 ) (5b)
同樣的, γN2k 與γT2k 及γNmk 與γTmk 也不再存在,分別由γ伽與γOmk
取代,因此方程式(7) 、(8) 與(9) 、(10) 分別由(7b) 與(9b) 取
代之:
Y02k = 7[020 + 7[021 師怎(7b)
γOmk= πOmO (9b)
模型的其他部分則與第三部分的模型相同。這一部份的分析結
利用多層線性模式瞭解題目無反應77
果,由於題目難度的概念與第一個模型相同,只是參照標準不同而使
數據有所改變而己,因此只列出受訪者及訪員的特質對於無反應的影
響於表5:
表5 、→固面向的分析結果
變項係數
常數3.65 (. 40) *
男性訪員.49 (. 24) *
男性受訪者.21( .14)
男性訪員*男性訪員.29 (. 23)
受訪者年齡層.08(.06)
教育層級.22 (. 08) * I
職業層級.14(.07)+ I
收入層級.01( .03)
居住偏遠地區.65 (. 20) * I
不讀報紙.86 (.29) *
不看電視.75 (. 4是)
不接觸媒體的程度.53 (.12) *
不與人聊天.26 (. 30) I
常讀報紙新聞一.5 1( .1 7) *
常看電視新聞一.70(.15)*
表示拒絕.49(.22)*
不耐煩.21( .17)
沒有第三者在場。7 (.14)
括號中的數值為標準誤的.E.l 表示p<.05 +表示p<.07
78 調查研究/第12 期
表5 的結果可說是表3 中兩面向的綜合體。在此,受訪者的性別
不再有顯著影響力,反而是訪員的性別達到顯著水準。其他社經背景
部分,教育與是否居住偏遠地區還是維持顯著的影響力,職業層級在
這裡幾乎達到顯著水準。與外界的聯絡方面,媒體的使用還是維持之
前的重要性,但日常的與人聊天溝通則不再顯著,頗令人不解。最後,
訪問情境方面,換成了是「表示拒絕J 達到顯著水準。
表5 模型的解釋力如何?在HLM 的logistic regression 中沒有
簡便的R2 ,但可以利用intercept model (也就是一個完全不放入任何
預測變項的模型) ,經由比較表5 的模型與intercept model 兩者之間
變異數的變化,大致瞭解模型中所使用的預測變項「解釋掉」多少的
變異量O 表6 是表5 的模型及intercept model 變異量的比較。由表6
可知,受訪者層的變異量原本就較大,能夠被解釋的部分也較少
(17.6%) ;訪員層部分的變異量較小,表5 的模型化解了其中50% 的
變異量O
表6 、受訪者層及訪員層的變異數
受訪者層的變異數
訪員層的變異數
Intercept model 減少(%)
.66(17.6%)
.43(50.6%)
研究無反應時,也常利用intra-class correlation 'ρ' 來檢驗訪
員效應(Kish , 1965) 。當受訪者是隨機分派給訪員時, ρ 愈小,表示
訪員效應愈低,也就是訪員本身的特質影響問卷回答的機率愈低O 然
而本次資料在實務上,由於絕大部分的情況是:一位訪員負責一個村
里內的所有受訪者,只有少數訪員偶爾去支援其他村里的零星個案。
利用多層線性模式瞭解題目無反應79
因此分析時無法區隔訪員的特色及地域的特色對於問卷結果所造成的
影響。但我們還是可以大致看一下ρ 值,雖然此處求出的值是高佑的,
不能據以推論訪員效應在此份資料中過高。
為了要利用ρ 探索訪員效應,必須要修改模型,也就是在訪員層
不能以任何訪員變項來解釋模型,以使所有訪員間的差異完全歸入其
變異數中O 修改後的模型與表5 的模型差異之處是:方程式(5b) 與
(7b) 中不再有Wk' 以(5c) 與(7c) 代之。也就是:
YOOk = JrOOO +的悅,的ok~N(0 , r2) , (5c)
γ'02k= JrO鉤, (7c)
這個模型所得出的δ2=3.24' r2 =.33' 因此ρ=.09 (也就是.33 /
(3.24 十.33)) (Sampson and Raudenbush, 1999) 。但如上所述,這個
值高估了實際的ρ 。如果每位訪員是隨機分派到不同的區域作訪問,實
際的ρ 將會比這個值小。
五、結論
由於無反應是問卷回答類型中的極少數, 一般常見分析題目無反
應的方法是將問卷中所有的無反應加總後,探討無反應次數與受訪者
或訪員特質的關係。然而受訪者對於各種類型的題目產生無反應的原
因不同,因此這種作法不易找到無反應的因素O 本篇企圖以題目面向
的概念,探討不同面向無反應的影響因素。作法是先將題目依據其測
量內容的特質(面向)分類,接著在HLM 三層模式的環境下分析這
些面向,以第一層作為measurement model 篩減受訪者在回答題目
80 調查研究/第12 期
時的不一致性Cinconsistency) ,再以第一、二、三層的係數之間的關
係,瞭解影響受訪者無反應的因素。
用以分析的例子是取自台灣地區社會變遷基本調查的三期四次傳
播組中的十個態度題目。經由latent class factor analysis 的探索及
詮釋上的考量,我把它們分為報紙與電視兩個面向O 但由於兩面向之
間的高相闕,又將它們合為一個面向加以分析。兩種分析方法都顯示:
在這份資料中,訪員性別、受訪者的教育程度及受訪者是否居住於偏
遠地區,都與無反應的回答有相信自;受訪者的性別與年齡則不具影響
力,這是與文獻較不一致之處。受訪者對於媒體的接觸量,也具有重
要的影響力。然而訪問情境在這次分析中不具穩定的預測力。
在分析的過程中,如何將題目歸類為不同的面向,也算是一種藝
術,每位研究者可能都會有不同的理論見解;但是先作latent class
factor 的分析,以統計方法依據題目的「表現J '找出這些題目可能隱
含的共同特質,再佐以實際意義的考量,以決定最後的面向,可說是
一項兼顧實際與理論的方法。此外,雖然理論上intra-class correlation
可用以檢驗訪員的影響,但實際上基於人力與經濟的考量,面訪
問卷很難做到隨機分派受訪對象給訪員的地步;訪員大多只訪問某個
區域內的受訪者,而且該區域的所有受訪者也只由該一位訪員負責訪
問。因此,訪員效應會與該地區的特質所產生的效應混合,無法以統
計方法分離:這時若以intra-class correlation 用於一般的面訪問
卷,勢必將高估訪員效應。但intra-class correlation 可用於探討電訪
問卷中的訪員效應,因為以電話訪問時,各地區的受訪者是隨機分派
給不同的訪員,這樣一來,就能以統計的方法分離訪員效應與地區效
應。
利用多層線性模式瞭解題目無反應81
附錄一
l.報紙在報導爭議性的問題時,通常能反應各界人士的意見。
2. 報紙對於事情的報導很完整,我們能獲得充分的消息。
3. 報紙在報導新聞時通常是中立的。
4. 報紙在報導新聞時通常是公正的。
5. 報紙在報導新聞時通常是可相信的O
6. 電視在報導爭議性的問題時,通常能反應各界人士的意見。
7. 電視對於事情的報導很完整,我們能獲得充分的消息。
8. 電視在報導新聞時通常是中立的。
9. 電視在報導新聞時通常是公正的。
10. 電視在報導新聞時通常是可相信的。
附錄二
第三層(受訪者層)的自變項包括:
l.受訪者男性:男性=1 '女性=0 。
2. 受訪者年齡層級:分為五個年齡群; 18 歲到27 歲=1 ' 28 歲到37
歲二2 ' 38 歲到47 歲二3 ' 48 歲到57 歲二4 ' 57 歲到64 歲二5 。
3. 受訪者教育層級:分為六級,從O 至5 分別為沒有上過學、小學畢
業、國初中畢業、高中職畢業、專科畢業、大學畢業O
4. 沒有第三人在場:訪問時沒有第三人在場之1 有別人在場二。。
5. 不看報紙:受訪者從不看報紙或去年都沒有看報紙二1 ;其他= 0 0
6. 不看電視:受訪者從不看電視或去年都沒有看電視=1 ;其他=0 。
82 調查研究/第12 期
7. 接觸媒體的程度:受訪者從不(或去年不)接觸四種媒體(電視、
報紙、雜誌、廣播)的總數: 4 表示不接觸四種中的任何一種;3 表
示不接觸四種中的任三種; 0 表示四種都有接觸。所謂不接觸是指
去年一年都沒有,或從來沒有接觸。
8. 收入層級:受訪者的個人收入分為23 個層級, 1 表示無收入, 2 表
示一萬元以下每進一多加一萬元,至二十萬元,二十至三十萬元之
間=泣, 三十萬元以上=23 。
9. 偏遠地區:受訪者居住於山地鄉鎮、坡地鄉鎮或偏遠地區者=1 ;否
則=0 。
10. 受訪者的職業層級:分為五類。屬於高級管理人員或專業人員=
5 '助理人員二4 '事務工作人員二3 '服務工作及售貨員=2 '農林
漁牧持獵人員、機械操作工及組裝工、非技術工、家庭主婦及無職
業者二1 。
11. 讀報紙新聞:受訪者讀報紙時常讀新聞(新聞包括政治、社會、地
方及大陸新聞) ;新聞不包括在最常看的三種報紙內容者=0 ;至
少讀一種二1 。
12. 看電視新聞:受訪者看電視時常看新聞氣象;三類最常看的電視
內容不包括新聞氣象者二0; 否則=1 。
13. 拒絕:受訪者表示過拒絕。曾拒絕過= 1 '從未拒絕=0 0
14. 不耐煩:受訪者表示過不耐煩。曾表示不耐煩= 1 '從未表示不耐
煩=0 0
第三層(訪員層)的自變項為:
1.男性訪員:男性= 1 ,女性=0 。
利用多層線性模式瞭解題目無反應83
附錄三
各自變頂的平均值與標準差
變項平均值標準差
受訪者性別(男性= 1) .50 .50
受訪者年齡層2.70 l. 21
受訪者教育程度2. 87 l. 39
不看電視.01 .09
不看報紙.12 .32
不接觸媒體64 .92
收入層級甚. 28 3.15
居住於偏遠地區17 .38
不與人聊天.03 .16
職業層級2.44 l. 46
不常讀報紙的新聞.72 .45
不常看電視的新聞.73 .44
沒有第三者在場.40 .49
表示拒絕訪問.22 .42
不耐煩.24 41
訪員*性別(男性= 1 ) .35 48
* 共有88 位訪員
84 調查研究/第12 期
附錄四
以下是表3 所用的分析指令
#WHLM CMD FILE FOR D:\三期四次社會變遷\ nonr2dim.ssm
nonlin:binomial
microiUOOO
macroit:1000
stopmicro:0.0000010000
stopmacro:O .000 1000000
level1: V84 = TVID 十NEWSID+ V84.9ID+ V84.8ID+ V84.7ID+
V84.6ID+ V84.4ID+ V84.3ID+ V84.2ID+ V84.IID+
RANDOM
leve12:TVID = INTRCPT2 + SEX + AGERP + N OCHA T +
NOTV + NOMEDIA + NOOTHERS+ EDUC+ FARLAND 十
REFUSING+ IRRITAB+ JOBRANK + RECV88+
TVNEWS + random/
leve13 :I NTRCPT2 二INTRCPT3+ R2+random/
leve13:SEX = INTRCPT3 + R2/
leve13:AGERP = INTRCPT3/
leve13:NOCHAT = INTRCPT3/
leve13:NOTV = INTRCPT3/
leve13:N OMEDIA = INTRCPT3/
leve13:NOOTHERS = INTRCPT3/
leve13:EDUC = INTRCPT3/
leve13:F ARLAND 二INTRCPT3 /
leve13:REFUSING 二INTRCPT3/
leve13:IRRIT AB = INTRCPT3/
leve13:]OBRANK = INTRCPT3/
leve13:RECV88 二INTRCPT3 /
leve13:TVNEWS = INTRCPT3/
利用多層線性模式瞭解題目無反應85
leve12:NEWSID 二INTRCPT2+SEX+ AGERP+ NOCHAT+
NONWSPPR + NOMEDIA + NOOTHERS+ EDUC 十
FARLAND 十REFUSING+ IRRITAB+ ]OBRANK +
RECV88 + NEWSNEWS + random/
leve13 :I NTRCPT2 二INTRCPT3 十R2+random/
leve13:SEX 二INTRCPT3+ R2/
leve13:AGERP = INTRCPT3/
leve13:NOCHA T 二INTRCPT3/
leve13:NONWSPPR 二INTRCPT3/
leve13:NOMEDIA = INTRCPT3/
leve13:NOOTHERS = INTRCPT3/
leve13:EDUC = INTRCPT3/
leve13:F ARLAND = INTRCPT3/
leve13:REFUSIN G 二INTRCPT3 /
leve13:IRRIT AB = INTRCPT3/
leve13:]OBRANK 二INTRCPT3/
leve13:RECV88 = INTRCPT3/
leve13:NEWSNEWS = INTRCPT3/
leve12:V84.9ID 二INTRCPT2/
leve13:INTRCPT2 = INTRCPT3/
86 調查研究/第12 期
leve12:V84.8ID = INTRCPT2/
leve13:INTRCPT2 = INTRCPT3/
leve12: V84. 7ID = INTRCPT2/
leve13:INTRCPT2 = INTRCPT3/
leve12: V84.6ID = INTRCPT2/
leve13:INTRCPT2 = INTRCPT3/
leve12: V84 .4ID 二INTRCPT2 /
leve13:INTRCPT2 = INTRCPT3/
leve12: V84.3ID 二INTRCPT2 /
leve13:INTRCPT2 二INTRCPT3 /
leve12: V84.2ID = INTRCPT2/
leve13:INTRCPT2 = INTRCPT3/
leve12: V84.IID = INTRCPT2/
leve13:INTRCPT2 = INTRCPT3/
fixsigma2: 1.000000
fixtau2:3
fixtau3:3
accel:5
resfi12:n
resfi13:n
hypoth:n
CONSTRAIN:N
LAPLACE:Y,50
LVR-BETA:N
title:no title
利用多層線性模式瞭解題目無反應87
output:D: 三期四次社會變遷hlm3.out
fishertype:l
參考文獻
種海源主編
1999 <台灣地區社會變遷基本調查計畫:第三期第四次調查執行報告〉
Anderson, B. A., Silver, B. D., and Abramson, P. R.
1凹98鋁8
ticipation by Bl ack臼s in SRC National Election Stud函i巴s." Public 0,μn
ion Qu,αγ吋ter砂l:.y 52去: 53~83
Berinsky, A. ]. .
1凹99側9
Science 43: 1209~ 1230
Blair, E.
1979 “ Interviewing in the Presence of Others." In 1mρ roving 1:η terview
Method and Questionnaire Design. San Francisco: Jossey.Bass.
Borgers, N., and Hox, J
2001 “Item Nonresponse in Questionnaire Research with Children." jour加J
01 Official Statistics 17: 321 ~335.
Bryk, A. S., and Raudenbush, S. ì月T.
1992 Hierarchical Linear Models. Newbury Park: Sage Publications, Inc.
Catania, J. A., Binson, D., Canchola, J., Pollack, L. M., and Hauck , 引人
1996 “Effects of Interviewer Gender, Interviewer Choice, and Item W ording
on Responses to Questions Concerning Sexual Behavior." Public C垠的ion
Quarterly 60: 345 ~ 375.
Craig, C. S., and McCann, H. M
1978 “Item Nonresponse in Mail Surveys: Extent and Correlation." journal
01 Marketing Research 15: 285 一289
Davis, D. W.
1997 “N onrandom Measurement Error and Race of Interviewer Effects
Among African Americans." Public 0,ρ inion Quarterly 61: 183 ~ 207
88 調查研究/第12 期
Ferber, R.
1966 “Item Nonresponse in a Consumer Survey." Public Qρinion Quarterly
30: 399- 415.
Finkel, S. E., Guterbock, T. M., and Borg, M. J
1991 “ Race.of-Interviewer Effects in a Preelection Poll: Virginia 1989."
Public Opinion Quarterly 55: 313- 330."
Ford, N. M.
1968 “Questionnaire Appearance and Response Rates in Mail Surveys."
Journal 01 Advertising Research 8: 廿一45 回
Francis, ]. D. and Busch, L.
1975 “What We Now Know About 1 Don't Knows." Public Opinion Q闊的r
ly 39: 207- 18.
Goldstein, H.
1995 Multilevel Statistical Models , 2nd ed. New York: J ohn Wiley
Goldstein, H. and Rasbash, ].
1996 “Improved Approximations for Multilevel Models with Binary Responses."
Journal 01 the Royal S似的tical Socie秒159 (3), 505-513.
Groves R. M. and Couper, M. P.
1998 Nonre砂onse in Household Interview Surv砂's. New York: John Wiley &
Sons.
Guo, G, and Zhao, H.
2000 “ Multilevel Modeling for Binary Data." Annual Revieω 01 Sociology
26: 441-462.
Hartmann, P.
1995 “Response Behavior in Interview Settings of Limited Privacy." International
Jour:衍。1 01 Public Opinion Research 6: 298-306.
Hedecker, D. and Gibbons, R.
1994 “A Random-Effects Ordinal Regression Model for Multilevel Analysis."
Biometrics 50: 933- 944.
1996 “Mixor a Computer Program for Mixed-Effects Ordinal Probit and
Logistic Regression Analysis." Computer Methods and Programs in
Biomedicine 49: 157- 176.
Hox, ]. ]., de Leeuw, E. D., and Kreft, 1. G. G.
1991 “The Effect of Interviewer and Respondent Characteristics on the
Quality of Survey Data: A Multilevel Model." In Measurement Errors
利用多層線↑生模式瞭解題目無反應89
in Surv砂's , eds. Biemer, P. P., Groves, R. M., Lyberg, L. E., Mathiowetz,
N. A., and Sudman, S. Pp. 439-461. New York: John Wiley &
Sons, Inc.
Hox,]. ].
1994 “HierarchicaI Regression ModeIs for Interviewer and Respondent
Effects." Sociological Methods & Research 22: 300- 318.
Kaldenberg, D. 0., Koenig, H. F., and Becker, B. W
1994 "MaiI Survey Response Patterns in a Population of the ElderIy: Does
Response Deteriorate with Age?" Public Opinion Quarterly 58: 的一76.
Kane, E. vi人, and Macaulay, L. ].
1993 “Interviewer Gender and Gender Attitudes," Public Opinion Quarterly ,
57: 1-28.
Kish, L.
1965 “Studies of Interviewer Variance for AttitudinaI Variables," Jour叩J
01 American S的, tistical Association 57: 92- 115
Messm哎, D. ]. and Seymol汀, D. T.
1982 “The Effects of Branching on Item N onresponse." Public 句inion
Quarterly 46: 270- 277.
Pickery, ]. and Loosveldt, G.
1998 “The Impact of Respondent and Interviewer Characteristics on the
Number of ‘No Opinion' Answers." Quality and Quant仰32: 31- 45
Pinheiro, ]., and Bates, R.
1995 “Approximations to the LikeIihood Function in the NonIinear Mixed
effects ModeI." Jourηal 01 Computatioηal and Graρ hical S的tistics 4(1):
12- 35.
Raudenbush, S. W., and Bryk, A. S.
2002 Hierarchical Linear Models: Aρρ lications and Data Analysis Methods ,
2nd ed. Thousand Oaks, CA: Sage PubIications.
Raudenbush, S. W. ,酌情, A. S., Cheo月, Y. and Congdon, R.
2000 HLM 5: Hierarchical Linear and Nonlinear Modeling. Chicago: Scientific
Software InternationaI, Inc
Raudenbush, S. W., Rowan, B., and Kang, S
1991 “A MultiIeveI, Multivariate ModeI for Studying SchooI CIimate in Secondary
SchooIs with Estimation via the EM AIgorithm." Journal 01
Educational Statistics 16: 295- 330.
90 調查研究/第12 期
Raudenbush, S. W., and Sampson, R. J
1999 “ Ecometrics: Toward a Science of Assessing Ecological Settings, with
Application to the Systematic Social Observation of Neighborhoods."
Sociological Methodology , 29: 1- 4l.
Raudenbush, S. W., Yang, M., Y osef, M
2000 “Maximum Likelihood for Hierarchical Models via High-Order, Multivariate
LaPlace Approximation." Journal 01 Com戶, u的tional and
Graρhical Statistics 9(1): 141- 157.
Sampson, R. J. and Raudenbush, S. W.
1999 “Systematic Social Observation of Public Spaces: A New Look at
Disorder in Urb.an Neighborhoods." American Journal 01 Sociology
105(3): 603- 65l.
Singer, E., Frankel, M. R., and Glassman, M. B.
1983 “The Effect of Interviewer Characteristics and Expectations on Response."
Public Opinion Quarterly 47: 68- 83.
Singer , 丘, and Kohnke-Aguirre, L.
1979 “ Interviewer Expectation Effects: A Replication and Extension." Pub
lic Op iη ion Quarterly 43: 245- 260.
Van Tilburg, T.
1998 “ Interviewer Effects in the Measurement of Personal Network Size."
Sociological Methods and Research 26: 300-328
Vermu肘, J. K. and Magidson, J.
2001 Latent Gold R. version 2.0.1 l. Belmont: Statistical Innovations Inc.
W olfinger, R.
1999 “ Nonlinear Mixed Models: A Future Direction." presented at the
Annuallnte彷ce Conlerence, Shaumberg, IL, June 10, 1999
Yang, M.
1998 lncreasing the Efficienη in Estimatiηg Multilevel Bernoulli Models.
East Lansing: Michigan State University. Unpublished doctoral disser
tation.

Calendar

« October 2020»
MonTueWedThuFriSatSun
   01020304
05060708091011
12131415161718
19202122232425
262728293031
cron web_use_log