| 2012年7月8日,攝於世界銀行18街入口。 |
「其他部門有點怕我們呢。」今天在我們部門DIME的週會上,老闆AL開玩笑說。
雖是玩笑話,其實也有幾分真實。
如同上次所寫,DIME負責世界銀行所主導之國際援助計畫的成效評估(evaulation)。evaluation在應用個體經濟學界已經是大家很習以為常的概念,由於我來美國以後都在相關領域打轉,天真地以為人在美國、有些社會關懷的知識份子應該都很熟悉這個概念,但到了世銀才發現,其實連在世銀內部,evaluation都還是需要推廣的概念。
evaluation特別容易跟monitoring(監理)混淆。
舉例而言,假設今天世銀拿一筆錢幫助某國建自來水系統,為了確定錢真的去了預計要去的地方、沒有被貪汙走,世銀可能會派法務人員監督;為了確保水塔水管有蓋好,世銀可能會派工程師參與;而為了了解自來水是否真的有改善人民生活,世銀可能也會派出經濟學家或公共衛生學家,調查享受到新建自來水的民眾,看看大家有沒有比較少生病,或者省下打水的時間可以延長工時多賺錢、或者延長休閒時間享受天倫之樂、或者更有時間跟鄰居串門子增進社區向心力。這些都算是有做到monitoring。
但是誰說這群人比較少生病、多工作多賺錢、多休閒多串門子…等等一定是因為自來水系統的功勞呢?誰知道是不是因為在自來水系統建好的期間,該國引進了新藥或新疫苗促進國民健康?或者物價上漲,大家被迫多工作以求溫飽?甚至可能突然出現超好看的連續劇,所以大家都不顧工作提早下班回家看電視,也因此增加了跟鄰居的話題?
這些因素都是monitoring無法考慮的。其實上過小學自然課的人都知道,做實驗的時候有實驗組與控制組,兩邊的結果都要觀察。傳統monitoring即使有採集數據,通常其實只限於實驗組(享受到新自來水的民眾)。evaluation就是藉著研究設計,適當比較實驗組與控制組,除了衡量政策的影響與影響的規模(What),更求釐清因果關係與當中的機制(How)。
許多時候,做了好事只要看到好結果就好,不需要深究好結果究竟怎麼產生;但是對於政策或計畫執行者,了解事情的因果關係(causal relationship)與當中的機制(mechanism),才有助於繼續推出有效的藥方,以期能夠真的藥到病除。醫藥界向來以這樣的邏輯測試新藥,社會科學中許多層面確實是無法實驗(例如總體經濟),直到近十年左右,才有比較多人用這樣的邏輯來檢視還不確定效果的政策或措施。
提倡evaluation在世界銀行內部更有特別的重要性,畢竟世銀曾受到的批評之一就是不明就裡亂灑錢,灑了錢以後也不知道到底有沒有幫倒忙,evaluation正是幫助世銀了解究竟哪些機制真的可以幫助到需要的人。
然而這樣的提倡也不是人人歡迎,因為一旦要做evaluation,就不只是把錢給該國、了事而已,更嚴謹的規畫意謂著許多額外的相關工作,這也是為什麼說世銀的其他執行部門有點害怕DIME的原因。而如何取得做evaluation所需的額外資金、以最有效率的方式做evaluation、讓evaluation的產出真的在世銀帶來足夠的影響力,都是DIME所要面臨的挑戰。
「DIME主要的目標不是生產學術論文,而是幫助世銀的決策者與援助對象,根據證據做更適當的決策。」老闆AL上週在世銀內部演講的開場白如此說。
即使學術界對於evaluation的概念已經很熟悉,多數學者做evaluation的目的主要在於測試理論,以及發表出版研究發現。雖然不可否認,有些學者也非常致力於推廣測試過的理論,DIME身處世界銀行內部可能帶來的直接影響力,也使其責任更加重大。
延伸閱讀:
*比較技術性(但仍好讀)地講解怎麼設計這個類型的研究:我在做什麼 --- 扶貧方法的隨機實驗 (Randomized experiment in poverty alleviation tool)
*更多關於DIME在世銀中的角色可參閱官方報告
沒有留言:
張貼留言