In the aftermath of COP30 in Brazil: The limits to intergovernmental processes

COP30 in Belém was billed as the moment the world would finally shift from pledges to real climate action. Instead, negotiators left the Amazon with no agreement to phase out fossil fuels and little progress on finance. As the rainforest strained to host yet another global gathering, the world’s political will once again fell short. The thirtieth conference of parties (COP30) of the United Nations Framework Convention on Climate Change ended a week ago in Belém, Brazil. The expectations were high, as they always are, so the outcome felt that much more disappointing. The host country had called this “implementation COP,” implying that it was time to move from talk to action. Instead, most observers think that any earlier progress was actually reversed. Notably, the final conference document makes no mention of phasing out fossil fuels, which after all are the main culprit of global warming. Even in the earlier COPs, held in the United Arab Emirates (UAE) and Azerbaijan, both petrostates that were seen as slowing down or even undermining the efforts to decarbonize the world, the importance of moving away from fossil fuels made it into the final text. With regard to deforestation, while more funding was promised for preventing the decimation of forests, countries failed to agree on a plan to stop the destruction and instead decided to rely on voluntary commitments. The location at the mouth of the Amazon, was symbolic and Brazil had emphasized prevention of deforestation as a central issue to prevent climate change. The Amazon occupies an important place in the minds of environmentalists as a symbol of a pristine forest whose environment and Indigenous Peoples are threatened by logging, agricultural expansion, destruction, and greed. The Amazon has been called the lungs of the world and, while this may be exaggerated, its global role in regulating water and climate and as a repository of biodiversity cannot be denied. The COP saw the presence of a record number of Indigenous peoples – at least 3,000 of them – and Brazil agreed to demarcate 10 new areas reserved for them. Regretfully, the COP itself brought pressures on the Amazon’s fragile ecosystem as thousands of delegates, activists and other hangers on congregated in Belém. There were concerns that the massive event itself would cause at least local environmental harm. For example, some activists expressed concern about the construction of Avenida Liberdade, a four-lane highway built through a protected area close to the city. Even if the avenue is presented as a “sustainable highway” that includes wildlife crossings, solar lighting and bike lanes, there is still a risk of fragmentation of the forest ecosystem, and providing easier access for loggers and poachers. A central player on the global scene, the United States did not even participate, as President Donald Trump withdrew the country from the Paris Agreement, not for the first time. At a speech at the UN in September, Trump called climate change the “greatest con job ever perpetrated in the world.” But the US is not alone. The Europeans continue playing along, but with reduced commitments to actual funding – partly because of the pressures Russia’s aggression in Ukraine has caused for European countries to expand their defense spending. Similarly, many developing countries have reprioritized and reduced their commitments to combating climate change. This is understandable, given that there are still over 3 billion people in the world living in poverty, according to the World Bank, and the developing countries’ contributions to climate change have been marginal compared with the rich countries. Consequently, they call for resource transfers from the global North to the South to adapt to the impacts of climate change and to leapfrog to latest clean technologies. For years now, the traditional Western donors have placed their faith in the private sector, having realized that there is no way that the public in their countries would accept transferring the required amounts of funding to developing countries. They just put in catalytic funding by way of guarantees derisking private sector investment. After all, the private sector is richer than ever. This is called “blended finance.” This approach has so far realized only limited success. The private sector financing has materialized only in a few sectors where there is a clear business case to be made, such as renewable energy (more on that later). The most vulnerable and least developed countries – nearly all of which are in Sub-Saharan Africa – see very little private sector investment in any field, let alone environmental protection. There is an obvious reason for this. The markets are small and institutions are weak. Consequently, investment is risky and the profit potential low. When I worked in the Global Environment Facility, I heard from private sector representatives that, what a public funding organization like the GEF can most usefully do is to create the policy, regulatory and legal frameworks that level the playing field and make investment more secure. The COPs have a history of generating unfulfilled promises. The demands for funding multiply and new funding mechanisms, such as the Loss and Damage Fund, are established with great fanfare but little actual funding. I asked one of the European government delegates why do they always go along with the demands when they know there’s a snowball’s chance in hell to get the required additional funding. Her response was, because otherwise the developing countries will march out of the negotiations. At the end of each COP, there is a communique celebrating the success that was achieved in the final moment. This is theater that creates expectations and gives an illusion of progress. This time around, there wasn’t even much of a pretense of success. How bad is it? The clock is ticking on curbing global warming to the 1.5-2.0 degrees Celsius above pre-industrial levels, as stipulated in the 2015 Paris Agreement. So far, the record doesn’t look promising as greenhouse gas emissions continue to rise. While most countries have committed to moving towards net-zero emissions, the timetables are not at sync with the Paris targets. Still, not everything is bleak, even as the intergovernmental processes falter. While climate proponents have attributed the positive changes that we have seen in recent year to the Paris Agreement, there is little evidence that the policies agreed upon within the COPs would have actually made a concrete difference. Instead, there are other forces at play. Roger Pielke Jr. points out that “business as usual” scenarios used by the Intergovernmental Panel on Climate Change (IPCC) are highly unlikely to materialize – and have been for a long while. So the actual likely future warming is not +4-6oC by the end of the century, as predicted by the most extreme scenarios, but rather perhaps +2.3-2.5oC. This is bad enough but it is a far cry from the worst-case scenarios. Whether this spells catastrophe depends on many factors, including where you live and how well prepared you are. Adaptation to climate change has gained much attention, and increased funding, in past years. Ahead of the Belém COP, Bill Gates angered many climate activists saying that global warming doesn’t mean the end of civilization. He emphasized that we need to adapt and be better prepared. He also noted that development is adaptation. He’s got a good point there. Many places will suffer; but the better prepared we are the less we’ll suffer. And wealthier places are inevitably safer than the poor corners of the world. Some places will become hard to live in, while others may even benefit. Sea levels will rise threatening especially small islands and low-lying coastal countries. Droughts, water shortages and weather anomalies affect most poor countries and people in Sub-Saharan Africa and the Middle East. Just today, Reuters reported on the rising death toll from a strong cyclone that devastated Southeast Asia, attributing the storm to climate change. Storms may intensify due to warmer ocean temperatures. However, the conclusion from IPCC’s 6th Assessment Report on the increasing frequency of storms is less conclusive. Heat waves are already killing more people than any other climatic hazard. Reducing deforestation will be very important, as is protecting coasts. The oceans and forests are the biggest carbon sinks on the planet. If well managed, they have great potential to regulate global climate. Therefore, loss of the Amazon rainforest – apart from its devastating effects on biodiversity and the lives of Indigenous Peoples – would be disastrous. The other piece of good news is that energy transition is on the way. Despite the best efforts of the US administration, the forward march of renewable energy is now unstoppable. The technologies –whether solar, wind or other – are progressing more rapidly than anyone dared to hope, due to improved technologies and sinking prices. Storage technology that has long been a bottleneck is improving by leaps and bounds thanks to new batteries. Already now, a third of global electricity is produced by renewable energy, and it is projected to grow rapidly. This is largely thanks to massive developments in the two most populous countries in the world, China and India. There is no doubt that renewables are the future. The markets guarantee this. A friend from West Virginia told me how former coal miners are now flocking to wind farms, still proud to be producing the much-needed energy to fuel development in their state and far beyond. The global leadership in the environment – as in many other fields – is now assumed by China. In fact, it is being handed over to it on a silver platter as the US voluntarily dismantles its science and technology capacities; the basis of America’s leadership over much of the past century. China is still suffering from terrible pollution and is still building up its fossil fuel production capacity to meet its burgeoning energy demand. At the same time, it is building more renewable energy than any other country in history. In the first five months of this year, China has installed five times more renewable energy generation capacity than California’s entire grid from any source. China is also now the leading manufacturer of electric vehicles. It is true that China has taken the dubious first place as the world’s largest emitter of greenhouse gases. This is due to its rapid development and the unprecedented poverty reduction that the country has achieved since the death of Mao Tse Tung. China is a big country and its emissions per capita are just 60% of Americans’. Similarly, in an historical perspective, China’s total emissions pale in comparison with those of the countries that industrialized earlier, in Europe and North America. We will not be able to thrive in a hothouse world, using up all our natural resources. The inequality, apart from being morally wrong, is neither sustainable nor conducive to social and political stability. I do believe, however, that the transition to a more sustainable development model is inevitable, as argued by Rob D. van den Berg in his book, Evidence for Hope: The Emerging Sustainability Revolution. The transition will also encompass the USA. How fast it takes place is partly determined by the political decisions made. I have argued elsewhere that we can’t only rely on renewable energy and EVs, but should also look at ways of capturing carbon from the atmosphere. It is now inevitable that we will surpass the goals embedded in the Paris Agreement. However, climate change doesn’t have to be the end of the world leading to global chaos, but it will require proactive management and adaptation to its impacts. And it will require reducing inequality, both within societies and between countries and continents. If COP30 proved anything, it is that diplomacy alone won’t save us. Real progress will depend on countries investing in resilience, accelerating the energy transition, and confronting inequality – not waiting for perfect consensus. With rapid advances in clean energy and growing calls for equity, the tools for a safer climate future already exist. It’s up to all of us to work towards this goal.

Evidence for Hope -- A Review

This is an interesting and quite original book. The topic is very important, given the two crises facing humanity today: those of environmental sustainability (or lack thereof) and misinformation / disinformation. Rob van den Berg, the former director of evaluation at the Global Environment Facility and, before that the Netherlands government, tackles these interconnected challenges from a personal perspective. Anchored in an understanding of philosophical traditions, he emphasizes the importance of worldviews to how evidence is perceived. A historian by training, van den Berg explores the historical roots of such worldviews and how the understanding of what constitutes evidence has evolved from religious texts to science to more heterodox views.

He identifies four worldviews that are prevalent today and how they view evidence. These are: sustainable economic growth; social and economic interactions; social, economic and environmental sustainability; and populism, patriotism and conspiracies. He points out that “detachment from evidence may be a contributing factor to our failures to reign in conspiracy theories and/or racist inspired theories of our world” (p. 4).

Van den Berg defines evidence as consisting of observations, explanation, and expectations. He points out that data and observations per se do not constitute evidence. Explanation is based on theories of what the observations tell us. As for expectations, “(I)f we have credible observations that are explained by a credible theory, we can verify that the observations and explanations are correct, by making a hypothesis on what we would observe in the future” (p. 33). Evidence is thus the well-considered and reasoned judgement of the above three.

He is not afraid of expressing controversial views (in the biography at the end of the book he states that he prides himself on "independence of mind"). A main target is the mechanistic perspective adopted by many scientists. He critiques medical science that relies on randomized controlled trials as the only method for testing and approving medicines and treatments (recognizing the commercial interests of the pharmaceutical industry)—and the evaluators who have embraced RTCs as a “gold standard.” He is equally critical of physicists who focus on sub-atomic level and extrapolate these rules to human behavior (he does find some consolation in physics that recognizes the interconnectedness of all things). The strongest arguments are contained in the chapters on causality (9-10). He takes a systems perspective, arguing that higher level systems behave in non-linear ways and human actions are intentional and informed by our own will, rather than predetermined by molecular interactions. 

While causality has fallen out of favor among some physical scientists, the author makes a strong case for the importance of causality in the real world. It is also essential for the applied science and practice of evaluation (as well as policy in general). His argument is that “If we want to be successful in dealing with the sustainability crises, we need to agree on the meaning of causality, and how it helps us get out of the hole we dug for ourselves and our societies and this planet” (p. 179) and that “causality is a key ingredient to come to action based on reasoned judgements of evidence” (pp. 193-194). However, causality in real life is rarely linear: it is nearly always composite and very often complex. Two further concepts that emerge as important refer to blocked causality (in essence, barriers to change) and catalytic causality. Two chapters (10 & 11) focus on systems, including causality for transformational change and how to transform systems.

While environmental, social and economic sustainability is a constant backdrop to the book, it is in the last few chapters where it takes center stage. The penultimate chapter (12) focuses on action for transformational change based on evidence. Referring to the title of the book, the author outlines what he calls “evidence for despair” before moving to “evidence for hope.” He draws primarily from the fast advancements in energy generation and storage, and their catalytic impact. He also cites his own experiences, including with the Transformational Change Learning Partnership of the Climate Investment Funds. The author remains critical of the orthodox economics worldview but he also thinks of ways of harvesting this kind of thinking for transformation. One such way pertains to how market forces are harnessed for the energy transition. He points out that, contrary to the misinformation supplied by the fossil fuel companies and their allies, renewable energy is actually getting cheaper than the traditional alternatives, which will make market transformation inevitable. He calls for the systematization of knowledge into an easily accessible repository, thus turning “a mountain of evidence” into “a fountain of knowledge” (pp. 264-267).

Rob van den Berg is ultimately an optimist. At no point minimizing the challenges we face, he still concludes that the world is on the verge of a sustainability revolution—in fact, it is the only option for humanity. Refreshingly, he notes that many climate activists argue that “humanity needs to scale down, needs to live close to nature, needs to become sober, needs to return to living off the land, needs to stop consuming and so on” (p. 276). However, their approach would basically doom humanity to poverty and scarcity. According to van den Berg, renewable sources have the potential to provide enough energy for all of us not needing to sacrifice our comforts. “The Third Energy Revolution has barely started but shows huge promise!” (p. 278).

Rob van den Berg is extremely well-read in a wide variety of subjects and disciplines, citing equally from philosophical and historical tracts, as well as texts concerning economics and the environment. This alone makes his line of argumentation compelling and fascinating. Despite the heavy content, the book is an easy read. This is largely because of Rob’s writing style, which is quite conversational, drawing on his personal experiences and emphasizing his own viewpoints.

Highly recommended to people from a variety of backgrounds—and a variety of worldviews—this is an important contribution towards how we understand evidence and causality, and how we can all contribute to a sustainability transition.

Integrating Environmental and Socioeconomic Domains for Sustainability

This blog was published on the Global Environment Facility (GEF) Independent Evaluation Office website in connection with the 4th Conference on Evaluating Environment and Development, March 5-7, 2024.

The world is facing a triple environmental crisis of climate change, biodiversity and ecosystem loss, and pollution. Inequality between and within countries is on the rise. While many formerly developing countries now have moved to the middle-income category, many others have fallen into fragility and vulnerability. Tensions and wars proliferate: the number of armed conflicts around the world is now at their highest level in three decades. The current refugee crisis is a hot political issue all over the world.

The Sustainable Development Goals (SDGs) recognize the equal importance of the social, economic, and environmental dimensions. However, current trends show that progress is highly uneven and that most of the universal goals will not be achieved by the target date of 2030. All these challenges are tightly interwoven. Therefore, the theme of the 4th Conference on Evaluating Environment and Development is integrating environmental and socioeconomic domains for sustainability.

On the environmental front, there has been a proliferation of treaties and funds, mostly focusing on climate change – the Green Climate Fund, the Climate Investment Funds, and the Adaptation Fund, just to name a few. At the COP28, in December 2023, the establishment of the Loss and Damage Fund was seen as a major breakthrough. While the GEF has long been the only one focusing on ecosystem management, the Kunming-Montreal Global Biodiversity Framework Fund has recently been added to its purview. There are also new international agreements developed on plastic waste and biodiversity in areas beyond national jurisdiction. These important developments hide the fact that financial flows still favor activities that are harmful to the global environment. IMF estimates that fossil fuel subsidies alone amounted to a mind-boggling $5.9 trillion in 2020, while total financing for the global environment from both public and private sources is estimated at $632 billion during the same timeframe.

For organizations like the GEF, it is not enough to focus strictly on conservation. There has been a realization that we must address the root causes of environmental degradation. This insight has led to the development of a set of programs that focus on critical issues, such as food systems and sustainable cities in an integrated manner. There is also a new emphasis on policy coherence, so that the strides made in the environmental arena are not undone by policies and actions in other areas. This problem has led to the paradoxical situation that while many projects succeed in reaching their objectives, the environmental macro trends are still declining.

This all has implications for evaluation. Lots of progress has been made and the environment is increasingly recognized as important by evaluators. However, much remains to be done. Evaluation is still largely focusing on individual projects without paying attention to the larger context in which they operate. Similarly, evaluations are still often ignoring the natural environment. The focus on individual projects also risks missing the unintended consequences of interventions, be it to the environment or to vulnerable groups, such as Indigenous peoples. If evaluation wants to contribute to sustainability transitions and remain relevant to the pressing contemporary problems, it must up its game and take a comprehensive look at both human and natural systems. Sustainable development happens at their nexus, if it is going to happen at all. I believe that conferences like this will help us move the needle in the right direction.

This conference brings together streams of sessions that deal with critical issues, building upon the science of integration and the importance of systems thinking. While there are sessions on the more traditional environmental issues – climate change mitigation and adaptation, sustainable forestry and land use, biodiversity, chemicals and waste – we also focus on the drivers of (un)sustainability. We look into how fragility, conflict and vulnerability influence program performance and how evaluation must incorporate them. Behavior change is another important topic for evaluation where innovation is needed. Similarly, inclusion, appreciating Indigenous worldviews, and decolonizing evaluation are areas where we are happy to partner with our co-sponsors, including the International Evaluation Academy and the International Development Evaluation Association (IDEAS). The Global Evaluation Initiative (GEI) brings us valuable perspectives from governments helping to mainstream the environment into evaluations. And I’m very pleased that we will have discussions on the role of the private sector and philanthropy, and environmental finance more broadly, as these actors are sorely needed.

It is my sincere hope – and conviction – that the conference will advance how evaluation can better and more effectively respond to the demands for sustainability in our interconnected world.

Ympäristö, ilmastonmuutos ja arviointi – kohti kokonaisvaltaista näkemystä

Elämme antroposeenissä, jossa ihmisen toiminta on tärkein maapallon luontoa muokkaava tekijä. Tämä tuo uusia haasteita kehityspolitiikalle ja -ohjelmille sekä niiden arvioinnille. Ilmastonmuutos on todellisuutta, jonka kanssa meidän on pakko elää ja yrittää sopeutua sen vaikutuksiin. Maaliskuussa 2022 hallitustenvälinen ilmastopaneeli, IPCC, julkaisi uusimman raporttinsa, jonka mukaan ilmastotuhot tapahtuvat luultua nopeammin. Lämpöaalloista, metsäpaloista, kuivuudesta, myrskyistä ja nousevasta merenpinnasta aiheutuu haittoja enenevässä määrin. 

Ilmastonmuutos on kuitenkin vain yksi vakavista ympäristöongelmista. Luonnon monimuotoisuus niin laji kuin ekosysteemitasolla katoaa nopeammin kuin koskaan ennen ihmiskunnan olemassaolon aikana. Ilman, veden, maaperän ja merien saastuminen on yhä erittäin merkittävä syy ylikuolleisuuteen maailmassa, vaikka sitä ei tule puhtaan Suomen kantilta aina muistaneeksi. Maailma hukkuu jätteisiin, joita syntyy aina vain enemmän ihmisten vaurastuessa. Maailman meret kärsivät muovijätteistä. 

Covid-pandemia on muistutus siitä, kuinka luonnon ja ihmisen terveys ja hyvinvointi ovat kiinteästi toisistaan riippuvaisia. Luonnon tasapainon rikkoontumisen seurauksena ovat lisääntyneet sellaiset zoonoosit, joissa virus siirtyy eläimistä ihmisiin. Kun ihmisen toiminta tunkeutuu syvemmälle aiemmin pilaantumattomaan luontoon ja metsät kaadetaan maatalouden, kaivostoiminnan ja rakentamisen tieltä, avaamme portin uusille viruksille ja hyödytämme niitä kantavia ihmisten parissa menestyviä eläimiä, kuten rottia ja lepakoita. Samaan aikaan esim. hyttysten levittämät taudit, kuten malaria, leviävät kohti napoja ilmaston lämmetessä. 

Kaikella yllämainitulla on tärkeä sosioekonominen ulottuvuus. Haavoittuvassa asemassa olevat ihmiset ja kehitysmaat ovat myös alttiimpia ilmastonmuutokselle ja ympäristön pilaantumiselle, kun eriarvoisuus maiden välillä ja yhteiskuntien sisällä on kasvanut. 

Evaluointi tarvitsee uuden perspektiivin

Tällä on merkitystä sille, kuinka arvioimme. Perinteisesti evaluointi katsoo ohjelmia sisältäpäin: tarkastellaan onko hanke tehnyt ennalta suunniteltuja asioita ja tuottanut sovittuja palveluita tai tuotteita. Tässä lähestymistavassa keskitytään arvioimaan ohjelman onnistumista erillään laajemmasta ympäristöstä ja välittämättä siitä, tapahtuiko varsinaista muutosta siihen asiantilaan, johon haluttiin vaikuttaa. Riskinä on, että yksittäinen evaluointi jää teknokraattiseksi rasti-ruutuun harjoitelmaksi. 

Todellisen muutoksen aikaansaaminen vaatii, että kehitys- ja ympäristöpolitiikan ja ohjelmien tulee keskittyä kestämättömän kehityksen taustatekijöihin eikä vain oireisiin. Esimerkiksi Maailmanlaajuinen ympäristörahasto (Global Environment Facility, GEF) on siirtänyt strategiansa painopisteen yhteiskunnallisiin tekijöihin, joilla on eniten vaikutusta ympäristön tilaan. Sen uudet ohjelmat pyörivät ruoantuotannon, kaupunkien ja metsäkadon ympärillä sen sijaan, että rahoitettaisiin vain ympäristöystävällistä teknologiaa tai suojelualueiden perustamista. Myös näiden ohjelmien evaluointi vaatii uusia lähestymistapoja. Jos tarkastelemme vaikka maataloustuotantoa kestävän kehityksen kannalta, emme voi keskittyä ainoastaan paikallistason hankkeiden tarkasteluun irrallaan laajemmasta kokonaisuudesta. Kolme päivittäistä tuotetta – soijapavut, palmuöljy ja pihviliha – ovat vastuussa lähes 80 prosentista trooppisesta metsäkadosta. Niiden vaikutus linkittyy paikallistasolta pienviljelijätuotannosta kansainvälisen markkinoinnin ja kuljetuksen kautta kulutukseen meillä kotona. Nämä kaikki tasot on otettava huomioon niin ohjelmoinnissa kuin sen arvioinnissakin. 

Tässä muutamia ajatuksia siitä, mitä tämä kaikki merkitsee evaluoinnille. Ensinnäkin, evaluoinnin tulee hahmottaa sen kohde kokonaisvaltaisesti. Jokainen interventio tapahtuu laajemmassa kontekstissa, ja se konteksti vaikuttaa monella tapaa intervention menestykseen. GEFin itsenäisessä evaluointitoimistossa teimme hiljattain kolme evaluointia rahaston toiminnasta kolmessa eri maaryhmässä: vähiten kehittyneissä maissa, pienissä saarivaltioissa ja haavoittuvaisissa maissa tai tilanteissa. Evaluoinnit osoittivat selvästi, kuinka maan tai alueen tilanne voi heikentää tilastollisesti merkittävästi ohjelmien tuloksia. Vaikuttavat tekijät liittyvät mm. turvallisuustilanteeseen, poliittiseen epävarmuuteen ja heikkoihin instituutioihin. Jokaisessa maaryhmässä on omat erityispiirteensä ja niiden sisällä jokainen maa on erilainen. Tämä kyseenalaistaa universaalien ”parhaiden käytäntöjen” löytämisen. 

Kaikki ohjelmat toimivat laajemmassa järjestelmässä, jossa eri osat – talous, politiikka, sosiaalinen ulottuvuus, muut ohjelmat – ovat toistensa kanssa vuorovaikutuksessa. Ei ole siten mielekästä tarkastella erillisiä hankkeita eristyksessä tästä muusta ympäristöstä. Näemme usein tilanteita, joissa hankkeet ovat saavuttaneet kaikki tavoitteensa, mutta niiden vaikutus laajempaan systeemiin on merkityksetön, koska muut seikat tekevät tavoitteet tyhjiksi. Ympäristöohjelmissa tämä on valitettavan usein lopputulos. Vaikka maailmanlaajuisesti ympäristörahoitus on noussut tietoisuuden ja kansainvälisten sopimusten myötä, jää se pahasti jälkeen ympäristöön negatiivisesti vaikuttavista toimista. Kokonaisrahoitus julkisista ja yksityisistä lähteistä ilmastonmuutoksen hillintään on nykyisin arviolta 590 miljardin euron vuosiluokkaa, kun taas maat käyttävät Kansainvälisen valuuttarahaston (International Monetary Fund, IMF) mukaan noin 5,4 biljoonaa euroa vuodessa yksinomaan fossiilisten polttoaineiden tukemiseen! 

Toiseksi on tärkeää ottaa evaluoinnissa huomioon sekä ihmisten että luonnon järjestelmät. On mahdotonta saavuttaa kestävää kehitystä, jos keskitymme yhteen toisen unohtaen. Jos luonnon järjestelmät hajoavat, voimme unohtaa myös sosiaalisen ja taloudellisen kehityksen, sillä ne perustuvat hyvin pitkälti luonnonvaroihin ja vakaaseen ympäristöön. Viime vuonna julkaistu Dasguptan raportti luonnon monimuotoisuudesta tekee tämän selväksi. 

Tämä ei päde yksinomaan ympäristöohjelmien arviointiin vaan ennen kaikkea ohjelmiin, joiden kohteena on taloudellinen kehitys. Voidaan näet todeta melko kategorisesti, että kaikella ihmisen toiminnalla on ympäristövaikutuksia. Ne voivat olla positiivisia tai negatiivisia, tarkoitettuja tai tarkoittamattomia, mutta evaluoinnin on silti tuotava ne esiin. Tässä siis toinen syy, miksi evaluointi ei voi keskittyä vain tarkastelemaan onko ohjelma tehnyt sen, mitä lupasi. Evaluoinnin täytyy identifioida odottamattomat vaikutukset, ei ainoastaan ympäristölle, mutta myös haavoittuville ryhmille, vähemmistöille, naisille, alkuperäiskansoille jne. On selvää, että jos nämä vaikutukset eivät ole olleet ennalta nähtävissä, niitä ei myöskään ole huomioitu ohjelman muutosteoriassa. Siksi evaluoinnin pitää katsoa kokonaisuutta laajemmin.

Monissa tapauksissa ei ole mahdollista löytää kaikkia niin luontoa kuin ihmistä hyödyttäviä ratkaisuja, vaan tarvitaan kompromisseja. Evaluoinnin rooli ei ole päättää, mitä sellaisissa tapauksissa tulee tehdä, mutta sen velvollisuus on tuoda esiin mahdolliset ristiriidat esim. luonnonsuojelun ja taloudellisen kehityksen välillä. Evaluointi voi myös valottaa synergisiä tilanteita, joissa kaikkien tahojen edut on pystytty maksimoimaan, ja siten edistää tietoa asian tiimoilta. 

Metodit evaluointikysymysten mukaan 

Kaikki yllämainittu vaatii monimetodista lähestymistapaa evaluoinnille. Ei ole olemassa ”kultastandardia,” jossa yksi menetelmä olisi aina muita parempi. Esimerkiksi kokeelliset menetelmät, joissa hankkeen tuloksia kohderyhmälle verrataan tilastollisesti kontrolliryhmään hankkeen ulkopuolella, ovat usein hyvin vaikeita käyttää todellisissa tilanteissa, joissa puntarissa on ihmisten ja luonnon hyvinvointi. Niiden käyttö voi sopia tarkasti rajattuihin hankkeisiin, mutta ei ohjelmatasolla tai laajempien yhteyksien ymmärtämiseen. Vaikka joissain tilanteissa voitaisiinkin näyttää tilastollisia eroja hankkeen kohderyhmän ja kontrolliryhmän välillä, on niiden selittäminen vaikeaa pelkän tilastoanalyysin kautta.

Koska GEFin hankkeet keskittyvät ympäristöön, käytämme niiden arviointiin usein geospatiaalisia menetelmiä. Kaukokartoitus auttaa näkemään muutokset aikajaksojen yli vaikkapa kasvillisuuden tuottavuudessa, metsäpeitteessä ja -tyypeissä, maaperän eroosiossa tai asutuksen ja tieverkon laajentumisessa. Tarvitsemme muita tiedonlähteitä, jotta voimme ymmärtää muutoksiin vaikuttaneet tekijät. Kenttätyö ja haastattelut ovat tärkeitä, mutta vastauksia voi myös etsiä jo julkaistusta kirjallisuudesta. Esimerkiksi evaluointimme GEFin metsänsuojeluhankkeista Kambodzhassa ja Vietnamissa paljasti, miten sama lähestymistapa johti varsin erilaisiin tuloksiin maitten välillä. Näiden erojen selittäminen vaati evaluaattoreiltamme paneutumista tieteellisiin artikkeleihin ja paikalliseen tutkimukseen. Näistä selvisivät ne poliittiset, sosiaaliset ja taloudelliset tekijät, joiden johdosta hankkeiden vaikutukset erosivat toisistaan niin merkittävästi.

Evaluointi voi auttaa meitä hillitsemään tehokkaammin ilmastonmuutosta ja ympäristön tuhoutumista. Tämä kuitenkin vaatii evaluoinnilta uutta, laajempaa perspektiiviä. Meidän on tarkasteltava ohjelmia ja hankkeita kokonaisvaltaisesti. Systeemiteoreettisesti nähtynä nämä ovat osa laajempaa rakennetta. Pystymme näkemään ihmisen ja luonnonjärjestelmät yhtenä toisiinsa liittyvänä kokonaisuutena ja myös huomioimaan ennakoimattomat vaikutukset. Tällöin evaluointi pystyy tuottamaan hyödyllistä tietoa perusteellisemman muutoksen aikaansaamiseksi.

[Published originally in the 2021 Annual Report on Evaluation by the Ministry of Foreign Affairs of Finland.] 

Arviointi auttaa GEF:iä kohdistamaan rahoituksensa tehokkaasti

 

Maailmanlaajuinen ympäristörahasto (Global Environment Facility GEF) on maailman vanhin monenkeskinen rahasto, joka sijoittaa kehittyvien maiden ympäristötyöhön. Se on jakanut 30-vuotisen historiansa aikana rahoitusta miljardien edestä. Vastuu merkittävien rahavirtojen kanavoimisesta on saanut GEFin ottamaan arvioinnin vakavasti.

Itsenäinen evaluaatiotoimisto toimii GEF:n organisaatiokaaviossa omana yksikkönään, ja sen johtajana raportoin suoraan johtokunnalle. Tehtävänämme on tuottaa riippumattomaan arviointiin perustuvaa tietoa rahaston ja sen rahoittamien hankkeiden tuloksista ja vaikuttavuudesta sekä  yhteistyön toimivuudesta kokonaisuudessaan. Koska GEF:n rahoittamat ohjelmat ja hankkeet toteutetaan eri järjestöjen  kuten Maailmanpankin, muutamien YK-järjestöjen ja isojen, ympäristöön keskittyvien kansalaisjärjestöjen kautta, tehtävämme on myös valvoa, että nämä arvioivat toteuttamansa hankkeet sovitulla tavalla.

Olemme juuri julkistaneet seitsemännen kokonaisvaltaisen arvion meneillään olevia  lisärahoitusneuvotteluja varten. Tämä evaluaatio tuo yhteen löydökset 34:stä eri osa-arvioinnista, joita toimistomme on laatinut lähes kolmen vuoden ajan. Kaikkiaan GEF on rahoittanut historiansa aikana yli 5 000 hanketta. Näistä jokainen loppuun saatettu hanke on arvioitu. Nämä hanketason arvioinnit ovat meille aarreaitta, kun tutkimme trendejä rahoituksen painopisteissä ja hankkeiden tuloksissa. Ne tuovat myös esiin erittäin rikkaan kirjon syitä, jotka selittävät hankkeiden onnistumisten edellytyksiä ja antavat osviittaa sille, mihin GEF:n ja sen järjestöjen kannattaisi panostaa.

Emme kuitenkaan tukeudu ainoastaan hanketason arviointeihin, joita toteuttajaorganisaatiot ja konsultit ovat tehneet, vaan teemme myös itse omia tutkimuksiamme. Esimerkiksi viimeisimmän kokonaisarvioinnin osana päätimme tutkia tarkemmin, mistä mitattavat erot eri maaryhmien välillä hankkeiden tuloksissa johtuvat. Kun vaikkapa Kiinassa ja Meksikossa yhdeksän kymmenestä hankkeesta onnistuu erinomaisesti, on vastaava luku Afrikassa paljon alhaisempi. Teimme maaryhmäarvioinnit vähiten kehittyneistä maista  yleensä ja Sahelin alueesta erityisesti sekä pienistä saarivaltioista. Arvioinnit valaisivat näiden maaryhmien erityisongelmia, joihin kuuluvat matala institutionaalinen kapasiteetti ja vähäiset henkilöresurssit. Etenkin köyhimmissä maissa on tärkeää, että ympäristöhankkeet auttavat myös ihmisiä toimeentulon hankkimisessa.

Teimme lisäksi erityisen arvioinnin maista, joissa haavoittuvuus ja konfliktitilanteet vaikuttavat hankkeisiin, sillä GEF:n rahoittamista hankkeista yli puolet toteutetaan juuri tällaisissa maissa. Arvioinnin mukaan heikko turvallisuustilanne ja kysymykset eri toimijoiden legitimiteetistä ovat suoranaisia uhkia hankkeille. Toisaalta löysimme esimerkkejä hankkeista, jotka olivat paikallisen väestön kannalta erityisen tervetulleita, sillä ne paransivat luonnonvarainhoidon kautta ihmisten toimeentuloa ja elintarviketurvaa sekä auttoivat paikallisyhteisöjä toimimaan yhteistyössä. GEF ei kuitenkaan systemaattisesti ota paikallista tilannetta huomioon ohjelmatoiminnassaan. Arviointi kehottaakin rahastoa parantamaan käytäntöään jatkossa.

Viime vuosina GEF:n strategiat ovat siirtyneet selkeästi sektoriaalisista ympäristöhankkeista integroituihin ohjelmiin, joiden kohteena ovat ympäristöön vaikuttavat yhteiskunnalliset prosessit. Ohjelmat kohdistuvat ruoantuotantoon ja maankäyttöön, kaupunkeihin ja tuotantoketjuihin, joilla on erityisen suuri ympäristövaikutus. Päivittäiset tuotteet, kuten soijapavut, palmuöljy ja liha, ovat suurimpia syitä trooppiseen metsäkatoon ja vaikuttavat suuresti niin ilmastonmuutokseen kuin biodiversiteetin katoamiseenkin. Kaupungit kuluttavat kaksi kolmasosaa maailman energiasta ja päästävät ilmoille 70 prosenttia kasvihuonekaasuista. Niiden hallitsematon kasvu kehitysmaissa johtaa tärkeiden ekosysteemien tuhoon ja metsäkatoon ja samalla tekee kaupungeista ja niiden väestöstä hyvin haavoittuvaisia ilmastonmuutoksen vaikutuksille. Toisaalta hyvällä kaupunkisuunnittelulla kaikkia näitä ongelmia voidaan ratkaista.

Nämä ohjelmat ovat sen verran uusia, että niiden vaikutuksia on liian varhaista arvioida. Olemme kuitenkin pyrkineet ennakoimaan niiden onnistumista formatiivisen arvioinnin avulla. Näyttää selvältä, että on viisaampaa keskittyä ongelman aiheuttajiin kuin yrittää korjata jo tapahtunutta tuhoa.

Käytämme arvioinneissamme monia erilaisia metodeja. Kokeelliset metodit eivät usein ole mahdollisia tämän tyyppisissä tutkimuksissa, mutta pyrimme kvantifioimaan tuloksia siinä määrin kuin mahdollista. Koska monissa GEF:n ohjelmissa kohteena on vaikkapa maankäyttö tai kasvillisuus, olemme kehittäneet tapoja käyttää kaukokartoitusta ja paikkatietojärjestelmiä mittaamaan muutosta. Näitä voi yhdistää sosioekonomiseen analyysiin. Mitä tahansa metodia käytetäänkin, tärkeintä on systemaattinen analyysi ja triangulaatio.

Miksi arvioinnista on tullut niin tärkeä osa GEF:n toimintaa? Yhtenä syynä on se, että GEF perustettiin olemaan innovatiivinen rahoitusmekanismi, jonka puitteissa voidaan testata uusia, parempia tapoja toimia ympäristön hyväksi. Tällainen kokeellinen lähestymistapa tietysti vaatii, että arviointi on oleellinen osa järjestelmää. Vuosien saatossa arviointi on lisäksi todistanut arvonsa tuottamalla käytännöllistä tietoa toimintamallien tarkoituksiin sekä vastaamalla johtokunnan ja muiden osallistujien tarpeisiin joustavasti ja ajallaan.

Olemme juuri julkaisseet kirjan Environmental evaluation and Global Development Institutions – a case study of the Global Environment Facility, jossa valaisemme näitä asioita tarkemmin GEF:n näkökulmasta. Kirjan esittelytilaisuuden tallenne löytyy GEF:n YouTube -kanavalta.

Originally published by the FInnish Evaluation Society.