In the aftermath of COP30 in Brazil: The limits to intergovernmental processes

COP30 in Belém was billed as the moment the world would finally shift from pledges to real climate action. Instead, negotiators left the Amazon with no agreement to phase out fossil fuels and little progress on finance. As the rainforest strained to host yet another global gathering, the world’s political will once again fell short. The thirtieth conference of parties (COP30) of the United Nations Framework Convention on Climate Change ended a week ago in Belém, Brazil. The expectations were high, as they always are, so the outcome felt that much more disappointing. The host country had called this “implementation COP,” implying that it was time to move from talk to action. Instead, most observers think that any earlier progress was actually reversed. Notably, the final conference document makes no mention of phasing out fossil fuels, which after all are the main culprit of global warming. Even in the earlier COPs, held in the United Arab Emirates (UAE) and Azerbaijan, both petrostates that were seen as slowing down or even undermining the efforts to decarbonize the world, the importance of moving away from fossil fuels made it into the final text. With regard to deforestation, while more funding was promised for preventing the decimation of forests, countries failed to agree on a plan to stop the destruction and instead decided to rely on voluntary commitments. The location at the mouth of the Amazon, was symbolic and Brazil had emphasized prevention of deforestation as a central issue to prevent climate change. The Amazon occupies an important place in the minds of environmentalists as a symbol of a pristine forest whose environment and Indigenous Peoples are threatened by logging, agricultural expansion, destruction, and greed. The Amazon has been called the lungs of the world and, while this may be exaggerated, its global role in regulating water and climate and as a repository of biodiversity cannot be denied. The COP saw the presence of a record number of Indigenous peoples – at least 3,000 of them – and Brazil agreed to demarcate 10 new areas reserved for them. Regretfully, the COP itself brought pressures on the Amazon’s fragile ecosystem as thousands of delegates, activists and other hangers on congregated in Belém. There were concerns that the massive event itself would cause at least local environmental harm. For example, some activists expressed concern about the construction of Avenida Liberdade, a four-lane highway built through a protected area close to the city. Even if the avenue is presented as a “sustainable highway” that includes wildlife crossings, solar lighting and bike lanes, there is still a risk of fragmentation of the forest ecosystem, and providing easier access for loggers and poachers. A central player on the global scene, the United States did not even participate, as President Donald Trump withdrew the country from the Paris Agreement, not for the first time. At a speech at the UN in September, Trump called climate change the “greatest con job ever perpetrated in the world.” But the US is not alone. The Europeans continue playing along, but with reduced commitments to actual funding – partly because of the pressures Russia’s aggression in Ukraine has caused for European countries to expand their defense spending. Similarly, many developing countries have reprioritized and reduced their commitments to combating climate change. This is understandable, given that there are still over 3 billion people in the world living in poverty, according to the World Bank, and the developing countries’ contributions to climate change have been marginal compared with the rich countries. Consequently, they call for resource transfers from the global North to the South to adapt to the impacts of climate change and to leapfrog to latest clean technologies. For years now, the traditional Western donors have placed their faith in the private sector, having realized that there is no way that the public in their countries would accept transferring the required amounts of funding to developing countries. They just put in catalytic funding by way of guarantees derisking private sector investment. After all, the private sector is richer than ever. This is called “blended finance.” This approach has so far realized only limited success. The private sector financing has materialized only in a few sectors where there is a clear business case to be made, such as renewable energy (more on that later). The most vulnerable and least developed countries – nearly all of which are in Sub-Saharan Africa – see very little private sector investment in any field, let alone environmental protection. There is an obvious reason for this. The markets are small and institutions are weak. Consequently, investment is risky and the profit potential low. When I worked in the Global Environment Facility, I heard from private sector representatives that, what a public funding organization like the GEF can most usefully do is to create the policy, regulatory and legal frameworks that level the playing field and make investment more secure. The COPs have a history of generating unfulfilled promises. The demands for funding multiply and new funding mechanisms, such as the Loss and Damage Fund, are established with great fanfare but little actual funding. I asked one of the European government delegates why do they always go along with the demands when they know there’s a snowball’s chance in hell to get the required additional funding. Her response was, because otherwise the developing countries will march out of the negotiations. At the end of each COP, there is a communique celebrating the success that was achieved in the final moment. This is theater that creates expectations and gives an illusion of progress. This time around, there wasn’t even much of a pretense of success. How bad is it? The clock is ticking on curbing global warming to the 1.5-2.0 degrees Celsius above pre-industrial levels, as stipulated in the 2015 Paris Agreement. So far, the record doesn’t look promising as greenhouse gas emissions continue to rise. While most countries have committed to moving towards net-zero emissions, the timetables are not at sync with the Paris targets. Still, not everything is bleak, even as the intergovernmental processes falter. While climate proponents have attributed the positive changes that we have seen in recent year to the Paris Agreement, there is little evidence that the policies agreed upon within the COPs would have actually made a concrete difference. Instead, there are other forces at play. Roger Pielke Jr. points out that “business as usual” scenarios used by the Intergovernmental Panel on Climate Change (IPCC) are highly unlikely to materialize – and have been for a long while. So the actual likely future warming is not +4-6oC by the end of the century, as predicted by the most extreme scenarios, but rather perhaps +2.3-2.5oC. This is bad enough but it is a far cry from the worst-case scenarios. Whether this spells catastrophe depends on many factors, including where you live and how well prepared you are. Adaptation to climate change has gained much attention, and increased funding, in past years. Ahead of the Belém COP, Bill Gates angered many climate activists saying that global warming doesn’t mean the end of civilization. He emphasized that we need to adapt and be better prepared. He also noted that development is adaptation. He’s got a good point there. Many places will suffer; but the better prepared we are the less we’ll suffer. And wealthier places are inevitably safer than the poor corners of the world. Some places will become hard to live in, while others may even benefit. Sea levels will rise threatening especially small islands and low-lying coastal countries. Droughts, water shortages and weather anomalies affect most poor countries and people in Sub-Saharan Africa and the Middle East. Just today, Reuters reported on the rising death toll from a strong cyclone that devastated Southeast Asia, attributing the storm to climate change. Storms may intensify due to warmer ocean temperatures. However, the conclusion from IPCC’s 6th Assessment Report on the increasing frequency of storms is less conclusive. Heat waves are already killing more people than any other climatic hazard. Reducing deforestation will be very important, as is protecting coasts. The oceans and forests are the biggest carbon sinks on the planet. If well managed, they have great potential to regulate global climate. Therefore, loss of the Amazon rainforest – apart from its devastating effects on biodiversity and the lives of Indigenous Peoples – would be disastrous. The other piece of good news is that energy transition is on the way. Despite the best efforts of the US administration, the forward march of renewable energy is now unstoppable. The technologies –whether solar, wind or other – are progressing more rapidly than anyone dared to hope, due to improved technologies and sinking prices. Storage technology that has long been a bottleneck is improving by leaps and bounds thanks to new batteries. Already now, a third of global electricity is produced by renewable energy, and it is projected to grow rapidly. This is largely thanks to massive developments in the two most populous countries in the world, China and India. There is no doubt that renewables are the future. The markets guarantee this. A friend from West Virginia told me how former coal miners are now flocking to wind farms, still proud to be producing the much-needed energy to fuel development in their state and far beyond. The global leadership in the environment – as in many other fields – is now assumed by China. In fact, it is being handed over to it on a silver platter as the US voluntarily dismantles its science and technology capacities; the basis of America’s leadership over much of the past century. China is still suffering from terrible pollution and is still building up its fossil fuel production capacity to meet its burgeoning energy demand. At the same time, it is building more renewable energy than any other country in history. In the first five months of this year, China has installed five times more renewable energy generation capacity than California’s entire grid from any source. China is also now the leading manufacturer of electric vehicles. It is true that China has taken the dubious first place as the world’s largest emitter of greenhouse gases. This is due to its rapid development and the unprecedented poverty reduction that the country has achieved since the death of Mao Tse Tung. China is a big country and its emissions per capita are just 60% of Americans’. Similarly, in an historical perspective, China’s total emissions pale in comparison with those of the countries that industrialized earlier, in Europe and North America. We will not be able to thrive in a hothouse world, using up all our natural resources. The inequality, apart from being morally wrong, is neither sustainable nor conducive to social and political stability. I do believe, however, that the transition to a more sustainable development model is inevitable, as argued by Rob D. van den Berg in his book, Evidence for Hope: The Emerging Sustainability Revolution. The transition will also encompass the USA. How fast it takes place is partly determined by the political decisions made. I have argued elsewhere that we can’t only rely on renewable energy and EVs, but should also look at ways of capturing carbon from the atmosphere. It is now inevitable that we will surpass the goals embedded in the Paris Agreement. However, climate change doesn’t have to be the end of the world leading to global chaos, but it will require proactive management and adaptation to its impacts. And it will require reducing inequality, both within societies and between countries and continents. If COP30 proved anything, it is that diplomacy alone won’t save us. Real progress will depend on countries investing in resilience, accelerating the energy transition, and confronting inequality – not waiting for perfect consensus. With rapid advances in clean energy and growing calls for equity, the tools for a safer climate future already exist. It’s up to all of us to work towards this goal.

Ympäristö, ilmastonmuutos ja arviointi – kohti kokonaisvaltaista näkemystä

Elämme antroposeenissä, jossa ihmisen toiminta on tärkein maapallon luontoa muokkaava tekijä. Tämä tuo uusia haasteita kehityspolitiikalle ja -ohjelmille sekä niiden arvioinnille. Ilmastonmuutos on todellisuutta, jonka kanssa meidän on pakko elää ja yrittää sopeutua sen vaikutuksiin. Maaliskuussa 2022 hallitustenvälinen ilmastopaneeli, IPCC, julkaisi uusimman raporttinsa, jonka mukaan ilmastotuhot tapahtuvat luultua nopeammin. Lämpöaalloista, metsäpaloista, kuivuudesta, myrskyistä ja nousevasta merenpinnasta aiheutuu haittoja enenevässä määrin. 

Ilmastonmuutos on kuitenkin vain yksi vakavista ympäristöongelmista. Luonnon monimuotoisuus niin laji kuin ekosysteemitasolla katoaa nopeammin kuin koskaan ennen ihmiskunnan olemassaolon aikana. Ilman, veden, maaperän ja merien saastuminen on yhä erittäin merkittävä syy ylikuolleisuuteen maailmassa, vaikka sitä ei tule puhtaan Suomen kantilta aina muistaneeksi. Maailma hukkuu jätteisiin, joita syntyy aina vain enemmän ihmisten vaurastuessa. Maailman meret kärsivät muovijätteistä. 

Covid-pandemia on muistutus siitä, kuinka luonnon ja ihmisen terveys ja hyvinvointi ovat kiinteästi toisistaan riippuvaisia. Luonnon tasapainon rikkoontumisen seurauksena ovat lisääntyneet sellaiset zoonoosit, joissa virus siirtyy eläimistä ihmisiin. Kun ihmisen toiminta tunkeutuu syvemmälle aiemmin pilaantumattomaan luontoon ja metsät kaadetaan maatalouden, kaivostoiminnan ja rakentamisen tieltä, avaamme portin uusille viruksille ja hyödytämme niitä kantavia ihmisten parissa menestyviä eläimiä, kuten rottia ja lepakoita. Samaan aikaan esim. hyttysten levittämät taudit, kuten malaria, leviävät kohti napoja ilmaston lämmetessä. 

Kaikella yllämainitulla on tärkeä sosioekonominen ulottuvuus. Haavoittuvassa asemassa olevat ihmiset ja kehitysmaat ovat myös alttiimpia ilmastonmuutokselle ja ympäristön pilaantumiselle, kun eriarvoisuus maiden välillä ja yhteiskuntien sisällä on kasvanut. 

Evaluointi tarvitsee uuden perspektiivin

Tällä on merkitystä sille, kuinka arvioimme. Perinteisesti evaluointi katsoo ohjelmia sisältäpäin: tarkastellaan onko hanke tehnyt ennalta suunniteltuja asioita ja tuottanut sovittuja palveluita tai tuotteita. Tässä lähestymistavassa keskitytään arvioimaan ohjelman onnistumista erillään laajemmasta ympäristöstä ja välittämättä siitä, tapahtuiko varsinaista muutosta siihen asiantilaan, johon haluttiin vaikuttaa. Riskinä on, että yksittäinen evaluointi jää teknokraattiseksi rasti-ruutuun harjoitelmaksi. 

Todellisen muutoksen aikaansaaminen vaatii, että kehitys- ja ympäristöpolitiikan ja ohjelmien tulee keskittyä kestämättömän kehityksen taustatekijöihin eikä vain oireisiin. Esimerkiksi Maailmanlaajuinen ympäristörahasto (Global Environment Facility, GEF) on siirtänyt strategiansa painopisteen yhteiskunnallisiin tekijöihin, joilla on eniten vaikutusta ympäristön tilaan. Sen uudet ohjelmat pyörivät ruoantuotannon, kaupunkien ja metsäkadon ympärillä sen sijaan, että rahoitettaisiin vain ympäristöystävällistä teknologiaa tai suojelualueiden perustamista. Myös näiden ohjelmien evaluointi vaatii uusia lähestymistapoja. Jos tarkastelemme vaikka maataloustuotantoa kestävän kehityksen kannalta, emme voi keskittyä ainoastaan paikallistason hankkeiden tarkasteluun irrallaan laajemmasta kokonaisuudesta. Kolme päivittäistä tuotetta – soijapavut, palmuöljy ja pihviliha – ovat vastuussa lähes 80 prosentista trooppisesta metsäkadosta. Niiden vaikutus linkittyy paikallistasolta pienviljelijätuotannosta kansainvälisen markkinoinnin ja kuljetuksen kautta kulutukseen meillä kotona. Nämä kaikki tasot on otettava huomioon niin ohjelmoinnissa kuin sen arvioinnissakin. 

Tässä muutamia ajatuksia siitä, mitä tämä kaikki merkitsee evaluoinnille. Ensinnäkin, evaluoinnin tulee hahmottaa sen kohde kokonaisvaltaisesti. Jokainen interventio tapahtuu laajemmassa kontekstissa, ja se konteksti vaikuttaa monella tapaa intervention menestykseen. GEFin itsenäisessä evaluointitoimistossa teimme hiljattain kolme evaluointia rahaston toiminnasta kolmessa eri maaryhmässä: vähiten kehittyneissä maissa, pienissä saarivaltioissa ja haavoittuvaisissa maissa tai tilanteissa. Evaluoinnit osoittivat selvästi, kuinka maan tai alueen tilanne voi heikentää tilastollisesti merkittävästi ohjelmien tuloksia. Vaikuttavat tekijät liittyvät mm. turvallisuustilanteeseen, poliittiseen epävarmuuteen ja heikkoihin instituutioihin. Jokaisessa maaryhmässä on omat erityispiirteensä ja niiden sisällä jokainen maa on erilainen. Tämä kyseenalaistaa universaalien ”parhaiden käytäntöjen” löytämisen. 

Kaikki ohjelmat toimivat laajemmassa järjestelmässä, jossa eri osat – talous, politiikka, sosiaalinen ulottuvuus, muut ohjelmat – ovat toistensa kanssa vuorovaikutuksessa. Ei ole siten mielekästä tarkastella erillisiä hankkeita eristyksessä tästä muusta ympäristöstä. Näemme usein tilanteita, joissa hankkeet ovat saavuttaneet kaikki tavoitteensa, mutta niiden vaikutus laajempaan systeemiin on merkityksetön, koska muut seikat tekevät tavoitteet tyhjiksi. Ympäristöohjelmissa tämä on valitettavan usein lopputulos. Vaikka maailmanlaajuisesti ympäristörahoitus on noussut tietoisuuden ja kansainvälisten sopimusten myötä, jää se pahasti jälkeen ympäristöön negatiivisesti vaikuttavista toimista. Kokonaisrahoitus julkisista ja yksityisistä lähteistä ilmastonmuutoksen hillintään on nykyisin arviolta 590 miljardin euron vuosiluokkaa, kun taas maat käyttävät Kansainvälisen valuuttarahaston (International Monetary Fund, IMF) mukaan noin 5,4 biljoonaa euroa vuodessa yksinomaan fossiilisten polttoaineiden tukemiseen! 

Toiseksi on tärkeää ottaa evaluoinnissa huomioon sekä ihmisten että luonnon järjestelmät. On mahdotonta saavuttaa kestävää kehitystä, jos keskitymme yhteen toisen unohtaen. Jos luonnon järjestelmät hajoavat, voimme unohtaa myös sosiaalisen ja taloudellisen kehityksen, sillä ne perustuvat hyvin pitkälti luonnonvaroihin ja vakaaseen ympäristöön. Viime vuonna julkaistu Dasguptan raportti luonnon monimuotoisuudesta tekee tämän selväksi. 

Tämä ei päde yksinomaan ympäristöohjelmien arviointiin vaan ennen kaikkea ohjelmiin, joiden kohteena on taloudellinen kehitys. Voidaan näet todeta melko kategorisesti, että kaikella ihmisen toiminnalla on ympäristövaikutuksia. Ne voivat olla positiivisia tai negatiivisia, tarkoitettuja tai tarkoittamattomia, mutta evaluoinnin on silti tuotava ne esiin. Tässä siis toinen syy, miksi evaluointi ei voi keskittyä vain tarkastelemaan onko ohjelma tehnyt sen, mitä lupasi. Evaluoinnin täytyy identifioida odottamattomat vaikutukset, ei ainoastaan ympäristölle, mutta myös haavoittuville ryhmille, vähemmistöille, naisille, alkuperäiskansoille jne. On selvää, että jos nämä vaikutukset eivät ole olleet ennalta nähtävissä, niitä ei myöskään ole huomioitu ohjelman muutosteoriassa. Siksi evaluoinnin pitää katsoa kokonaisuutta laajemmin.

Monissa tapauksissa ei ole mahdollista löytää kaikkia niin luontoa kuin ihmistä hyödyttäviä ratkaisuja, vaan tarvitaan kompromisseja. Evaluoinnin rooli ei ole päättää, mitä sellaisissa tapauksissa tulee tehdä, mutta sen velvollisuus on tuoda esiin mahdolliset ristiriidat esim. luonnonsuojelun ja taloudellisen kehityksen välillä. Evaluointi voi myös valottaa synergisiä tilanteita, joissa kaikkien tahojen edut on pystytty maksimoimaan, ja siten edistää tietoa asian tiimoilta. 

Metodit evaluointikysymysten mukaan 

Kaikki yllämainittu vaatii monimetodista lähestymistapaa evaluoinnille. Ei ole olemassa ”kultastandardia,” jossa yksi menetelmä olisi aina muita parempi. Esimerkiksi kokeelliset menetelmät, joissa hankkeen tuloksia kohderyhmälle verrataan tilastollisesti kontrolliryhmään hankkeen ulkopuolella, ovat usein hyvin vaikeita käyttää todellisissa tilanteissa, joissa puntarissa on ihmisten ja luonnon hyvinvointi. Niiden käyttö voi sopia tarkasti rajattuihin hankkeisiin, mutta ei ohjelmatasolla tai laajempien yhteyksien ymmärtämiseen. Vaikka joissain tilanteissa voitaisiinkin näyttää tilastollisia eroja hankkeen kohderyhmän ja kontrolliryhmän välillä, on niiden selittäminen vaikeaa pelkän tilastoanalyysin kautta.

Koska GEFin hankkeet keskittyvät ympäristöön, käytämme niiden arviointiin usein geospatiaalisia menetelmiä. Kaukokartoitus auttaa näkemään muutokset aikajaksojen yli vaikkapa kasvillisuuden tuottavuudessa, metsäpeitteessä ja -tyypeissä, maaperän eroosiossa tai asutuksen ja tieverkon laajentumisessa. Tarvitsemme muita tiedonlähteitä, jotta voimme ymmärtää muutoksiin vaikuttaneet tekijät. Kenttätyö ja haastattelut ovat tärkeitä, mutta vastauksia voi myös etsiä jo julkaistusta kirjallisuudesta. Esimerkiksi evaluointimme GEFin metsänsuojeluhankkeista Kambodzhassa ja Vietnamissa paljasti, miten sama lähestymistapa johti varsin erilaisiin tuloksiin maitten välillä. Näiden erojen selittäminen vaati evaluaattoreiltamme paneutumista tieteellisiin artikkeleihin ja paikalliseen tutkimukseen. Näistä selvisivät ne poliittiset, sosiaaliset ja taloudelliset tekijät, joiden johdosta hankkeiden vaikutukset erosivat toisistaan niin merkittävästi.

Evaluointi voi auttaa meitä hillitsemään tehokkaammin ilmastonmuutosta ja ympäristön tuhoutumista. Tämä kuitenkin vaatii evaluoinnilta uutta, laajempaa perspektiiviä. Meidän on tarkasteltava ohjelmia ja hankkeita kokonaisvaltaisesti. Systeemiteoreettisesti nähtynä nämä ovat osa laajempaa rakennetta. Pystymme näkemään ihmisen ja luonnonjärjestelmät yhtenä toisiinsa liittyvänä kokonaisuutena ja myös huomioimaan ennakoimattomat vaikutukset. Tällöin evaluointi pystyy tuottamaan hyödyllistä tietoa perusteellisemman muutoksen aikaansaamiseksi.

[Published originally in the 2021 Annual Report on Evaluation by the Ministry of Foreign Affairs of Finland.] 

What should evaluation learn from COP 26? Views of evaluation practitioners

The editor of the journal Evaluation, Prof. Elliot Stern, had an idea to invite a bunch of evaluators working on climate change and related issues to write down their thoughts on the recent UN Framework Convention on Climate Change (UNFCCC) COP26 and its implications to evaluation practice. I was honored to be among those invited to write. The resulting article is available (open access) here on the journal website.

Abstract:

Leading evaluation practitioners were asked about lessons from the recent 26th Conference of the Parties (COP26) for evaluation practice. Contributors emphasize the importance of evaluating equity between rich and poor countries and other forms of climate injustice. The role of the evaluation is questioned: what can evaluation be expected to do on its own and what requires collaboration across disciplines, professions and civil society – and across generations? Contributors discuss the implications of the post-Glasgow climate ‘pact’ for the continued relevance of evaluation. Should evaluators advocate for the marginalized and become activists on behalf of sustainability and climate justice – as well as advocates of evidence? Accountability-driven and evidence-based evaluation is needed to assess the effectiveness of investments in adaptation and mitigation. Causal pathways in different settings and ‘theories of no-change’ are needed to understand gaps between stakeholder promises and delivery. Evaluators should measure unintended consequences and what is often left unmeasured, and be sensitive to failure and unanticipated effects of funded actions. Evaluation timescales and units of analysis beyond particular programmes are needed to evaluate the complexities of climate change, sustainability and to take account of natural systems. The implications for evaluation commissioning and funding are discussed as well as the role of evaluation in programme-design and implementation.