Open-access Conselhos municipais de esportes e a provisão de bens e serviços da temática esportiva: uma avaliação de impacto

Municipal Sports Councils and the provision of sports-related goods and services: an impact assessment

Resumos

Resumo  O trabalho identifica possíveis efeitos dos Conselhos Municipais de Esportes (CMEs) ativos (grupo tratamento) sobre a oferta de bens e serviços da área (variáveis de resultado) em seus municípios. Isto é feito comparando-os a municípios sem CME ou com CME inativo (grupo controle), com a metodologia de avaliação de impacto de políticas públicas (Teoria da Mudança e Cadeia de Resultados). Ao comparar os grupos de tratamento e de controle, os resultados indicam que os CMEs apresentam efeito modesto e não abrangente sobre a oferta de bens e serviços esportivos. Ao considerar sistemas integrados em outras áreas de políticas públicas que contêm componentes participativos, conclui-se que a ausência de integração na área esportiva dificulta que os CMEs ativos gerem efeitos positivos significativos sobre a oferta das variáveis de resultado analisadas.

Palavras-chave:
avaliação de impacto; conselhos de política pública; política de esportes; participação; Conselhos de esportes


Abstract  The paper identifies possible effects of active Municipal Sports Councils—CMEs (treatment group) on the provision of goods and services (outcome variables) in their municipalities. It has been done by comparing them to municipalities without CME or with inactive CME (control group), using policy impact assessment methodology (Theory of Change and Results Chain). The results show that CMEs have had a modest and confined effect on the provision of sports goods and services when treatment and control groups are compared. Other policy areas work under a national system that integrates all government levels and includes participatory components. Such a lack of integration in the sports area makes it difficult for active CMEs to have positive effects on the supply of those considered outcome variables.

Keywords:
impact assessment; policy councils; sports policy; participation; sports councils


1. Introdução

Cidadãos demandam infraestrutura adequada para a prática de esportes e exercícios físicos, se interessam por eventos esportivos, cobram vagas para atividades sistemáticas, pedem contratação de profissionais para que os serviços sejam ampliados, sugerem onde alocar recursos, e muito mais; e um canal para a apresentação e discussão de tais questões é o dos conselhos da área do esporte e lazer.

Os conselhos são instituições participativas (IPs) em que o cidadão e a sociedade civil organizada podem tomar parte nos processos decisórios de políticas públicas, nas ações governamentais e no seu controle e fiscalização. Neles, espera-se que a participação sirva à educação política, oriente decisões em maior sintonia com as demandas sociais e pressione para que estas sejam atendidas. Espera-se, portanto, que possam trazer diferenciais às políticas (Pires e Vaz, 2010; Pires, 2011).

Suas realidades, porém, têm sido heterogêneas. O Instituto de Pesquisa Econômica Aplicada (IPEA, 2018) apontou incertezas e restrições de várias naturezas. Os conselhos participativos foram uma inovação na gestão das políticas públicas no Brasil e, em muitas áreas, continuam sendo. No entanto, inovações institucionais envolvem mudanças de hábitos coletivos, demandando um período de experimento e maturação para se estabelecerem no cotidiano. A sua criação, legal ou formal, mostra alguma massa crítica de novos hábitos de pensamento sobre o funcionamento de uma democracia mais participativa; embora possa não ser suficiente para fazer desses conselhos instâncias igualmente relevantes em todas as áreas em que existem (Santin e Pandolfo, 2017).

Diante desse cenário, perguntamos: que impacto os Conselhos Municipais de Esportes (CMEs) têm tido sobre a oferta de serviços e bens públicos na temática esportiva?

As análises de impacto envolvendo IPs já são escassas, na área esportiva, então, nenhuma foi encontrada. Buscando preencher essa lacuna, o artigo emprega o método de avaliação de impacto de políticas públicas para estimar os impactos de variáveis de causa basilares e secundárias sobre a oferta de serviços e bens públicos esportivos municipais. A seguir, contextualizamos a pesquisa, detalhamos o método utilizado e, na sequência, exploramos os resultados e sua discussão. As conclusões encerram o artigo.

2. Contextualização

O esporte é um fenômeno polimorfo e polissêmico, assumindo múltiplas formas, significados e conexões sociais (Bento, 2006), inclusive na área de políticas esportivas. Neste artigo, os termos esporte, políticas públicas de esporte ou políticas esportivas contemplam duas dimensões: o esporte participação – a atividade física feita com ludicidade, por escolha, pela busca de satisfação, qualidade de vida, bem-estar e lazer – e o esporte de alto rendimento – que visa a performance em busca de recordes nas modalidades esportivas.1 A dimensão do esporte educacional não foi contemplada por ser ofertada nas escolas sob responsabilidade do Ministério da Educação e Cultura.

Já as políticas públicas serão tratadas como ações do poder público dirigidas a certo problema ou situação social. Elas envolvem tomadas de decisão e intervenções, com potencial conflito de interesses entre, ou dentro do, governo e sociedade civil, com o intuito de manter ou alterar determinadas realidades. Em princípio, seu alvo é melhorar a qualidade de vida dos cidadãos ou de um setor da sociedade.

A participação da sociedade civil pode se dar em todo o processo ou ciclo de política pública. Há variações entre e dentre classes de IPs quanto a isso. A forma de gestão adotada e os desenhos institucionais condicionam a participação (Diegues, 2013). Quanto à gestão, por exemplo, há sistemas integrados de políticas específicas (e.g. saúde e assistência social) entre os três níveis federativos em que as IPs são integradas e os processos decisórios lhes são legalmente delegados. Ao mesmo tempo, há políticas menos integradas e IPs mais isoladas. Já os desenhos institucionais (e.g. audiências públicas, conselhos deliberativos ou consultivos) moldam as características e as regras de funcionamento das IPs. Espera-se que ambos os aspectos afetem o processo e os resultados da participação, fazendo variar o potencial de se decidir diferente das instâncias tradicionais (Avritzer, 2008; Smith, 2009; Pessali e Gomes, 2020).

O poder executivo, em geral, retém grande discricionariedade em relação aos atos das IPs. Assim como em outras políticas públicas, a de participação social pode ser afetada com mudanças de governos e coalisões de poder, mesmo permanecendo as garantias legais. Por isso, diferenciais são visíveis quanto à disposição para implantar e manter IPs a partir de variados espectros político-ideológicos. Logo, agremiações partidárias também podem afetar a participação institucionalizada nos conselhos (Barddal et al., 2019).

Na temática esportiva, o Conselho Nacional de Esporte é um órgão colegiado paritário, deliberativo, normativo e de assessoramento, vinculado ao Ministério do Esporte. Sua implementação, porém, não condiciona estados e municípios a criarem seus conselhos na área. Só com a Lei nº 14.597/2023, Lei Geral do Esporte, passou a ser imposta a criação dos conselhos para estados e municípios que quiserem receber recursos provenientes do Fundo Nacional do Esporte-Fundesporte (Brasil, 2023). O Fundesporte em si só foi aprovado pelo Congresso Nacional em 2024, não tendo sido implementado até o momento de fechamento do artigo. O acesso ao Fundo pode ser um grande incentivo para a criação dos CMEs, mas a condicionalidade mostra o quanto eles ficavam à mercê das visões e humores dos governos locais (Barddal et al., 2019; Martelli, Tonella e Coelho, 2021).

3. Metodologia

Uma questão ainda pouco explorada é se e como as instituições participativas produzem impactos sobre a atuação governamental. Vaz e Pires (2011) constataram que uma maior propensão participativa tende a melhorar os resultados das políticas, consideradas a partir de um estudo utilizando a técnica de pares contrafactuais. Com o mesmo objetivo de aprimorar a formulação e avaliação de políticas baseadas em evidências, diferentes técnicas respondem a diferentes questões.

Este artigo estima efeitos entre variáveis de causa e consequência na atuação dos CMEs utilizando a abordagem da avaliação de impacto. Esse tipo de avaliação pode disponibilizar evidências robustas para esclarecer se uma política ou ação governamental gera os resultados esperados, de acordo com os parâmetros (Teoria da Mudança) e o modelo lógico (Cadeia de Resultados) definidos no âmbito do objeto avaliado. Utilizamos o método quase-experimental por pareamento ou matching. Nele, para cada unidade de tratamento (município com CME ativo) busca-se um par para controle (outro município sem CME ou sem CME ativo) que lhe seja o mais semelhante em um conjunto de atributos selecionados. Com uso do software Stata 15 (2022), aplicamos o método de Pareamento por Vizinhos (mais) Próximos (PVP) com reposição (um município controle pode ser pareado com um ou mais municípios tratamento), buscando o efeito médio do tratamento sobre os tratados.

Os métodos de pareamento lidam apenas com atributos observáveis. Com isso, não se elimina o problema de heterogeneidade latente (potenciais diferenças não observáveis), que leva a um possível viés na estimação do impacto da política. Portanto, deve-se ter em mente que o escore de propensão (intrínseco aos cálculos) permite reduzir, mas não eliminar, o viés gerado por fatores não observáveis. A redução do viés depende da qualidade das variáveis de controle utilizadas no pareamento (Gertler et al., 2018).

A principal fonte de informações sobre o acesso a serviços e bens públicos foi o Suplemento Esporte da Munic 2016 (IBGE, 2017). Já os indicadores para pareamento foram compilados do Programa das Nações Unidas para o Desenvolvimento (PNUD, 2013), referente ao Censo de 2010. Os dados sobre o espectro político foram obtidos nos sites do Tribunal Superior Eleitoral (TSE) e dos Tribunais Regionais Eleitorais (TRE), a fim de identificar os prefeitos eleitos entre os anos 2000 e 2012. No período, houve quatro gestões municipais que podem ter influenciado a criação e a atividade dos CMEs.

Foram considerados os 5.565 municípios constantes da PNUD 2013. O grupo de tratamento, ou população de inferência causal, tem 837 municípios. Esses declararam à Munic 2016 possuir CME que se manteve ativo (fez duas ou mais reuniões no ano referência da pesquisa). O grupo controle tem 4.717 municípios sem CME ou com CME inativo em 2016. Esses foram, então, pareados com o grupo tratamento. Nem todas as rodadas de pareamento foram feitas com o mesmo número de observações, pois esse número depende da disponibilidade de informações em todas as bases de dados utilizadas.

As estimativas foram geradas a partir da métrica de Mahalanobis aplicada com reposição. A literatura no tema aponta que essa é a métrica mais apropriada para dados em escalas diferentes, que é o nosso caso (Manly, Alberto e Gerow, 2024).

A oferta de serviços e bens da temática esportiva está ligada a fatores observáveis (controlados) e não observáveis (não controlados), como a existência de uma quadra e a valoração pessoal da prática esportiva para a saúde ou bem-estar. As variáveis observáveis utilizadas nas estimações são as listadas no Quadro 1.

Quadro 1
– Variáveis de pareamento, causa e resultados

Para as sete primeiras variáveis de causa do Quadro 1, os grupos de tratamento desconsideraram as diferenças de desenho dos CMEs. Todavia, como sugere Almeida (2011), pode ser válido configurar grupos de tratamento com conselhos semelhantes para a análise do efeito do desenho. Sendo assim, os CMEs ativos foram divididos em três categorias – forte, mediano e fraco –, explicadas no Quadro 2.

Quadro 2
– Características de desenho dos grupos de tratamento

As categorias levaram em conta atributos de um conselho com potencial de influenciar as definições de políticas públicas e ações governamentais. Cada categoria foi pareada com o grupo controle.

Quanto à composição dos conselhos, foram considerados: 1) fortes, aqueles que possuem CMEs paritários ou com mais representantes não governamentais; 2) medianos, os CMEs paritários; e 3) fracos, aqueles com maioria de representantes governamentais. Com base em Lavalle, Voigt e Serafim (2016), CMEs com oito anos ou mais de existência foram classificados como fortes, e os demais como médios ou fracos. No que se refere às funções e atribuições, a função deliberativa foi considerada forte, com maior potencial de influência nas ações governamentais. Enquanto a função fiscalizadora foi classificada como mediana e a consultiva como fraca.

Os coeficientes2 obtidos com o pareamento dos municípios e relacionados às variáveis de causa e resultado, identificados como “coef” nas tabelas, são avaliados por sua significância estatística e magnitude. Quanto à significância estatística, um p-valor pequeno (p≤0,05) indica baixa probabilidade de a diferença detectada entre os dois grupos se dever ao acaso. Já a magnitude é dada pelos valores dos coeficientes. O intervalo de confiança adotado foi de 95%.

Para verificar se o espectro político-ideológico dos partidos influenciou os CMEs, levantamos o ano de criação dos 1.161 CMEs a partir da Munic 2016. Em seguida, buscamos no TSE o partido político do prefeito quando o CME teve origem. Caso a informação não estivesse disponível, consultamos os TREs ou as próprias prefeituras. Em seguida, classificamos os partidos de acordo com o espectro político em linha com Bolognesi, Ribeiro e Codato (2023) e Tarouco e Madeira (2015). A classificação consta na Figura 1.

Figura 1
– Classificação dos partidos políticos brasileiros de acordo com o espectro político. Fonte: adaptado de Bolognesi, Ribeiro e Codato (2023)

Por fim, investigamos se houve continuidade na gestão municipal que favorecesse a criação e a manutenção dos CMEs e apuramos os partidos que estiveram nas prefeituras dos municípios com CME ativo entre 2001 e 2016, período em que o número de CMEs teve grande crescimento.

4. Resultados e discussão

Em 2003 e 2016, 658 (11,8%) e 1.161 (20,8%) municípios declararam possuir CME (IBGE, 2017). Apesar do crescimento, o número de conselhos na área esportiva era pequeno se comparado às áreas de educação, saúde e assistência social, por exemplo (Azevedo, Campos e Lira, 2020). O Gráfico 1 traz a distribuição dos municípios do grupo tratamento.

Gráfico 1
– Municípios com CME ativo, por grandes regiões e classes de tamanho da população dos municípios—2016. Fonte: elaboração própria a partir de IBGE (2017)

O grupo tratamento contém mais municípios na Região Sudeste (529) e menos na Região Norte (12). A maioria dos CMEs ativos (672) estava em municípios de pequeno porte, classe em que está o maior número de municípios no país.

A Tabela 1 apresenta o primeiro diagnóstico, feito com o grupo tratamento na íntegra. As variáveis com significância estatística estão destacadas em negrito. O impacto estimado dos CMEs ativos sobre a oferta de serviços e bens esportivos foi positivo e com significância estatística para duas variáveis de resultados: “convênio(s) como executor principal” e “ações, projetos e programas – esporte participação”. O primeiro caso pode acontecer devido ao CME ser consultado sobre esses serviços, normatizar e deliberar sobre eles, além de fiscalizá-los. Como observado, municípios com CME ativo têm 9% de chances a mais de realizarem “convênio(s) como executor principal”, se comparados ao grupo controle.

Tabela 1
– Estimativa de efeitos entre municípios com CME ativo e demais municípios

As “ações, projetos e programas – esporte participação” envolvem aulas e ações sistemáticas, disponibilização de materiais e o envolvimento de profissionais da Educação Física. O efeito positivo do CME sobre essa variável pode ser resultado da valorização, por parte de alguns municípios ou grupos, de ações voltadas ao bem-estar dos residentes. O resultado indica que municípios com CME ativo têm 3% a mais de chances de realizarem tais ações, projetos e programas se comparados ao grupo controle.

A baixa significância estatística de vários coeficientes pode resultar de variáveis sem relação com os CMEs e de problemas de medida das variáveis. A primeira hipótese parece não se aplicar, pois as variáveis utilizadas são pertinentes às funções postas nas normativas dos CMEs. A inclusão de variáveis ajudaria a cobrir uma possível lacuna dessa natureza, mas a ausência de bases de dados consistentes na área esportiva em geral é um impedimento.

Já a hipótese de problema de medida das variáveis parece deslocada do caso, uma vez que o método tem pressupostos bem definidos. A crítica pode ser feita ao método em si, mas não aos resultados de sua aplicação em estrito cumprimento de seus pressupostos.

Há outras hipóteses levantadas pela literatura, que incluem: i) conselho criado mas não implementado; ii) conselho que apenas referenda decisões de outras instâncias; iii) representação pouco capacitada ou pouco independente; iv) pautas não voltadas ao provimento de bens e serviços; v) monitoramento pelos CMEs atrapalha práticas não republicanas de provimento de bens e serviços, que deixam de ser ofertados; e a vi) ausência de uma política nacional escalonada com conselhos ou fundos, tornando os CMEs mais burocráticos (Barddal, 2023). De todo modo, o entendimento da questão só pode ser ampliado com o auxílio de métodos voltados a explicar o como e o porquê dos resultados.

A Tabela 2 apresenta o segundo diagnóstico, considerando agora o tempo de existência do CME. Contrário ao esperado, observa-se que CMEs com oito anos ou mais não mostram impacto positivo sobre os serviços e bens públicos para a área esportiva.

Tabela 2
– Estimativa de efeitos entre municípios com CME ativo e com oito anos ou mais de existência e demais municípios

Lavalle, Voigt e Serafim (2016) estimaram que os conselhos estão mais propensos a produzir atos de autorregulação e autogestão nos sete primeiros anos de atuação. A partir do oitavo ano, em média, aumenta a produção de atos sobre demandas e com maior conteúdo de políticas. No caso dos 837 CMEs ativos, 239 tinham oito anos ou mais em 2016. Não é possível afirmar, porém, se estes estavam ativos desde a sua criação. Vale ainda lembrar que as dificuldades políticas observadas em âmbito nacional a partir de 2014 podem ter chegado aos CMEs e a outras IPs em esferas subnacionais. Pode ser ainda que os CMEs tenham passado por gestões contrárias às IPs. Ao fim, a atuação e a produção dos CMEs no ano da coleta de dados podem ter sido afetadas por tais dificuldades.

Os CMEs estão vinculados, mas não subordinados, a uma repartição do Poder Executivo, responsável pela política de esporte no município. Ela é encarregada de coordenar, formular e implementar as ações correlatas. Assim, a existência de pasta dedicada ao tema é relevante ao caso (IBGE, 2017).

Quanto mais institucionalizada a repartição gestora da política (e.g. secretaria exclusiva), maior a chance de se encontrar uma IP consolidada a ela atrelada (Martelli, Tonella e Coelho, 2021). Isso pode explicar em parte a existência de apenas 1.161 CMEs à época da Munic 2016, e nem todos estarem ativos. Dos 837 municípios com CMEs ativos em 2016, 82 (quase 10%) tinham secretaria municipal da temática esportiva. Testamos então a hipótese de que municípios com CME ativos e com secretaria exclusiva à área produzem mais bens e serviços. Os resultados estão na Tabela 3 e não apoiam a hipótese.

Tabela 3
– Estimativa de efeitos entre municípios com CME ativo e com secretaria exclusiva e demais municípios

De forma complementar, espera-se que municípios com amparo de instrumentos legais para nortear suas ações tenham melhor capacidade estatal do que seus pares que não dispõem do mesmo amparo (Martelli, Tonella e Coelho, 2021). Possuir mais de um instrumento legal sobre a temática, além do ato de criação em si, sugere maior engajamento das gestões municipais com a área esportiva (IBGE, 2017). Tais instrumentos podem tratar de, por exemplo, incentivos ao esporte, fundo municipal, bolsa atleta, convênios e parcerias. Dos 831 conselhos ativos que prestaram informações, 79 estavam em municípios com algum instrumento adicional na área (Tabela 4).

Tabela 4
– Estimativa de efeitos entre os municípios com CME ativo e com algum outro instrumento legal na área esportiva e demais municípios

Os municípios que combinavam CME ativo e instrumento legal adicional apresentaram efeito positivo para a variável “convênio(s) como executor principal”. A probabilidade de realizarem convênios como executor principal foi 14% superior à do grupo controle.

A composição dos conselhos envolve o potencial de atrair e acolher diferentes atores e interesses (Smith, 2009). Assim, espera-se que neles a sociedade civil tenha ao menos o mesmo número de assentos com voto que o poder público. A composição do colegiado dos 837 CMEs ativos estava distribuída da seguinte forma: 474 (57%) paritários, 230 (27%) com maior representação não governamental e surpreendentes 136 (16%) com maior representação governamental. A Tabela 5 mostra as estimativas obtidas para os municípios com CME ativo e paritário ou com mais representantes não governamentais (702 municípios disponibilizaram os dados necessários para a identificação) e os demais municípios do grupo controle.

Tabela 5
– Estimativa de efeitos entre municípios com CME ativo e paritário ou com mais representantes do segmento não governamental e demais municípios

Duas variáveis tiveram valores com significância estatística. A variável “instalações esportivas – existência” mostrou que os municípios com CME ativo paritário ou com mais representantes não governamentais têm 2% a menos de chances de terem instalações esportivas comparadas ao grupo controle, contrastando com o esperado. E a variável “convênio(s) como executor principal” mostrou que os mesmos municípios têm 7% a mais de chances de realizar convênios.

Não surgiram diferenças importantes nas estimativas com a variável de causa em questão, mesmo com a igualdade ou vantagem numérica da sociedade civil nos colegiados. Uma hipótese explicativa adicional às já levantadas é a possibilidade de os CMEs serem passivos ou pouco proativos, ou ainda seccionados na representação não governamental. A IP viabiliza a participação da sociedade civil, mas sua atuação distinta à dos poderes incumbentes não se faz notar.

Tanto quanto a composição do conselho, as atribuições ou funções que lhes são outorgadas pelos instrumentos legais podem influenciar sua atuação. O CME pode ter maior ou menor potencial de interferir na definição, controle e fiscalização de ações governamentais e nas políticas esportivas a depender de quais sejam suas atribuições legais.

Em 2016, para os CMEs ativos, tem-se a seguinte distribuição: 622 (74%) são consultivos; 468 (56%) deliberativos; 272 (32%) normativos; e 396 (47%) fiscalizadores. Um conselho pode possuir mais de uma atribuição capaz de afetar as decisões políticas. As distinções entre elas são mais um fator a trazer variações em sua atuação (Pessali e Gomes, 2020).

Dentre as atribuições, a que mais se vincula à distribuição do poder decisório é a deliberativa. Conselhos normativos e fiscalizadores têm incidência mediana. Enquanto a função consultiva é a que mais limita o alcance do quanto um conselho pode afetar decisões dos governantes (Barddal, Pessali e Gomes, 2021). As estimativas na Tabela 6 envolvem os municípios com CMEs ativos e suas funções e atribuições.

Tabela 6
– Síntese das estimativas de efeitos entre os municípios com CME ativo e suas funções e demais municípios

Embora seja esperado que a função consultiva tenha menor incidência, foi justamente ela que apresentou mais resultados positivos e com significância estatística. A primeira delas foi sobre a variável “convênio(s) como executor principal”. Municípios com CME ativo e com função consultiva apresentam 7% a mais de chances de firmarem convênios para atividades esportivas do que no grupo controle.

A segunda foi a variável de resultado “realização de eventos esportivos”. Nesse caso, municípios que possuem CME ativo e consultivo tinham 2% a mais de chances de realizarem eventos esportivos. Os eventos podem se relacionar tanto ao esporte de alto rendimento como ao lazer e atividade física.

Outra variável sob efeito positivo foi “ações, projetos e programas – esporte alto rendimento”. Municípios com CME ativo e consultivos possuíam 6% a mais de probabilidade de realizarem ações, projetos e programas para o esporte de alto rendimento do que os municípios do grupo controle. Por fim, municípios com CME ativo e consultivo tinham 4% a mais de chances de realizarem “ações, projetos e programas – esporte participação” do que os do grupo controle.

A função deliberativa mostrou resultado estatisticamente significante para duas variáveis. Os municípios com o CME ativo e deliberativo apresentaram maior probabilidade de realizar convênio(s) como executor principal (7%) e ações, projetos e programas para o esporte participação (5%) do que os do grupo controle.

O resultado da função normativa foi contrário ao esperado para a variável “instalações esportivas – existência”. Portanto, os municípios com CME ativo e normativo tinham 4% a menos de chances de terem instalações esportivas do que os do grupo controle.

Outras duas variáveis de resultado mostraram efeito positivo: “convênio(s) como executor principal” e “ações, projetos e programas - esporte alto rendimento”. Nos dois casos, os municípios com CME ativo e normativo tinham 10% mais chances de realizar convênios e oferecer ações, projetos e programas para o esporte de alto rendimento, quando comparados aos do grupo controle.

A variável fiscalizadora apresentou dois resultados positivos e estatisticamente significantes. No caso da variável “ações, projetos e programas - esporte alto rendimento”, os municípios com CME ativo e fiscalizadores tiveram 12% a mais de chances de realizarem atividades envolvendo o esporte competitivo. E com a variável “convênio(s) como executor principal”, municípios com as mesmas características anteriores apresentaram maior probabilidade (8%) de realizarem convênio em relação aos do grupo controle.

Sobre a variável de resultado “instalações esportivas – existência”, porém, o CME ser ativo e fiscalizador trouxe um coeficiente negativo. Assim, a chance de existência de instalações esportivas em municípios com tais conselhos era 3% menor do que nos do grupo controle.

Considerando que as atribuições deliberativa e fiscalizadora tendem a ter mais força para buscar atendimento às demandas do CME, produzimos estimativas com as duas funções juntas. Para a variável “ações, projetos e programas - esporte alto rendimento”, inferiu-se que municípios com CME ativo e que possuem as duas funções possuem 13% a mais de chances de realizar atividades para o esporte de alto rendimento.

Os CMEs ativos e que acumulavam as quatro funções apresentaram efeitos positivos sobre duas variáveis de resultado: “ações, projetos e programas - esporte alto rendimento” e “ações, projetos e programas - esporte participação”. Ou seja, municípios com CME com as quatro atribuições possuíam 14% e 6% a mais de chances de oferecerem ações, projetos e programas para o esporte de alto rendimento e de participação.

No geral, são estimados efeitos discretos dos CMEs sobre as variáveis de resultado. A literatura aponta vários fatores explicativos potenciais. Por exemplo, a deliberação e o controle de políticas e ações governamentais dependem da relação entre participação e representação. A baixa legitimidade e a pouca qualificação dos conselheiros, principalmente do grupo não governamental, e a baixa capacidade propositiva são citadas como fragilidades dos conselhos, que por isso malogram em agir (Azevedo, Campos e Lira, 2020). Ainda, a falta de contundência na legislação quanto à vinculação das decisões dos conselhos torna sua função deliberativa em consultiva e, por vezes, apenas subscritora de decisões já tomadas. Com isso, voltam-se mais a acompanhar ações do que a induzir o poder público à ação.

Até aqui, as estimativas não discriminaram os diversos desenhos institucionais de CMEs no grupo tratamento. A seguir, vamos então diferenciá-los a partir da classificação em CMEs fortes, medianos e fracos (como visto no Quadro 2). Os resultados estão na Tabela 7.

Tabela 7
- Estimativa de efeitos entre municípios com CME ativo e seu desenho e demais municípios

A estimativa com grupos mais homogêneos de conselhos não produziu coeficientes estatisticamente significantes, mesmo no grupo de CMEs fortes.

Abordemos agora o espectro político. Entre 2003 e 2016, foram quatro mandatos municipais. Prefeitos e seus partidos se mostram mais ou menos simpáticos às IPs do que outros. Verificamos, então, se partidos políticos simpáticos à participação (identificados em razão de sua posição no espectro político-ideológico) fazem diferença na atuação dos CMEs quanto a ajudar na provisão de bens e serviços desportivos.

As ideologias políticas orientam e inspiram ações políticas. Diferentes concepções ideológicas e orientações programáticas entre os polos da esquerda e da direita marcam os partidos e seus atores políticos. Ainda assim, os partidos não são organizações estáticas no tempo, e “se alteram conforme (…) passam por governos, assumem posições públicas, apoiam determinadas personalidades e adequam seus programas para disputa eleitoral” (Bolognesi, Ribeiro e Codato, 2023, p. 18). E coalizões de governo também confundem tais contornos.

Os partidos classificados como de esquerda são os que se manifestam em termos programáticos mais simpáticos à participação institucionalizada. Algumas das preocupações das ideologias à esquerda são a coletividade, a igualdade, a representatividade de grupos excluídos. Já as das ideologias à direita são a liberdade individual, o direito à propriedade e a distinção por mérito. As posições de centro conciliam visões de igualdade e de liberdade individual (Maciel, Alarcon e Gimenes, 2017). Logo, dos partidos à esquerda se espera maior probabilidade de criar conselhos e mantê-los ativos.

De início, identificamos os partidos envolvidos na criação dos CMEs em 1.117 municípios, sem considerar estarem ativos ou não (1.161 que afirmaram possuir CME, menos 44 sem evidência de criação).3 Como mostra o Quadro 3, a maioria dos CMEs foi criada quando os prefeitos eram de partidos de direita (635). Em seguida, ficaram os partidos de centro-esquerda (152), seguidos pelos de esquerda (143). Prefeitos de partidos de extrema-direita (86), centro-direita (68) e centro (32) também assinaram pela criação de CMEs. Não houve prefeitos de partidos da extrema-esquerda nos municípios que criaram CMEs.

Quadro 3
- Espectro político dos partidos envolvidos com a criação e atividade dos CMEs em 2016

Os municípios administrados por partidos de esquerda e centro-esquerda no momento da criação do CME tinham 68% de seus CMEs ativos em 2016. Os municípios tanto com partido de centro como de direita, centro-direita e extrema direita tinham 78% de seus CMEs ativos em 2016.

As IPs ganharam espaço após a redemocratização e a Constituição Federal de 1988. Em especial, a criação de conselhos foi impulsionada com a chegada do Partido dos Trabalhadores (PT) à presidência em 2003. Na ocasião, o projeto do partido entoava a democracia participativa e a criação de IPs (Teixeira, 2020). Portanto, considerando as características da esquerda no espectro político e estando o PT aí classificado, poder-se-ia esperar que prefeitos mais à esquerda teriam maior probabilidade de apoiar as IPs.

Bezerra (2019) e Teixeira (2020) notaram mudanças na ideia de participação ao longo das gestões do PT. Ela migra de um conteúdo associado à transformação social, a ideias de justiça, partilha de poder, novas relações entre Estado e sociedade, para um menos transformador, mais voltado a escutas e consultas. Os governos de direita (Temer) e extrema direita (Bolsonaro) que se seguiram foram amplamente reativos ao modelo. Nos âmbitos estadual e municipal, porém, as dinâmicas parecem ter sido mais heterogêneas (Almeida et al., 2022; Pessali, Araujo e Thiemi, 2024).

O espectro político dos partidos foi combinado com a variável de causa CME ativo, resultando em outras três variáveis de causa (três grupos tratamento): i) CMEs ativos e gestões por partidos de centro desde a criação do conselho (entre 2003 e 2016) até 2016; ii) CMEs ativos e gestões por partidos de direita desde a criação do conselho (entre 2003 e 2016) até 2016; e iii) CMEs ativos e gestões por partidos de esquerda desde a criação do conselho (entre 2003 e 2016) até 2016. A Tabela 8 mostra os resultados.

Tabela 8
- Estimativa de efeitos entre municípios com CME ativo e a posição dos partidos no espectro político e demais municípios

Há nela dois resultados com significância estatística, associados à variável de causa “CME ativo e estões por partidos de centro”. O primeiro está relacionado à variável de resultado “instalações esportivas – quantidade”. Municípios com CME ativo governados por partidos de centro desde a criação do conselho até 2016 tinham chances de ter quatorze instalações esportivas a mais que os municípios do grupo controle.

De acordo com o que foi visto no Quadro 3 e na Tabela 8, a esquerda não tende a ser o espectro político que mais apoiou a criação dos CMEs; também não foi quem esteve na gestão quando mais efeitos positivos sobre os serviços e bens públicos esportivos foram detectados. Foi na gestão do PT que ocorreu a criação do Ministério do Esporte, que de 2003 a 2015 teve políticos da esquerda à frente. Talvez sua prioridade tenha se voltado ao legado participativo nas grandes políticas de saúde, educação e assistência. Ademais, a área esportiva não é campo dos movimentos sociais, na acepção clássica de ação coletiva organizada de grupos desfavorecidos e sem acesso às políticas.

Os grupos tratamento e controle apresentavam a variável de resultado. Os dados mostram que nos governos de direita, centro-direita e extrema-direita foram criados mais CMEs. No entanto, os efeitos estimados não permitem dizer que há relação clara e significativa entre ideologia partidária e apoio aos CMEs. Um dos possíveis motivos para isso é a percepção de custos políticos em se opor à implantação de um ente que pode ser facilmente capturado ou ignorado.

Os efeitos estimados dos CMEs ativos sobre as variáveis de resultado sugerem haver pouca e modesta incidência positiva. Os CMEs parecem não provocar grande diferença na oferta de serviços e bens públicos esportivos. É possível que em outros níveis federativos resultados diferentes para as mesmas variáveis sejam obtidos.

5. Considerações finais

Políticas públicas na área esportiva viabilizam aos munícipes benefícios individuais e sociais oriundos das atividades físicas e esportivas. Essas políticas requerem organização do setor público, com instrumentos legais na área, órgão gestor próprio ou dedicado, e participação cidadã. Com isso, é possível esperar que as políticas produzam resultados como infraestrutura adequada às atividades, disponibilização suficiente de profissionais e servidores públicos capacitados, realização de eventos, convênios, parcerias, projetos e programas nas diferentes dimensões do esporte, alocação de recursos na Função Desporto e Lazer; e busque adicionais de financiamento, como por meio de um fundo especial do esporte. A participação social amplia as chances dos cidadãos, em especial aqueles excluídos e afetados pelas ações e inações na temática, de incidir na formulação, implementação e controle das políticas públicas. Assim, as decisões que geram resultados como os citados acima podem se aproximar mais das demandas existentes.

Neste artigo, o foco da participação recaiu sobre os CMEs, cobrindo diretamente 837 municípios brasileiros com CME ativo em 2016. A maioria (672) estava em municípios com até 50 mil habitantes. Esses municípios têm baixa capacidade de arrecadação própria, portanto, tendem a oferecer apenas serviços e bens públicos básicos. Em contraste, grandes cidades têm recursos para viabilizar serviços e bens públicos mais complexos ou para além dos considerados básicos. Embora aqui os resultados tenham sido obtidos com municípios de portes semelhantes, torna-se interessante fazer análises por porte populacional.

Alguns efeitos positivos eram esperados em relação aos serviços e bens públicos esportivos ofertados. Uma das variáveis de resultado que mais apresentou efeito positivo nas diversas estimações foi a de “ações, projetos e programas – esporte alto rendimento”. No entanto, outros resultados foram contraintuitivos. Um deles mostrou CMEs consultivos produzindo mais impacto do que os deliberativos e os fiscalizadores; outro foi o ciclo de vida de oito anos ou mais para os CMEs não ser suficiente para a produção de decisões com impacto. Um resultado foi inconclusivo, não corroborando o esperado: os CMEs com maior potencial de influenciar decisões, contemplando a função deliberativa, não apresentaram efeitos positivos.

Quanto ao espectro político do partido na prefeitura, embora várias ressalvas possam ser feitas, nossos resultados mostram que na área do esporte e lazer essa é uma variável que não traz diferenciais no impacto produzido pelos CMEs. Outros estudos mostram que os partidos políticos pouco importam, a depender da área de atuação do conselho (Fernandes, 2010; Teixeira, 2020; Martelli, Tonella e Coelho, 2021), e talvez a área de esporte e lazer seja uma delas. Em parte, isso pode se dever ao ímpeto democrático que acompanhou a Constituição de 1988 e produziu algum apreço mais amplo pela participação em diferentes espectros partidários. Assim, a institucionalização da participação pode ter se imposto aos governos inobstante as siglas partidárias, acompanhando a profissionalização e burocratização dos partidos políticos no regime democrático.

Não foram encontradas evidências robustas de efeitos amplos e de magnitude importante. Logo, o resultado é oportuno para discutir a ausência de muitos dos resultados esperados (CCPR, 2018). Há, por exemplo, outros elementos para os quais a atenção pode se voltar no caso da temática esportiva. A construção sistêmica dos instrumentos da política, por exemplo, aguça questões relativas a diferenciais existentes entre os setores da política. O mesmo acontece em conexão às capacidades estatal e relacional, ao ativismo e sua inserção nos conselhos, ao nível de indução federal e à existência de fundos próprios.

Talvez se tenha esperado muito de conselhos modestamente institucionalizados, operando em um setor pouco integrado e não prioritário para a gestão pública. O tratamento da temática esportiva como objeto de política pública é tão recente quanto o próprio estímulo à participação social. Pode-se inclusive imaginar que os conselhos estejam trabalhando em outras frentes, como influenciar etapas do ciclo de política, e não exatamente na produção de bens e serviços esportivos. Ao fim, pode ser que os efeitos observados, embora pequenos, incrementais e pouco estruturantes, sejam um avanço a ser notado.

Em relação à metodologia aqui aplicada, ficam alguns desafios a enfrentar. Vê-se de início a necessidade de criação e manutenção de bases de dados abrangentes na temática esportiva. Outra questão é que a pesquisa não permite considerar adequadamente uma possível heterogeneidade no efeito buscado, ou seja, o impacto do conselho pode variar com o contexto de inserção política, histórica e socioeconômica do município. E para explicar o como e o porquê dos resultados, a busca por quantificar o impacto e estimar a mudança nos indicadores de resultado deve ser combinada com pesquisas qualitativas.

  • 1
    Essa classificação vem da Lei nº 9.615/1998, conhecida como Lei Pelé (Brasil, 1998). A Lei nº 14.597/2023, a Lei Geral do Esporte (Brasil, 2023), adotou classificação distinta, a saber: formação esportiva, excelência esportiva, esporte para toda a vida.
  • 2
    Identificados como “coef” nas tabelas.
  • 3
    A informação sobre o instrumento de criação dos 44 CMEs não fornecida na Munic 2016 também não foi encontrada nos sites das prefeituras. Nossos pedidos por e-mail ou Lei de Acesso à Informação não tiveram retorno.
  • Declaração de disponibilidade de dados:
    Os dados que sustentam as conclusões deste estudo estão disponíveis mediante solicitação à autora Fabiana Barddal.

Referências

  • ALMEIDA, Acir. Sobre a estimação de efeitos causais: uma nota metodológica com aplicações à pesquisa sobre os efeitos das instituições participativas. In: PIRES, Roberto. Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Ipea, v. 7, 2011, p. 323-343.
  • ALMEIDA, Carla; RIBEIRO, Ednaldo; CARLOS, Euzeneia; SILVA, Rafael da. Efetividade e institucionalização dos conselhos de assistência social: padrões e variações da participação nos municípios brasileiros (2012-2018). Opinião Pública, v. 28, n. 2, p. 386-424, 2022. DOI: http://doi.org/10.1590/1807-01912022282386.
  • AVRITZER, Leonardo. Instituições participativas e desenho institucional: algumas considerações sobre a variação da participação no Brasil democrático. Opinião Pública, v. 14, n. 1, p. 43–64, 2008. DOI: http://doi.org/10.1590/S0104-62762008000100002.
  • AZEVEDO, Nilo; CAMPOS, Mauro; LIRA, Rodrigo. Por que os conselhos não funcionam? Entraves federativos para a participação popular no Brasil. Dilemas, v. 2, n. 13, p. 439-461, 2020. DOI: http://doi.org/10.17648/dilemas.v13n2.21870.
  • BARDDAL, Fabiana. Conselhos municipais de esportes e a oferta de serviços e bens públicos da temática esportiva: uma avaliação de impacto. Tese (Doutorado em Políticas Públicas), Universidade Federal do Paraná, Curitiba, 2023.
  • BARDDAL, Fabiana; PESSALI, Huáscar; GOMES, Bruno. Conselhos municipais de esportes das capitais brasileiras e o exercício da participação. The Journal of the Latin American Socio-Cultural Studies of Sport, v. 13, n. 1, p. 257-279, 2021.
  • BARDDAL, Fabiana; TORRES, Ricardo; POLLI, Simone. CONCITIBA: análise da democracia participativa na gestão 2014-2016. Revista Brasileira de Planejamento e Desenvolvimento, v. 8, n. 1, p. 17-39, 2019. DOI: http://doi.org/10.5380/jlasss.v13i1.79825.
  • BENTO, Jorge. Esclarecimentos e pressupostos. In: TANI, Go; BENTO, Jorge; PETERSEN, Ricardo. Pedagogia do Desporto Rio de Janeiro: Guanabara Koogan, 2006, p. 3-11.
  • BEZERRA, Carla. Os sentidos da participação para o Partido dos Trabalhadores (1980-2016). Revista Brasileira de Ciências Sociais, v. 34, n. 100, p. 1-27, 2019. DOI: http://doi.org/10.1590/3410016/2019.
  • BOLOGNESI, Bruno; RIBEIRO, Ednaldo; CODATO, Adriano. Uma nova classificação ideológica dos partidos políticos brasileiros. DADOS – Revista de Ciências Sociais, v. 66, n. 2, p. 1-29, 2023. DOI: http://doi.org/10.1590/dados.2023.66.2.303.
  • BRASIL. Lei nº 9.615 de 1998 Brasília: Casa Civil, 1998. Disponível em: https://www.planalto.gov.br/ccivil_03/leis/l9615consol.htm Acesso em: 29 mai. 2025.
    » https://www.planalto.gov.br/ccivil_03/leis/l9615consol.htm
  • BRASIL. Lei nº 14.597 de 2023 Brasília: Casa Civil, 2023. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2023-2026/2023/lei/L14597.htm Acesso em: 29 mai. 2025.
    » https://www.planalto.gov.br/ccivil_03/_ato2023-2026/2023/lei/L14597.htm
  • CCPR – Casa Civil da Presidência da República. Avaliação de políticas públicas: guia prático de análise ex post. Brasília: CCPR, v. 2, 2018.
  • DIEGUES, Geraldo. O controle social e a participação nas políticas públicas no caso dos conselhos gestores municipais. NAU Social, v. 4, n. 6, p. 82-93, 2013. DOI: http://doi.org/10.9771/ns.v4i6.31241.
  • FERNANDES, Antonio. Conselhos Municipais: participação, efetividade e institucionalização – a influência do contexto político na dinâmica dos conselhos − os casos de Porto Alegre e Salvador. Cadernos EBAPE.BR, v. 8, n. 3, p. 438-452, 2010. DOI: http://doi.org/10.1590/S1679-39512010000300005.
  • GERTLER, Paul; MARTÍNEZ, Sebastian; PREMAND, Patrick; RAWLINGS, Laura; VERMEERSCH, Christel. Avaliação de impacto na prática 2a edição. Washington D.C.: Banco Mundial, 2018.
  • IBGE – INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Perfil dos estados e dos municípios: esporte-2016. Rio de Janeiro: CPIS, 2017. Disponível em: https://biblioteca.ibge.gov.br/visualizacao/livros/liv100411.pdf Acesso em: 29 mai. 2025.
    » https://biblioteca.ibge.gov.br/visualizacao/livros/liv100411.pdf
  • IPEA – INSTITUTO DE PESQUISA ECONÔMICA APLICADA. Boletim de Análise Político-Institucional: Participação Social, 2018. Disponível em: http://www.ipea.gov.br/portal/images/stories/PDFs/boletim_analise_politico/180803_bapi_14.pdf Acesso em: 29 mai. 2025.
    » http://www.ipea.gov.br/portal/images/stories/PDFs/boletim_analise_politico/180803_bapi_14.pdf
  • LAVALLE, Adrian; VOIGT, Jessica; SERAFIM, Lizandra. O que fazem os conselhos e quando o fazem? Padrões decisórios e o debate dos efeitos das instituições participativas. DADOS – Revista de Ciências Sociais, v. 59, n. 3, p. 609-650, 2016. DOI: http://doi.org/10.1590/00115258201687.
  • MACIEL, Ana Paula; ALARCON, Anderson; GIMENES, Éder. Partidos políticos e espectro ideológico: parlamentares, especialistas, esquerda e direita no Brasil. Revista Eletrônica de Ciência Política, v. 8, n. 3, p. 72-88, 2017. DOI: http://doi.org/10.5380/recp.v8i3.54834.
  • MANLY, Bryan; ALBERTO, Jorge; GEROW, Ken. Multivariate Statistical Methods: a primer. 5a edição. Nova Iorque: Chapman & Hall, 2024.
  • MARTELLI, Carla; TONELLA, Celene; COELHO, Rony. Estrutura institucional e arquitetura participativa em setores de políticas públicas. Política & Sociedade, v. 20, n. 48, p. 257-299, 2021. DOI: http://doi.org/10.5007/2175-7984.2021.65413.
  • PESSALI, Huáscar; ARAUJO, Elizandra F.; THIEME, Rubia. The institutionalization of local food and nutritional security councils in the face of an anti-citizen participation government and COVID-191. Opinião Pública, v. 30, e30118, 2024. DOI: http://doi.org/10.1590/1807-0191202430118.
  • PESSALI, Huáscar; GOMES, Bruno. Bens democráticos nos conselhos de Curitiba. In: PESSALI, Huáscar; GOMES, Bruno. Instituições de democracia participativa: bens democráticos nos conselhos de políticas públicas de Curitiba. Curitiba: PUCPRESS, 2020, p. 11-29.
  • PIRES, Roberto. Instituições participativas e seus possíveis efeitos: o que podemos esperar e avaliar? Contextualização, objetivos e organização. In: PIRES, Roberto. Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Ipea, v. 7, 2011, p. 29-30.
  • PIRES, Roberto; VAZ, Alexander. Participação faz diferença? Uma avaliação das características e efeitos da institucionalização da participação nos municípios brasileiros. In: AVRITZER, Leonardo. A dinâmica da participação local no Brasil São Paulo: Ipea/Cortez, 2010, p. 253-304.
  • PNUD – PROGRAMA DAS NAÇÕES UNIDAS PARA O DESENVOLVIMENTO. Atlas do Desenvolvimento Humano do PNUD-2013 Disponível em: http://www.atlasbrasil.org.br/acervo/biblioteca Acesso em: 29 mai. 2025.
    » http://www.atlasbrasil.org.br/acervo/biblioteca
  • SANTIN, Janaína; PANDOLFO, Bruna. Princípio da participação e instrumentos de democracia participativa em âmbito local. Direito e Liberdade, v. 19, n. 1, p. 85-129, 2017.
  • SMITH, Graham. Democratic innovations: designing institutions for citizen participation. Cambridge: Cambridge University Press, 2009.
  • TAROUCO, G.; MADEIRA, R. Os partidos brasileiros segundo seus estudiosos: análise de um expert survey. Civitas, v. 15, n. 1, p. 24-39, 2015. DOI: http://doi.org/10.15448/1984-7289.2015.1.18077.
  • TEIXEIRA, Ana Claudia. Trajetórias do ideário participativo no Brasil. Caderno CRH, v. 33, p. 1-15, 2020. DOI: http://doi.org/10.9771/ccrh.v33i0.33834.
  • VAZ, Alexander; PIRES, Roberto. Comparações entre municípios: avaliação dos efeitos da participação por meio de pares contrafactuais. In: PIRES, Roberto. Efetividade das instituições participativas no Brasil: estratégias de avaliação. Brasília: Ipea, v. 7, 2011, p. 247-262.

Editado por

  • Editor Responsável:
    João Maia
  • Editora Associada:
    Lizandra Serafim

Disponibilidade de dados

Os dados que sustentam as conclusões deste estudo estão disponíveis mediante solicitação à autora Fabiana Barddal.

Datas de Publicação

  • Publicação nesta coleção
    20 Out 2025
  • Data do Fascículo
    2025

Histórico

  • Recebido
    09 Out 2024
  • Aceito
    21 Maio 2025
Creative Common - by 4.0
Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution (https://creativecommons.org/licenses/by/4.0/), que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que o trabalho original seja corretamente citado.
location_on
Associação Nacional de Pós-Graduação e Pesquisa em Ciências Sociais - ANPOCS Av. Prof. Luciano Gualberto, 315 - sala 116, CEP: 05.655-010, Tel.: (+55 11) 3091-4664 - São Paulo - SP - Brazil
E-mail: [email protected]
rss_feed Acompanhe os números deste periódico no seu leitor de RSS
Reportar erro