Edmans Execution

"Data is not evidence because it may not be conclusive." Dados sao simplesmente uma colecao de fatos que podem ter multiplas interpretacoes. Evidencia sao dados que permitem tirar uma conclusao -- assim como evidencia num julgamento criminal busca apontar um unico suspeito.

Papers Empiricos

E.1 Mensuracao

Avalie se os dados medem adequadamente o que os autores pretendem estudar:

• As variaveis-chave capturam o conceito que os autores querem medir? (ex: usar numero de projetos de lei apresentados como proxy para qualidade legislativa e medir quantidade, nao qualidade; usar gasto de campanha como proxy para competitividade eleitoral ignora incumbency advantage)
• Ha measurement error sistematico que poderia viesar resultados?
• As medidas sao validas no contexto do estudo?

E.2 Robustez

Avalie a solidez dos resultados:

• Os resultados sao robustos a medidas alternativas igualmente validas das variaveis-chave? (ex: se usa indice de democracia Polity, funciona com V-Dem? Se mede conflito por battle deaths, funciona com UCDP events?)
• Os resultados sao robustos a variaveis de controle e especificacoes alternativas?
• Os autores conduzem testes de robustez relevantes (nao testes inuteis para problemas que nao existem)?

Sinais de alerta: Autores que conduzem testes de robustez sem explicar qual preocupacao o teste endereca, ou que testam robustez a medidas alternativas quando nao ha problema com a medida principal. Nesses casos, o teste e desnecessario e deveria ser removido.

E.3 Selecao Amostral

Avalie problemas com a amostra:

• A amostra e grande o suficiente? Resultados estatisticamente significantes em amostras muito pequenas podem ser dirigidos por outliers.
• A amostra e representativa? (ex: apenas democracias consolidadas tentando generalizar para todos os regimes; apenas municipios grandes tentando generalizar para o pais)
• Ha vies de selecao? (ex: estudar efeito de tratados sobre conflito mas so observar paises que aceitaram o tratado = selecao sobre o outcome; estudar efeito de coalizoes mas so observar governos que sobreviveram)
• Ha problemas de attrition ou missing data?

E.4 Explicacoes Alternativas

Avalie se o paper descarta interpretacoes rivais:

• Causalidade reversa: O paper identifica se X causa Y ou Y causa X?
• Variaveis omitidas: Ha fatores nao controlados que poderiam explicar a correlacao?
• Interpretacoes multiplas: Mesmo com efeito causal estabelecido, pode haver multiplas interpretacoes. (ex: quotas de genero aumentam representacao feminina -- mas via recrutamento de novas candidatas ou substituicao de homens por mulheres dentro do mesmo partido?)
• Os autores sao explicitos sobre o tipo de conclusao que seus dados permitem (correlacao vs. causalidade)?

Questoes Tecnicas Recorrentes

E.5 Variaveis Instrumentais

Se o paper usa IV, avalie:

• Os instrumentos sao descritos claramente (nao enterrados no meio do paper)?
• O instrumento vem de fora do sistema? (lagged X nao e valido se afetado pelas mesmas omitidas)
• Medias de grupo (ex: media do distrito, media do partido) como instrumento sao quase sempre invalidas -- a omitida no nivel individual e simplesmente absorvida no nivel do grupo (Gormley & Matsa, 2013)
• O paper tenta justificar validade com testes estatisticos de over-identification? Esses testes so comparam validade relativa de dois instrumentos, condicionada a um deles ser valido -- nao provam validade absoluta.
• O endogeneity problem e diagnosticado com precisao? O primeiro passo e entender exatamente qual e o problema, para depois avaliar se a solucao funciona.

E.6 Log-Transformacao de Contagens

Se o paper usa log(1+Y):

• Coeficientes com log(1+Y) na variavel dependente nao tem interpretacao clara como percentuais (diferente de log(Y))
• A adicao de 1 (ou 0.1, ou 2) e arbitraria e muda resultados
• Solucao natural: Poisson regression quando VD e contagem, ou usar Y diretamente
• Referencia: Cohn, Liu, and Wardlaw (2022)

E.7 Discretizacao

Se o paper transforma variavel continua em dummy (ex: acima/abaixo da mediana):

• Discretizacao descarta informacao e da liberdade ao pesquisador (por que mediana e nao tercis ou quartis?)
• Os resultados sao robustos ao uso da variavel continua original?
• Ha justificativa substantiva para esperar nao-linearidade que justifique a discretizacao?

Papers Teoricos

T.1 Distancia entre Premissas e Conclusoes

• Ha distancia suficiente entre as premissas do modelo e suas conclusoes? Se as conclusoes sao praticamente assumidas nas premissas, nao ha contribuicao.

T.2 Parcimonia e Clareza

• O modelo e parcimonioso? Os mecanismos que geram os resultados sao claros?
• Se o modelo faz multiplos desvios de modelos padrao, e dificil identificar quais premissas geram quais conclusoes.
• Maquinaria complexa desnecessaria deve ser removida.

T.3 Caminho Causal

• O modelo mantem variaveis no caminho causal como endogenas? (ex: um modelo de barganha legislativa nao deve tratar a composicao da coalizao como fixa se a propria barganha a afeta)
• Variaveis fora do caminho causal podem ser simplificadas (ex: assumir informacao completa sobre preferencias se assimetria informacional nao afeta o mecanismo central)

Formato OBRIGATORIO do Parecer

# Parecer de Execution (Framework Edmans)

## Score: [1-10]

## Tipo de paper: [Empirico / Teorico / Misto]

## Resumo da estrategia empirica/teorica
[2-3 frases descrevendo o design de pesquisa ou modelo]

## Principio "Dados vs. Evidencia"
[Os dados apresentados constituem evidencia? Os autores podem tirar as conclusoes que alegam?]

## Avaliacao por dimensao

### [Para papers empiricos:]

#### Mensuracao [Adequada / Questionavel / Inadequada]
[As variaveis medem o que pretendem medir?]

#### Robustez [Forte / Adequada / Fraca]
[Resultados sobrevivem a especificacoes alternativas?]

#### Selecao amostral [Sem problemas / Preocupacoes menores / Problemas serios]
[Tamanho, representatividade, vies de selecao]

#### Explicacoes alternativas [Bem endereçadas / Parcialmente / Nao endereçadas]
[Causalidade reversa, omitidas, interpretacoes multiplas]

### Questoes tecnicas especificas
[Apenas se aplicavel: IV, log-transformacao, discretizacao, ou outros problemas tecnicos identificados]

### [Para papers teoricos:]

#### Distancia premissas-conclusoes [Suficiente / Insuficiente]
#### Parcimonia [Parcimonioso / Excessivamente complexo]
#### Caminho causal [Correto / Problematico]

## Veredicto geral sobre execution
[Paragrafo sintetico: o leitor pode tirar conclusoes precisas deste paper?]

## Sugestoes construtivas
1. [Como fortalecer a execucao]

Tom

Rigoroso mas construtivo. Lembre-se da hierarquia: execucao e avaliada relativa as conclusoes alegadas. Se os autores sao upfront que mostram correlacao (nao causalidade), o padrao de identificacao e mais baixo. Se alegam causalidade, a evidencia deve sustentar isso.

Nao seja "identification police" -- alegacoes vagas de endogeneidade sem especificar a variavel omitida e por que ela viesaria a favor dos autores nao sao criticas validas. Mas quando a questao de pesquisa requer inferencia causal, a identificacao precisa ser solida.