Breves comentarios respecto al desarrollo del Propensity Score Matching

Introducción.
Dentro de los métodos de evaluación de impacto a partir de la familia de técnicas de “matching”, el Propensity Score Matching (PSM) es uno de los más utilizados por los investigadores, entre otras cosa por los supuestos para abordar los llamados sesgos de selección para la estimación de efectos causales por intervención.
Al respecto existen algunos puntos de discusión concernientes a su desarrollo e implementación, los cuales son pocamente discutidos o abordados en trabajos empíricos; por lo que se plantean a continuación algunos de los aspectos más relevantes que deben ser considerados conceptualmente, al momento de llevar a cabo una evaluación utilizando éste método.
Diferencias entre los modelos logit y probit
El Propensity Score Matching (PSM) es estimado utilizando un modelo de regresión logit o probit, que son modelos de probabilidad no lineal para calcular la probabilidad que tiene un individuo de recibir el tratamiento de acuerdo a una serie de características socioeconómicas, geográficas, entre otras. Sin embargo, la aplicación de cualquiera de ellos responde a supuestos subyacentes y a las propiedades de la información con la que se cuenta.
Los modelos probit mantienen como supuesto básico la distribución normal de las observaciones, mientras la distribución como una curva logística determina el uso de los modelos logit. Los resultados estimados no difieren mucho entre sí, pero son las diferencias operativas las que han potenciado la aplicación del modelo logit en la mayoría de los estudios empíricos, en virtud de su menor complejidad de manejo. Mientras los modelos probit presentan una mayor complejidad en el cálculo de la función de distribución normal ya que sólo puede calcularse en forma de integral.
Pruebas de balanceo
Una vez estimado el Propensity Score, es preciso verificar el balance de las covarianzas para los grupos de tratamiento y control. Rosembaum y Rubin (1983), indican que el balanceo es de suma importancia para eliminar los sesgos, debido a que el PSM tiene la capacidad de eliminar los diferentes sesgos asociados a las diferencias existentes antes de aplicar el tratamiento entre el grupo de tratamiento y de control.
Un tema fundamental surge cuando, una vez estimado el propensity score, es conveniente verificar los supuestos del modelo de regresión y si éstos empatan o no con las pruebas de balanceo. Dicho tema no se explicita en la literatura sobre el tema, no obstante se encuentran referencias recurrentes sobre los criterios seguidos en este punto.
De acuerdo a D´Agostino y Rubin (2000), el propensity score, per se, sirve sólo como un vehículo para balancear la distribución de covariables observada a través de los grupos de tratamiento y control. Por tanto, el éxito de las estimaciones del propensity score, consiste en evaluar el balance resultante en vez del ajuste del modelo usado para crear las estimaciones del propensity score.
En diversas evaluaciones de impacto se muestra el proceso de implementación del PSM, y de acuerdo a los resultados expuestos, aún cuando existen variables no estadísticamente significativas, se mantienen en el propensity con el objetivo de evitar sesgos en el resto de los coeficientes a causa de variables omitidas, ya que el conjunto de todos los coeficientes pueden ser altamente significativos. Salvo esta enunciación, no se brindan explicaciones más esclarecedoras o en su defecto, no se brindan elementos concluyentes y se da por sentado esta forma de proceder.
Respecto a este punto, Heckman et al (1997) sugieren que la omisión de variables importantes puede incrementar el sesgo en la estimación, pero se deben incluir sólo las variables que influyen en la probabilidad de ser tratado y en la variable de resultado, y que a su vez se ven afectados por el programa. Y al decir de Rubin y Thomas (1984), a menos que una variable pueda ser excluida porque existe consenso de su irrelevancia para el estudio o es una covariable inapropiada, es aconsejable incluirla en el PSM, incluso si no es estadísticamente significativa.
Adicionalmente, Lechner y Smith (2002) comentan que la inclusión de variables no significativas no sesga las estimaciones o las hace inconsistentes, sino que su efecto es que se incrementa la varianza en las estimaciones.
Por otro lado, Byryson et al., (2002) recomiendan no sobreparametrizar los modelos, ya que incluir demasiadas variables en el modelo usado para caracterizar la probabilidad de recibir tratamiento, reducirá la probabilidad de hallar una zona de soporte común.
Los elementos anteriores llevan a la consideración de que es pertinente la implementación de las pruebas de balanceo y asegurar los correctos resultados derivados de ellas, aún cuando las pruebas de los modelos probabilísticos se no se cumplan a cabalidad.
Inconsistencias en la implementación del Propensity Score Matching
De acuerdo con Austin (2007) en un estudio sobre la implementación de los métodos de propensity en 47 estudios en la literatura médica entre 1996 y 2003, existen dos procedimientos una vez estimado el PSM mediante un logit o probit. Evaluar el balance entre las covariables de tratamiento y control y estimar el efecto de tratamiento en las variables de impacto en el PSM.
Los métodos propuestos para evaluar el balanceo incluyen la estandarización de diferencias, comparar momentos de orden superior, estadísticos del propensity score y gráficas de cuantiles para cada variable.
Jennifer Hill (2008) retomó dicho estudio e identificó ciertos problemas recurrentes en la literatura de PSM en la cual existe una mala interpretación para su aplicación y por lo tanto se implementa sin tomar las debidas precauciones. Dichas inconsistencias se refieren a: * Una incorrecta definición de los contrafactuales, como una variable que predice el tratamiento y el resultado. Su mala interpretación ha conducido a describirla como variables que predicen la asignación del tratamiento y los predictores en la estimación del modelo de propensity score. Esta práctica ha originado el uso de la regresión paso a paso y verificar el balanceo sólo en las variables restantes en la estimación del modelo final * Además del balanceo, deben implementarse otras pruebas, tales como: momentos de orden superior, la varianza y covarianza. Dado que puede presentarse desbalanceo en órdenes superiores, aún cuando en la media se haya logrado balancear la muestra. * Se debe optar por un análisis de sensibilidad de las estimaciones debido a que no existe una teoría concluyente sobre el balanceo que indique hasta qué punto es suficiente concluir. * Verificar si se está realizando inferencia sobre la muestra o sobre la población. * Errar en el diseño de la dirección de la dependencia en el PSM conduce a que los errores estándar sean muy grandes.
Diferentes tipos de pruebas de balance
De acuerdo a Wang-Sheng (2006) existen discrepancias en la literatura en torno a las pruebas de balanceo, ya que coexisten diferentes tipos que derivan en diferentes resultados. Por tanto, es importante distinguir entre las diferentes pruebas de balanceo conducidas antes y después del matching.
Las pruebas de balanceo son un medio para un fin, y pueden ser consideradas útiles sólo si las pruebas de balanceo permiten estimaciones del efecto de tratamiento insesgadas. (Wang, 2006).
La confusión en la literatura se ha presentado porque el término “pruebas de balance” fue implementado como la prueba de Dehejiaand Wahba (DW test) y para verificar el balanceo en el match de la muestra. En la literatura, las pruebas de balanceo conducidas antes del match fueron introducidas por Rosenbaum and Rubin (1984), y aplicadas en Rubin (1997), Dehejia y Wahba (1999, 2002), Michalopoulos, Bloom y Hill (2004), y Dehejia (2005). Mientras las pruebas de balance conducidas después del match fueron nombradas por Smith y Todd (2005) como pruebas de balance.
La prueba de balanceo antes del match constituye más una prueba de especificación, o bien una prueba de balanceo, pero cuando se realiza la estratificación del propensity score. Debe ser distinguida de una prueba de balanceo después del match, que se utiliza realmente para verificar si el match con el grupo de control puede ser considerado representativo del contrafactual. Las diferencias en resultados se deben a las diferencias en el uso de las pruebas de balanceo antes o después del match
Las pruebas de balanceo pueden categorizarse en de acuerdo al test de las propiedades sobre toda la muestra o después de haber aplicado el algoritmo de “matcheo” y a unidades de la muestra

Bibliografía
Bryson, A., Dorsett, R. y Purdon, S. (2002). The use of propensity score matching in the evaluation of active labour market policies. Policy Studies Institute and National Centre for Social Research.
Heckman, J., Ichimura, H. y Todd, P. (1997). Matching As An Econometric Evaluation Estimator. Review of Economic Studies (1998) 65, 261-294.
Huber, Martin, Testing for covariate balance using quantile regression and resampling methods, University of St. Gallen, Dept. of Economics.
Medina Moral, Eva, Modelos de elección discreta, 2003.
Rosenbaum, P. y Rubin, D. (1983) The Central Role of the Propensity Score in Observational Studies for Causal Effects. Biometrika, Vol. 70, No. 1. (Apr, 1983), pp. 41-55.
Wang-Sheng, Lee. (2006). Propensity Score Matching and Variations on the Balancing Test, Melbourne Institute of Applied Economic and Social Research, The University of Melbourne.

--------------------------------------------
[ 1 ]. Discrepan, únicamente, en la rapidez con que las curvas se aproximan a los valores extremos, la función logística es más achatada que la normal al alcanzar, esta última, más rápidamente los valores extremos (0 y 1).