Mejora de competencias profesionales en el ámbito de la fiscalidad para los alumnos del grado de Economía de la Universidad de Zaragoza: medición econométrica del impacto de un proyecto de innovación docente

(*) Este artículo ha recibido el premio e-pública  en las XI Jornadas de Docencia en Economía, celebradas en Zaragoza, el 30 y 31 de mayo de 2019.

1. DESCRIPCIÓN DE LA EXPERIENCIA, CONTEXTUALIZACIÓN Y OBJETIVOS

La docencia en la Universidad tiene entre sus fines últimos que los alumnos adquieran los conocimientos e instrumentos necesarios que les permitan dar soluciones a los problemas profesionales futuros. No tiene ningún sentido que los alumnos acumulen un volumen inmenso de contenidos teóricos que no les doten de habilidades que les permitan ser resolutivos en el ámbito laboral. El ámbito de la fiscalidad es uno de los más cercanos a la realidad económica desde que el alumno abandona nuestras aulas. Probablemente esto motiva, en parte, que todos los años un grupo importante de alumnos escojan desarrollar las prácticas en el ámbito de la asesoría fiscal.

En este contexto, los profesores de la asignatura de Sistema Fiscal Español I, de segundo cuatrimestre del tercer curso del Grado en Economía, nos marcamos el objetivo de proporcionar a los alumnos dispuestos a ello una formación extra, de carácter eminentemente práctico, que ampliase los contenidos de clase e incluso les ofreciese la posibilidad de resolver algún caso de carácter aplicado sencillo de índole fiscal.

En este sentido, se ha de señalar que la guía académica oficial de la citada asignatura recoge las habilidades en las que debe ser competente el alumno tras superar esta materia: manejo e interpretación adecuada de la legislación fiscal, integración de los conocimientos adquiridos para el asesoramiento adecuado de empresas en el cumplimiento de sus obligaciones tributarias, toma de decisiones atendiendo a sus implicaciones tributarias, adaptación de los conocimientos adquiridos a nuevas situaciones fiscales y manejo de las herramientas electrónicas que facilita la AEAT para el cumplimiento de las obligaciones tributarias.

Pues bien, en nuestro ámbito docente no pocas veces nos hemos preguntado por la consecución efectiva de estas competencias cuando el alumno que ha cursado nuestra asignatura inicia su ejercicio profesional. Necesitamos, que el ámbito profesional nos ofrezca, siquiera ocasionalmente, cierto feedback sobre las necesidades formativas y también sobre el grado alcanzado de consecución de esas competencias. Y la posibilidad de que el alumno pueda realizar prácticas curriculares o extracurriculares en negocios de asesoría fiscal, a lo largo de su ciclo formativo, nos da una oportunidad excelente para reconocer las fortalezas y deficiencias que se detecten con la formación ofertada y nos posibilita ese cauce de comunicación con el mundo profesional en el que lo alumnos van a desarrollar su actividad.

Por este motivo, desde sus inicios, consideramos especialmente oportuno planificar un proyecto que contara con la colaboración del servicio de UNIVERSA de la Universidad de Zaragoza, ya que éste es el que se encarga habitualmente de poner en contacto a empresas y a alumnos. De esta manera, han formado parte también del proyecto de forma permanente dos orientadoras profesionales de UNIVERSA.

Con el objeto de poder difundir la experiencia, se presentó el proyecto a la convocatoria regular de Proyectos de Innovación Docente de la Universidad de Zaragoza, tanto en el curso 2016-2017 como en 2017-2018, obteniendo apoyo financiero en sendas ocasiones.

A partir de aquí, el trabajo se estructura como sigue. En primer lugar, dedicaremos la siguiente sección a describir con cierto detalle la experiencia docente concreta desarrollada durante los cursos académicos 2016-2017 y 2017-2018. Seguidamente, explicaremos el ejercicio econométrico planteado para detectar y cuantificar los efectos de la citada experiencia sobre la mejora de las competencias abordadas, incluyendo una selección de resultados empíricos. Finalmente, ofrecemos al lector una valoración global de la experiencia y de los aprendizajes obtenidos con la misma, así como implicaciones para la revisión de los contenidos teóricos y prácticos que normalmente incluimos en nuestras clases de materias tributarias.

2. METODOLOGÍA DOCENTE CONCRETA UTILIZADA EN LA EXPERIENCIA

En la Tabla 1 recogemos el cronograma general del proyecto, con las distinta acciones realizadas y proyectadas, y teniendo en cuenta el referido horizonte temporal de dos cursos académicos.

Tabla 1. Cronograma general del proyecto: cursos 2016-2017 y 2017-2018
Continuación Tabla 1

Fuente: Elaboración propia

Curso 2016-2017

Nuestro paso inicial debía ser conocer de primera mano el sector empresarial en el que los alumnos iban a desarrollar sus prácticas: saber qué tareas tenían que resolver, qué encargos iban a recibir y cuál era la formación suplementaria que habitualmente se recibe en la empresa. Para ello, nos reunimos el día 29 de septiembre de 2016 con un conjunto de 15 empresas de asesoría. Respondieron a nuestra llamada la mayoría de las empresas receptoras de alumnos de prácticas curriculares y extracurriculares. La reunión, respaldada por el equipo decanal de la Facultad de Economía y Empresa fue absolutamente positiva, ya que nos permitió a los profesores hacernos una idea muy clara de las carencias formativas que presentan cuando llegan a las empresas.

De esta reunión se extrajo el compromiso mutuo de colaborar para que los alumnos completaran la formación en el ámbito de la fiscalidad con un contenido mucho más específico. Además, el cumplimiento o no del objetivo perseguido (la formación de alumnos más capaces para hacer frente a casos prácticos en el corto y medio plazo) se podría medir a través de las respuestas recibidas por parte de los profesionales de la asesoría. Para ello, las empresas se comprometieron a cumplimentar un cuestionario más extenso y concreto que el que habitualmente remiten a UNIVERSA. Este cuestionario iba a ser diseñado ex novo por los profesores. Con su tratamiento estadístico posterior, se iba a poder obtener información cuantitativa y concluyente para la toma de decisiones. Puesto que este tratamiento estadístico pasaba por contrastar la situación de dos grupos de alumnos (los que no iban a recibir la formación extra, y los que sí la iban a obtener), y que los primeros comenzaban de forma inmediata las prácticas, era necesario que los profesionales tuvieran con la mayor urgencia posible la encuesta para valorar de forma homogénea a ambos grupos. Esta encuesta aparece al final de esta documentación (Anexo I) y en la misma se recogen de forma muy pormenorizada los ítems necesarios para la valoración de los alumnos, todos ellos vinculados directamente con la formación extra ofrecida y las habilidades profesionales requeridas en la guía de la asignatura.

Al comenzar el segundo cuatrimestre del curso, en la presentación de la asignatura, se expuso el proyecto a los alumnos, con un éxito de respuesta extraordinario. Se inscribieron 76 alumnos (de los que, finalmente, 73 completaron todas las fases del proyecto), cifra muy positiva teniendo en cuenta que el alumno no recibía ningún “premio” en la nota de la asignatura por su participación. Simplemente se les garantizaba una formación suplementaria y el compromiso por parte de UNIVERSA de que serían tenidos en cuenta de forma prioritaria en la asignación final de los despachos profesionales de fiscalidad que demandaran alumnos en prácticas.

A partir de ese momento, las personas implicadas en el proyecto fuimos trabajando en las distintas parcelas que requería el mismo. Las orientadoras de UNIVERSA en la planificación de la distribución de los alumnos en las distintas empresas, y los profesores en el desarrollo de las prácticas de formación extra para los alumnos. Puesto que se respetó en todo momento el contenido curricular habitual de la asignatura, y dado el escaso tiempo con el que se contaba, se optó por utilizar las horas de las prácticas P6: cuatro sesiones para cada grupo. De este modo, se diseñaron cuatro P6 con una formación complementaria a las clases habituales que se va a resumir a continuación.

1ª Sesión p6. Herramientas fiscales electrónicas

El día 8 de marzo de 2017 se desarrolló la primera práctica P6, con cuatro sesiones de 2 horas cada una. En la misma, impartida siempre en salas informáticas, se partió de un caso práctico (un cliente que acudía a una asesoría fiscal con un conjunto de dudas tributarias que afectaban a varios impuestos), para explorar las herramientas electrónicas de la AEAT, y de las Administraciones Tributarias subcentrales (Gobierno de Aragón, y Ayuntamiento de Zaragoza, fundamentalmente), ofrecidas en sus webs corporativas (la imagen 1 ofrece una visión general de los contenidos de esta sesión).

De forma más concreta, a través del Moodle de la asignatura se diseñó una sesión para conocer y manejar las siguientes herramientas: certificados electrónicos de identidad (AEAT y FNMT); programas informáticos de la AEAT para la autodeclaración de impuestos como el IRPF, IS, IP; modelos informativos de declaración de la AEAT: modelo 720 de declaración de bienes y derechos en el extranjero; impresos autodeclarativos del IIVTNU (Ayuntamiento de Zaragoza); instrumentos de ayuda para la confección del ISD (Gobierno de Aragón); base de datos de consultas tributarias a la Dirección General de Tributos (Ministerio de Hacienda).

Imagen 1. Contenidos y recursos electrónicos trabajados en la 1ª sesión P6.
2ª Sesión p6. Conferencia 

El día 28 de marzo de 2017 se desarrolló la segunda práctica P6, en dos sesiones de dos horas cada una. La sesión consistió en una conferencia por parte de David Per, economista y asesor, titular de una asesoría que colabora activamente con la recepción de alumnos en prácticas. En la misma, el profesional relató a los presentes cómo llegó al mundo laboral de la asesoría, cómo es un día a día en dicho trabajo, cómo se formó y se sigue formando, qué tipo de clientes tiene, etc. También puso ejemplos de casos reales, con los que los alumnos se dieron cuenta la plasmación inmediata que tienen los contenidos que aprenden en clase en el mundo profesional. Las sesiones se desarrollaron de forma muy dinámica y los alumnos se mostraron muy satisfechos con el contenido de las mismas. A la vez que se desarrolló la práctica, se informó a los alumnos de que debían formar grupos para trabajar la última de las prácticas.

3ª Sesión p6. Contenidos preparatorios para la práctica 4

El día 26 de abril de 2017 se desarrolló la tercera práctica del proyecto, en tres sesiones de dos horas cada una. A continuación se muestra, la primera de las transparencias (imagen 2) que se proyectaron a los alumnos a lo largo de la tercera P6, y que resume el contenido de la práctica.

Imagen 2. Contenido general trabajado en la 2ª sesión P6.

El objetivo de la misma consistió en ofrecer al alumno toda la información que pudiera necesitar para resolver un problema o duda fiscal y que estuviera relacionada con el modo en que el contribuyente se puede relacionar con la Administración tributaria, con qué ocurre si se incumplen los deberes fiscales, con las instituciones a la que hay que acudir para asesorarse o para presentar una liquidación o tramitar cualquier tema fiscal y con los medios a través de los cuales se puede obtener información. 

Finalmente, la última parte de la sesión consistió en repartir a los grupos de alumnos las tareas que tenían que resolver -se muestra una de estas tareas, a modo de ilustración en el Anexo II-, y presentar a la audiencia de clase en la última práctica. La elección de las prácticas por los alumnos generó mucha expectativa y fue absolutamente aleatoria, ya que se ofertó a través de 29 sobres cerrados, que contenían la práctica, y que escogieron al azar (imagen 3).

Todos los casos se referían a situaciones que podían darse en la realidad perfectamente, algunas de las cuales habían sido sugeridas por las propias empresas expresando algunas de las acciones cotidianas encargadas a los alumnos de prácticas y sobre las que tenían mayores dificultades.

Para que supieran cómo habían de resolverla se realizó en clase un ejercicio de ensayo, que había sido preparado previamente por los profesores. La resolución de los mismos pasaba por la comprensión de la duda concreta que se planteaba, la consulta a las distintas fuentes de información que se exponían en clase y el planteamiento de la solución propuesta. La presentación que hicieron los profesores, así como todos los documentos necesarios, se colgaron en la plataforma Moodle para que pudieran así ser consultados y utilizados.

Imagen 3. Sobres conteniendo casos prácticos de gestión y asesoría fiscal (3ª y 4ª sesión P6).Fuente: Elaboración propia

Finalmente se les convocó para la última P6, que tendría lugar a mediados del mes de mayo, en la que exponían los resultados de sus investigaciones para responder a las preguntas que a cada grupo se le han planteado.

4ª Sesión p6. Exposición de la resolución de los casos por los alumnos

Los días 16 y 17 de mayo de 2017, en dos sesiones cada uno de ellas de dos horas, los grupos que se habían formado para trabajar los casos prácticos expusieron sus conclusiones. Cada grupo entregó previamente a los profesores y luego mostró en la exposición en clase una ficha que se elaboró para que todas las respuestas tuvieran un formato homogéneo, y que se presenta también en el Anexo II.

Nuestra valoración de la clase fue altamente positiva. Creemos que los alumnos hicieron un esfuerzo por aportar luz a los casos planteados. Hay que reconocer que los incentivos a corto plazo, en forma de ayuda a la superación de la asignatura, eran nulos, y que la etapa de final del curso es problemática por el trabajo que de todas las asignaturas se les va acumulando. Creemos que los alumnos también encontraron muy interesante el desarrollo de la clase. Les ayudó a acercarse a la realidad profesional y pudieron ver cómo habían trabajado todos los demás y qué recursos habían utilizado. Así nos lo hicieron saber.

Para premiar el esfuerzo que habían hecho los alumnos, los profesores entregamos una pequeña recompensa: los alumnos del grupo que mostró más pericia global obtuvieron el libro “¿Hacienda somos todos?”, de Francisco de la Torre.

En último lugar, se entregó a todos los participantes un certificado de dicha participación activa en el proyecto.

Curso 2017-2018

Nuestro compromiso con los alumnos participantes en el proyecto en el curso 2016-2017 era el de seguir ofertándoles recursos y herramientas para su formación continua en las competencias profesionales relacionadas con la fiscalidad. Derivado de ese compromiso, durante 2017-2018, se llevaron a cabo las siguientes actuaciones:

-Desarrollo de un curso Moodle creado ad hoc (imagen 4), como herramienta de difusión de contenidos de actualización tributaria (oferta de seminarios, jornadas especializadas, artículos de opinión, novedades legislativas), y de comunicación entre el alumnado, profesores y expertos exteriores (28 alumnos matriculados), para seguir creando y manteniendo una ‘red profesional’ entre los implicados del proyecto. -En diciembre de 2017, se ofreció un seminario impartido por un profesional externo (asesor fiscal en ejercicio) para que, dado que los estudiantes que participaban en el proyecto el curso 2017-2018 desarrollando sus prácticas curriculares externas habían sido alumnos de la asignatura de fiscalidad en un curso anterior, pudieran contar con una sesión especializada de actualización tributaria. Los cambios fiscales que se habían acumulado recientemente en diversos tributos (IRPF, Impuesto sobre Sociedades, IVA, etc.), y los aspectos de gestión novedosos que algunas de estas modificaciones habían supuesto para empresas y asesorías (particularmente, la declaración del IVA en tiempo real, o procedimiento de Suministro Inmediato de Información, SII) recomendaban ofrecerles esta posibilidad de formación adicional desarrollada en un aula de la facultad (18 de diciembre de 2017).

-Se llevó a cabo otra sesión de especialización, en el mes de mayo de 2018, impartida nuevamente por un profesional externo, y centrada en los aspectos específicos de la planificación fiscal con impuestos de regulación autonómica (Impuesto sobre Sucesiones y Donaciones, Impuesto sobre el Patrimonio, IRPF). Este ámbito fiscal específico genera muchas oportunidades de negocio en el campo profesional de la asesoría tributaria.

Para ambos seminarios, como se ha señalado, se contó con financiación específica por parte de la Universidad de Zaragoza a través de un nuevo proyecto de innovación docente.

3. CONTRIBUCIÓN REAL DE LA EXPERIENCIA DESARROLLADA EN LA MEJORA DE LAS COMPETENCIAS TRABAJADAS: EVALUACIÓN DE IMPACTO

Al final del curso 2017-2018 se llevó a cabo el estudio del impacto de nuestra acción por medio de la creación de un grupo de tratamiento constituido por los alumnos que habían cursado la asignatura en 2016-2017, que simultáneamente habían participado en el proyecto de innovación docente de forma continuada y que, finalmente, realizaron prácticas en asesorías fiscales (se ha de tener en cuenta que las pudieron hacer tanto en el curso 2016-2017, como en el 2017-2018). Por otra parte, el grupo de control habría desarrollado su labor de prácticas en los despachos exclusivamente con la formación ofrecida en Sistema Fiscal Español I en cursos anteriores al 2016-2017.

Imagen 4. Curso Moodle de ‘Actualización Tributaria’ (2017-2018): página de inicio.Fuente: Elaboración propia

Por lo tanto, la evaluación de impacto abarcaba un período temporal de 2 años, de forma que las prácticas se desarrollaron en las mismas empresas con alumnos de dos cursos distintos y consecutivos. En el curso 2016-2017, se consiguió un contacto frecuente con estas empresas (protagonizado por las dos técnicas de UNIVERSA participantes en el proyecto), que les hizo colaborar activamente en el diseño y cumplimentación de los instrumentos de evaluación de las competencias (de conocimientos específicos, y de autonomía y capacidad de resolución) trabajadas de forma singular en el proyecto (ficha de evaluación mostrada en el Anexo I).

Explicamos a continuación la metodología estadística utilizada para la medición de los efectos del proyecto. La metodología de medición del impacto de una intervención, efecto, política, etc., implica  la  construcción de dos escenarios. Un escenario sin intervención, o contrafactual, y un escenario con ella. La construcción del contrafactual se logra a través del grupo de control, formado por individuos, iguales o muy parecidos a los beneficiarios, y cuya única diferencia con éstos sea “no haber participado en el programa de intervención”.

Una condición necesaria para el desarrollo de un diseño cuasi-experimental es la existencia de una base de datos de beneficiarios y no-beneficiarios, que contenga para ambos grupos información sobre los criterios de elegibilidad del programa (por ejemplo: condición socioeconómica, años de enseñanza, ubicación geográfica o cualquier otra característica que se haya utilizado para seleccionar a los beneficiarios) e información sobre las variables que permitirán medir los resultados finales o impactos esperados de la intervención (por ejemplo: nivel de valoración en un ítem concreto, etc.).

Una vez construidos los grupos de control y tratamiento, y teniendo observaciones de las variables de resultados y de las que caracterizan al individuo y su entorno en dos momentos del tiempo (antes y después de la intervención del programa), por lo general, se cuantifica el impacto del programa a través de la estimación econométrica del siguiente modelo general (que se puede estimar por mínimos cuadrados ordinarios):

Y_it = β₁ + β₂DG_i + β₃DT_i + X _it* γ + α(DG_it* DT_it) + ε_it,                                  (1)

Pues bien, en el contexto del ejercicio aplicado que se pretende llevar a cabo en este trabajo, la descripción de los términos de la ecuación (1) es la siguiente:

Y_it = variable resultado para el individuo i en el período t. Como variable endógena, en ocasiones se ha probado con la valoración media global de competencias -VALORACIÓN GLOBAL-, en otras, con la valoración media de la competencias vinculadas a la adquisición de conocimientos específicos -CONOCIMIENTOS-, en otras, con la valoración medida de las competencias vinculadas a la adquisición de autonomía y capacidad de resolución -AUTONOMÍA-, y, en ocasiones, se ha probado con otras valoraciones medias para contrastar determinadas hipótesis del ejercicio econométrico.

DG_it = variable igual a 1 si individuo i pertenece al grupo de tratamiento, y 0 si pertenece al de control.

DT_it = variable igual a 1 si el dato de la variable resultado para el individuo i pertenece al período 2017-2018, y 0 si pertenece al curso anterior (2016-2017).

X_it = conjunto de variables que caracterizan al individuo y su entorno. De forma concreta, este conjunto de controles, teniendo en cuenta la información efectiva de la que podíamos finalmente tener disponibilidad, ha contado con las siguientes variables:

  -variables de atributos personales:

 -SEXO: dicotómica que toma el valor 1 en el caso de tratarse de un varón, y 0 en caso contrario

-LOCALIDAD: dicotómica que toma el valor 1 si su hogar familiar se ubica en la ciudad de Zaragoza, y 0 en caso contrario

-EDAD: edad del alumno en el momento de la finalización de sus prácticas

  -variables de rendimiento académico:

-EXPEDIENTE: nota promedio del expediente del alumno en el grado en el momento de incorporarse a la práctica

-NOTA SFE: nota obtenida por el alumno en la asignatura de Sistema Fiscal Español I

-CONTINUA: dicotómica que toma el valor 1 si el alumno superó la asignatura de Sistema Fiscal Español I por medio de la evaluación continua, y 0 en el caso de que lo hiciera por medio de un examen final convencional.

  -variables de tipología de las prácticas efectuadas:

-TIPOLOGÍA: variable categórica que toma el valor 2 (realización de prácticas curriculares y extracurriculares), 1 (realización de prácticas curriculares), 0 (realización de prácticas no curriculares)

-HORAS: número de horas de prácticas efectuadas

  -variables específicas del proyecto:

-TUTOR: dicotómica que toma el valor 1 si el tutor académico de la práctica es también un profesor de la asignatura de Sistema Fiscal Español I

Adicionalmente, entre estas variables específicas de nuestro proyecto, podríamos también señalar la variable interactuada DG*DT. Como se explicará a continuación, esta variable, que sólo puede tener como valores finales 1 y 0, pretende medir de forma directa el impacto causado por la puesta en marcha del proyecto de innovación docente

Finalmente, ε_it es el término de error aleatorio.

Recogemos en la Tabla 2 los valores de los descriptivos de cada una de las variables mencionadas. Cabe destacar que contamos con información completa de 35 alumnos que han realizado sus prácticas en alguno de los dos cursos referidos, de los cuales 9 constituyen finalmente nuestro grupo de tratamiento.

Tabla 2. Descriptivos básicos de las variables utilizadas en la especificación.

Fuente: Elaboración propia

A su vez, en la Tabla 3 se ofrece valores medios de las competencias evaluadas de forma separada para los grupos de control y de tratamiento. Como se puede ver, tanto para la valoración global, como para la evaluación separada de las competencias de conocimientos específicos y de autonomía, existen unos valores medios superiores para el grupo de control frente al de tratamiento.

Tabla 3. Estadísticos descriptivos básicos (selección) del grupo de control y de tratamiento

Grupo de control (26 alumnos)Grupo de tratamiento (9 alumnos)

Fuente: Elaboración propia

Dicho de otra forma, ceteris paribus, los alumnos participantes en nuestro proyecto que realizan prácticas en despachos obtienen, si se atiende a los dos cursos académicos, unas evaluaciones algo peores por parte de los asesores fiscales. Además, como también se ve en la Tabla 3, los alumnos de ambos grupos se pueden considerar académicamente similares si se atiende a la nota promedio del expediente global del grado (que, en este caso, es favorable al grupo de tratamiento en sólo dos centésimas).

No obstante, hay que tener en cuenta que, como hemos señalado, los alumnos del grupo de tratamiento desarrollaron las prácticas tanto en el curso académico 2016-2017, como en el 2017-2018. Pero sólo estos últimos recibieron la formación ‘completa’, bien porque también siguieron las actualizaciones tributarias a través del curso Moodle descrito (iniciado en septiembre de 2018) y los seminarios adicionales de formación específica, bien porque cuando se incorporaron a los despachos habían ya completado la formación ofrecida en las P6 de la asignatura (algo que podría no ocurrir con un alumno del grupo de tratamiento que desarrollara sus prácticas en algún momento del curso 2016-2017).

Sigue siendo pues un interrogante consecuente saber si nuestra intervención sirvió para mejorar finalmente las valoraciones de los alumnos del grupo de tratamiento, y, por lo tanto, oportuno el tratamiento econométrico planteado.

Teniendo en cuenta que el número de observaciones con el que contamos es relativamente reducido, parece más que necesario realizar un diagnóstico previo de los posibles problemas de multicolinealidad (es sabido que deteriora la precisión de los contrastes) que puede haber entre las variables explicativas, a través de una análisis del denominado factor de inflación de la varianza (la presencia de una valor de este factor -identificado como VIF- superior a 10 nos haría sospechar de la existencia mencionado problema). En los contrastes que posteriormente se presentan, se ha realizado siempre y de forma previa este análisis, descartando aquellas variables explicativas identificadas como causantes de multicolinealidad (evitando así que ligeros cambios en las matrices de datos lleven a grandes variaciones en los parámetros estimados), aumentando también de esta forma los grados de libertad de la ecuación (1).

La estimación de modelo de la ecuación (1) es lo que se conoce como método de doble diferencia. El impacto de la intervención se estima midiendo, en primer lugar, el cambio en las variables de resultado experimentado por cada grupo entre la línea base y la encuesta de seguimiento (primera diferencia), y comparando después el cambio mostrado por el grupo de beneficiarios con el registrado en el grupo de no-beneficiarios (segunda diferencia).

Este es un método técnicamente robusto puesto que elimina el efecto de características no observables que afectan la selección de los beneficiarios (por ejemplo, habilidad, motivación, etc.) y, por lo tanto, es la mejor forma de tratar el sesgo de selección, dado que se puede comparar el cambio registrado en el grupo de tratamiento con el cambio exhibido por el grupo de control. Esto permite eliminar los efectos generados por factores exógenos en las variables de resultados, que impactan de igual forma en el grupo de control y de tratamiento en el período evaluado.

Lógicamente, este tipo de especificaciones requiere, en el contexto de nuestro proyecto, que los responsables del mismo hayamos planificado previamente una estrategia de captación de información sobre las distintas variables observables de los alumnos implicados (de ambos grupos, control y tratamiento) que potencialmente podían influir sobre la consecución de un grado determinado de competencias profesionales y, por ende, sobre el propio grado alcanzado [variable(s) endógena(s) de la especificación econométrica].

Con todo lo anterior, teniendo en cuenta que el estimador de diferencia en diferencias de la ecuación (1) queda recogido a través de la interacción de DG_it y de DT_it, α va a ser el parámetro que medirá el impacto del programa (nótese que cuando esta interacción toma el valor 1, identifica a los individuos que siguiendo la formación específica en competencias realizan sus prácticas en el curso 2017-2018).

En la Tabla 4 se recogen una selección de resultados econométricos con el paquete estadístico STATA que contrastan alguna de las hipótesis que nos hemos planteado para verificar la eficacia o no de nuestra intervención docente.

Hipótesis 1: La participación continuada de los alumnos en el proyecto docente ha tenido un impacto positivo en su valoración global de competencias

Los resultados mostrados en la columna (1) de la Tabla 4 presenta la estimación de la ecuación (1) pero sin el estimador de diferencia en diferencias, considerando como endógena la VALORACIÓN GLOBAL de competencias del alumno. En la columna (2) se presenta adicionalmente este estimador.

Atendiendo exclusivamente a los coeficientes significativos, en primer lugar, los resultados de la columna (1) nos indican que los alumnos varones en prácticas muestran peores valoraciones que sus compañeras y que las puntuaciones de los asesores mejoraron en el curso 2017-2018, y, en segundo lugar, y de forma decisiva para el contraste de esta hipótesis, la estimación mostrada en la columna (2) recoge evidencia empírica de que el efecto de nuestro proyecto -capturado como hemos señalado por la variable de DG*DT , o de ‘intervención’- ha tenido un impacto positivo en la adquisición global de competencias (α = 4,23). En la misma columna (2) se muestra cómo los alumnos pertenecientes al grupo de tratamiento, per se, puntúan peor (DG = - 4,35). La lectura global de esta estimación es, por lo tanto, que si los alumnos de este grupo siguen el ‘tratamiento formativo completo’ (algo que es sólo posible si la práctica se lleva a cabo en el curso 2017-2018, y, por lo tanto, cuando se cuenta con un valor de DG*DT = 1) esta participación contribuye a la mejora de su valoración global, confirmando de esta forma la hipótesis planteada.

Por último, señalar que, atendiendo al valor del R² de las dos estimaciones comentadas, parece oportuno haber optado por la introducción adicional del estimador de diferencia en diferencias al mejorar la capacidad explicativa con la inclusión de esta variable.

Hipótesis 2: La intervención docente ha tenido un impacto mayor en la valoración otorgada a las competencias relacionadas con los conocimientos específicos que con la autonomía.

Nuestro ‘a priori’ era el de suponer que la incidencia de nuestra docencia específica iba a tener más réditos en el terreno de la adquisición de conocimientos técnicos para el trabajo en asesorías fiscales (cuestiones relativas a bases teóricas, herramientas informáticas, modelos y formularios, calendarios fiscales, etc.), que en el del logro de autonomía y capacidad de resolución de cuestiones fiscales, cuestión esta que parece adquirirse de forma mucho más natural con la práctica diaria y continuada en los despachos.

Si atendemos a los resultados de las columnas (3) y (4), esta intuición parece confirmarse atendiendo nuevamente al efecto medido por nuestra ‘intervención’: el efecto de la misma es algo mayor para las competencias de conocimiento que para las de autonomía (4,50 frente a un 3,96).

Tabla 4. Resultados principales del ejercicio econométrico efectuado.En la tabla se muestra, en las sucesivas columnas, el valor del coeficiente estimado en cada uno de los escenarios planteados.Fuente: Elaboración propia (estimación realizada con el programa STATA) *** Coeficiente significativo al 1 por ciento, ** coeficiente significativo al 5 por ciento, * coeficiente significativo al 10 por ciento

Por otra parte, vemos cómo la valoración del conocimiento depende también positivamente de la nota en la asignatura de Sistema Fiscal Español I (lo que, por otra parte, nos hace ver que externamente también se reconoce a los alumnos que obtienen mejores calificaciones académicas). En cuanto a la valoración de la autonomía, hemos de señalar que nuevamente los varones obtienen en este apartado una menor puntuación a la que muestran las mujeres.

Hipótesis 3: La intervención ha tenido un efecto más intenso en las primeras horas de prácticas que en su desarrollo posterior.

Nuestro último ‘a priori’ era el de suponer que los efectos de nuestra ‘intervención’ (en el caso de que fueran significativos) quedarían reflejados más bien al comienzo de las prácticas que no en su etapa final.

Para ello, pedimos a los asesores que respondieran a los apartados de los cuestionarios en dos momentos: cuando el alumno hubiera completado la mitad de sus horas de prácticas, y, lógicamente, al final de las mismas.

De esta forma, disponemos para cada una de las variables de CONOCIMIENTO y de AUTONOMÍA de dos valores -columnas (5) a (8)-, esperando, en su caso, que nuestra ‘intervención’ impacte de forma mayor en las notas intermedias que en las finales.

Los resultados mostrados en esas columnas apuntan a que no podamos decir que se cumpla la hipótesis planteada: el efecto positivo de la intervención se acrecienta con el discurrir de la práctica, quizás por la necesidad de un rodaje laboral previo para que el alumno lleve a cabo una integración del aprendizaje obtenido.

4. VALORACIÓN GLOBAL DE LA EXPERIENCIA, CUESTIONES APRENDIDAS Y LÍNEAS DE TRABAJO DOCENTE FUTURAS

El diagnóstico inicial nos proyectaba una situación de cierto pesimismo en el punto de partida del alumno. El desconocimiento de los recursos usados en la labor de la asesoría o de la terminología fiscal, lo que, a su vez, introduce no pocas dificultades en la comunicación con clientes o la Administración, son simplemente dos ejemplos de las barreras que podíamos observar en nuestras clases al iniciar el proyecto, indicando que la curva de aprendizaje empezaba muy baja. Con todo ello, algunos indicadores del éxito de este proyecto han tenido que ver con:

-la implicación de 20 asesorías profesionales de tributación (ver imagen 5), con negocio actual en Zaragoza, que si bien venían colaborando con la Facultad de Economía y Empresa en su oferta de prácticas en empresas, desde septiembre de 2016, lo hacen de una manera más comprometida fruto de la coordinación conjunta y continuada entre docentes, UNIVERSA y estos despachos.

-la implicación de los alumnos. Siendo una actividad totalmente voluntaria y no 'remunerada' desde el punto de vista evaluativo, la inscripción en esta actividad continuada de P6 (8 horas de formación) supero todas nuestras expectativas. En el inicio del proyecto se pensó que el grupo de tratamiento (alumnos participantes) estaría conformado por 25-30 personas. Como se ha señalado, finalmente 73 personas obtuvieron una certificación interna de participación continuada y activa en las sesiones formativas del proyecto.

Imagen 5. Descripción de la red de ‘actores’ del proyecto en el curso 2016-2017.

Fuente: Elaboración propia

-la existencia de evidencia empírica, siguiendo estándares habituales de especificación y estimación econométrica, que muestra que el impacto de nuestra intervención, una vez que se controlan otros factores de éxito habituales (características personales, rendimiento académico anterior, tipo de prácticas efectuadas), y se tiene en cuenta el carácter temporal y secuenciado de nuestro proyecto (durante dos cursos consecutivos), ha sido positivo y significativo. Nuestra experiencia muestra también una intención clara desde el comienzo mismo del proyecto: la evaluación futura ha de diseñarse ex ante y han de planificarse y prepararse con detalle los instrumentos que permitan la generación de información relevante y suficiente para la medición de los impactos.

-el proyecto ha sido difundido internamente en la Facultad de Economía y Empresa, manteniendo informada de forma continua a la Vicedecana de Estudiantes y Empleo de la misma, y también externamente, como se ha detallado en la sección anterior. La valoración del proyecto llevada a cabo en estas cinco jornadas/encuentros nacionales[1] ha sido altamente satisfactoria si se atiende a las intervenciones de varios colegas de universidades españolas asistentes a las mismas (que también han ofrecido comentarios para su mejora paulatina).

Queremos concluir este apartado de valoración con un conjunto de aportaciones realizadas por los integrantes del proyecto utilizando la conocida metodología DAFO (desafíos, amenazas, fortalezas y oportunidades) que nos han servido internamente para realizar una sencilla valoración global y final del proyecto:

-Falta de control en la elaboración de los cuestionarios de evaluación por parte de los supervisores de las asesorías fiscales. No ha existido una homogeneización de criterios, lo que ha podido llevar a un problema de errores de medición en la valoración de la adquisición de competencias (desafío y amenaza).

-El sistema de incentivos académicos para promover este tipo de innovaciones docentes está, en el mejor de los casos, desequilibrado en favor de la consecución de méritos investigadores. Esto hace que este tipo de esfuerzos en realidad no sea a coste cero, sino ‘a costa de los profesores’, que ven cómo el enorme esfuerzo de creación, seguimiento y evaluación de un proyecto de este tipo tiene escasísimos reconocimientos académicos, fuera de la satisfacción personal. Este tipo de evaluaciones coste-beneficio hace que un proyecto de este tipo genere ganancias netas globales (en empleabilidad, en creación de redes, en mejoras de la docencia cotidiana, en la posibilidad de exportar la experiencia a otra serie de asignaturas afines, etc.), pero que, a la vez, tenga grandes dificultades para sostenerse en el tiempo (amenaza).

-Se cuenta con un proyecto apoyado internamente por la dirección de la Facultad de Economía y Empresa de la Universidad de Zaragoza, y por un inesperado (al menos, al principio del proyecto) número de profesionales externos (fortaleza).

-Se ha desarrollado un proyecto y un método de trabajo efectivo, y coordinado regularmente, entre profesionales de la Universidad de Zaragoza que, hasta ahora, raramente coincidían (PDI y PAS asociados a servicios de orientación de empleo). El reparto de roles ha resultado eficaz y el proyecto se ha beneficiado de esta visión multidisciplinar (fortaleza).

-Se ha detectado con acierto un conjunto de competencias curriculares hasta ahora no suficientemente atendidas en las clases ordinarias y para las que se ha encontrado un método efectivo para potenciarlas dentro de las mismas (uso de las clases P6) (fortaleza).

-Se ha de aprovechar la valoración final del proyecto, y la obtención estadística de resultados y su discusión externa, para introducir paulatinas mejoras en el diseño efectivo de la asignatura de Sistema Fiscal Español I en cursos venideros (oportunidad).

-Se ha de aprovechar la red creada por los profesores con las orientadoras de empleo de UNIVERSA, y con los asesores fiscales, para idear y proponer nuevas colaboraciones: seminarios puntuales, jornadas de actualización tributaria e, incluso, posibles posgrados de especialización profesional (oportunidad).

-Se han de aprovechar los canales habituales de difusión interna de la facultad, para presentar y discutir los resultados del proyecto y mostrar las posibilidades de ‘exportar’ el proyecto a asignaturas donde las competencias profesionales tengan características similares (asignaturas de contabilidad, auditoría, finanzas, comercialización, etc.)

En cuanto a las lecciones aprendidas para el desarrollo futuro de nuestra docencia en las asignaturas de fiscalidad, señalar una vez más que nuestro proyecto ha puesto en evidencia que los contenidos prácticos específicos desarrollados en el mismo han resultado significativos para mejorar el aprovechamiento de sus prácticas curriculares y, en última instancia, para su futuro profesional.

Su encaje en los programas actuales no debería ofrecer un obstáculo insalvable. Así, estas acciones no deberían sustituir a la resolución de casos teórico-prácticos que a modo de simulaciones se resuelven en clase, sino que los deberían complementar. Lo que se pretende es dar un paso más: esto es, dotar a la asignatura de un practicum vigoroso donde se ofrezca a los estudiantes un contacto mucho más habitual con los problemas de la práctica de la asesoría profesional.

Precisamente, la existencia de las prácticas P6 constituye una oportunidad para utilizar este tiempo en el desarrollo de las estrategias propuestas en esta experiencia. Aunque entendemos que las cuatro acciones desarrolladas son muy interesantes, en su encaje práctico podría concentrarse en dos jornadas. La primera estaría destinada a ver los contenidos más relevantes de los recursos informáticos de la Agencia Tributaria y a dar a conocer a los alumnos los distintos centros de actividad fiscal. Además, se repartirían por grupos las tareas que deben realizar de forma autónoma fuera del aula. La segunda sesión estaría dedicada a la exposición y puesta en común de las gestiones y las soluciones obtenidas respecto a los retos planteados a cada grupo.  Además, implementar de este modo esta experiencia no exigiría a priori ningún recorte en los contenidos teóricos o prácticos de la asignatura ya que el planteamiento original de las prácticas P6 ha sido dedicarlas a desarrollar experiencias de esta naturaleza. De este modo, incorporar las ventajas formativas que resultan de esta  propuesta es perfectamente viable y se puede incluir en las rutinas docentes sin trastocar el resto de contenidos.

Consideramos pues muy oportuno que esta metodología se extienda de forma consolidada en los programas de las asignaturas de fiscalidad. Encontrar un equilibrio entre la formación teórica y la aplicabilidad de esos contenidos ha de ser la referencia con la que deberíamos afrontar nuestra responsabilidad como docentes y formadores de futuros profesionales, que van a desarrollar su actividad en un entorno complejo, dinámico y en constante cambio.

Anexo I. Ficha cumplimentada por los despachos destino de los alumnos en prácticas participantes en el proyecto de innovación docenteFuente: Elaboración propia

Anexo II. Tarea tipo para los alumnos participantes en el proyecto, repartida en la tercera sesión P6 del mismo

Notas

[1] IX Jornadas de Docencia en Economía, Málaga, 1 y 2 de junio de 2017; XI Jornadas de Innovación Docente e Investigación Educativa UZ, Zaragoza, 13 y 14 de noviembre de 2017; XXV Encuentro de Economía Pública, Valencia, 25 y 26 de enero de 2018; XIV Jornadas sobre Docencia e Investigación de Economía Aplicada, Madrid, 9 de febrero de 2018; y Congreso Internacional de Orientación Universitaria, Zaragoza, 5 a 7 de septiembre de 2018.

Agradecimientos

Los autores quieren agradecer los comentarios de Julio López Laborda que han contribuido a mejorar de forma notable el contenido de este trabajo. También agradecen el apoyo de la Universidad de Zaragoza a través de la financiación de dos proyectos de innovación docente en los cursos académicos 2016-2017 y 2017-2018. (PIIDUZ 16-193 y PIIDUZ 17-376)). Miguel Ángel Barberán, Fernando Rodrigo y Carmen Trueba, a su vez, agradecen el apoyo financiero del Gobierno de Aragón y del Fondo Europeo de Desarrollo Regional a su grupo de investigación de pertenencia: Grupo de investigación de Economía Pública.

Referencias

Alemany, J.; X. Perramon y L. Panadès (2014): “Las prácticas externas en el proceso de adaptación al EEES. El punto de vista de la primera promoción de grado en la UPF”, Revista de Docencia Universitaria, 12(4): 115-139.

Álvarez, X.; X. M González; A. Gago; X. Labandeira; S. Lago; F. Picos y A. Vaquero (2013): “La docencia de fiscalidad aplicada en las nuevas titulaciones de administración de empresas: experiencia y resultados”, e-pública, Revista electrónica sobre la enseñanza de la Economía Pública, 12: 36-65.

Cano, E. y M. Fernández (2016): “Competencias de los egresados del Espacio Europeo de Educación Superior: relatos de vida de los nuevos estudiantes universitarios frente a los antiguos licenciados”, Revista de Docencia Universitaria, 14(2): 187-203.

De Miguel Díaz, M. (dir.) (2005): Modalidades de enseñanza centradas en el desarrollo de competencias y orientaciones para promover el cambio metodológico en el espacio europeo de educación superior, Ministerio de Educación y Ciencia, Madrid.

De Miguel Díaz, M. (coord.) (2006): Metodologías de enseñanza y aprendizaje para el desarrollo de competencias, Alianza, Madrid.

Escudero, J. M. (2009): “Las competencias profesionales y la formación universitaria: posibilidades, riesgos”, Revista Interuniversitaria de Pedagogía Social, 16: 65-82.

Pastor, G. y M. Vargas (2009): “Los métodos de innovación docente. Perspectiva de los estudiantes”,. e-pública, Revista electrónica sobre la enseñanza de la Economía Pública, 5: 55-80.

Pla, A. y C. Salvador (2011): “La docencia en la materia “Tributación de la empresa”: viejos y nuevos planteamientos en constante revisión”, e-pública, Revista electrónica sobre la enseñanza de la Economía Pública, 9: 1-27.

Ramos, G. y I. Chiva, M. B. Gómez (2017): “Las competencias básicas en la nueva generación de estudiantes universitarios: Una experiencia de Innovación”, Revista de Docencia Universitaria, 15 (1): 37-55.