Se obtiene una tabulación (Tabla 1) por persona, categoría y número de anotaciones, favorable a la charla: 41 positivas, 27 negativas y 7 dudas. Gracias a ello, se pueden definir tendencias de comportamiento dentro del grupo: 2 personas emiten el mismo número de comentarios positivos que negativos, 4 emiten más comentarios negativos que positivos y 8 emiten más comentarios positivos que de cualquier otra categoría.

En cuanto a la distribución de claves por categoría, Duda aglutina la menor cantidad, 19 conceptos, seguido de Negativo con 110 y Positivo con 140. Se clasifican así 75 anotaciones y 269 claves, siendo las mujeres responsables de 196 y los hombres de 73.

De forma adicional, se realiza el análisis por sexos en relación a la clasificación de conceptos clave. Para ello es necesario comparar las ratios y no los valores absolutos, debido al marcado desequilibrio interno (9 mujeres y 5 hombres), como se recoge en la Figura 3.

Figura 3. Comportamiento por sexo respecto a las categorías de análisis

Por término medio, las mujeres demuestran una mayor profusión en la referencia de los conceptos categorizados, de modo que en el conjunto de las intervenciones de una de ellas se pueden encontrar 21.78 por 14.6 de los hombres. Esto es una tónica en todas las categorías, especialmente acusada en Democracia y Positivo, donde ellas usan más del doble de conceptos que ellos. Incluso en Caracterización, donde existe una mayor proximidad de ratios, los hombres están por debajo de 10 y las mujeres superan los 12 conceptos.

Sin embargo, esta situación llega a invertirse en la categoría Negativo, con diferencia la menos densa en referencias conceptuales por parte del alumnado. Lo que explica sus exiguas ratios. Aquí las mujeres señalan, de media, 0.56 conceptos críticos por 0.8 de los varones, lo que supone casi un 43% más que ellas.

Por tanto, estamos ante un claro posicionamiento por sexos respecto al contenido, en el que ellas suscriben de una forma mucho más clara el discurso y restan más importancia a los puntos negativos que ven en comparación con los hombres.

4. DISCUSIÓN Y CONCLUSIONES

A partir de un único análisis exhaustivo, el de la fuente original, se ha podido establecer un conjunto de claves relevantes extrapolables a las aportaciones individuales del alumnado de forma simultánea, gracias a la autocodificación de Atlas.ti aplicada a grupos de documentos primarios, haciendo que el número de personas e intervenciones realizadas sea indiferente.

Esto es especialmente interesante para escenarios sin restricciones en la generación de anotaciones y réplicas entre pares, así como para clases densamente pobladas donde la inversión en tiempo para cualquier tarea participativa se convierte en un reto docente, en términos de evaluación. No obstante, como se recoge en la Tabla 1, la metodología no está exenta de casos en los que la presencia de comentarios dubitativos podría cuestionar la asignación de la persona a una u otra tendencia.

E incluso hay que señalar la relevancia de una categoría que de facto no debería haber surgido, como Definición, ya que su existencia es una evidencia de falla, o al menos una zona borrosa, en la experiencia. No se les pedía que ensayaran una definición, o la reformularan, sino que se posicionaran respecto a la expuesta en la charla. Una lectura positiva de la cuestión nos lleva considerar las matizaciones o refutaciones que se han hecho de la ofrecida por parte de distintos participantes, lo que es de facto una actitud crítica constructiva. En todo caso, resulta evidente que éste es un aspecto sobre el que será necesario reflexionar en futuras investigaciones.

La clasificación se convierte así en una consecuencia de la densidad conceptual por categorías, lo que permite además profundizar en la existencia o no de patrones de comportamiento, como se ha esbozado en el análisis al señalar la relevancia por persona y sexo. A nuestro juicio, esto presenta un alto interés al permitir orientar la estrategia docente: detectar situaciones de claro rechazo o aceptación por persona, o grupo; o ayudar a discernir si el recurso ofrecido se ha aprovechado en los términos que se pretendía. La ausencia de crítica, o la confrontación total, ante un tema tan relevante como es el concepto y práctica de la democracia, especialmente en el contexto de una asignatura de grado que versa sobre la educación para la ciudadanía y los derechos humanos, se puede convertir en indicador del proceso aprendizaje y de las dificultades en el mismo (Jóver, González Martín y Fuentes, 2015).

Tal vez el ejemplo más claro que se ha producido en este sentido sea el comportamiento exhibido por ID6, cuya intervención sólo presenta dos comentarios, ambos positivos, respecto a las tesis del autor. Sabemos, por la anotación de video, que ambos comentarios se produjeron hacia el final de la intervención, por lo que se corresponden con la fase de recapitulación y exposición de tesis final del autor. Junto con la lectura atenta de esta situación detectada, se estará en mejor posición de confirmar, más allá de la legítima postura que todo docente en formación pueda adoptar respecto a cualquier controversia, si se han obviado claves relevantes o se ha aprehendido lo fundamental de cada fase del discurso.

En general, la densidad conceptual utilizada en las anotaciones fue baja, apenas supera los 3.5 conceptos de media. Dos líneas explicativas nos parecen plausibles en relación a ello: la debilidad de las propias argumentaciones, lo que se relacionaría con una escasa aprehensión o interés por el material ofrecido; y la perfectibilidad del proceso de codificación del texto original, en la medida que se hayan podido obviar algunos equivalentes. La propuesta realizada ofrece la propia instrumentalización teórico-práctica como asistente para comprobar el segundo extremo; sobre el primero se hace necesario tanto una consulta al aula como una revisión de la estrategia didáctica desarrollada.

En efecto, la criba conceptual puede no ser exhaustiva, lo que nos lleva a considerar las características disciplinarias del contenido ofrecido: en primer lugar, la generalidad de la transcripción, ya que al tratarse de una intervención destinada a un público amplio no hay demasiadas palabras propias singulares (vocabulario científico), lo que puede derivar en una mayor dificultad a la hora de realizar la discriminación semántica; y, por otro lado, cuestiones de sinonimia que no se contemplaron en la clasificación ni en las redes semánticas definidas, palabras semejantes en significado que podrían darse como válidas en relación a un concepto clave.

Esto último se comprueba en las seis anotaciones con menor densidad conceptual, pertenecientes a las ID 1, 3, 6, 8 y 14, con claves como “adequate” o “accountability”. Que son fácilmente asociables, en su significado, con palabras presentes en la codificación pero cuya baja frecuencia no permite una determinación asistida eficiente de las mismas en las categorías establecidas.

Pese a las dificultades señaladas, entendemos que el procedimiento desarrollado ha demostrado su eficacia, su pertinencia y beneficio docente. Lo que permite señalar como alcanzado nuestro objetivo. Especialmente en tanto que rompe la linealidad del tiempo necesario para una revisión secuencial, algo muy relevante en contextos con mayor cantidad de participantes e intervenciones. Además, ha permitido hacerlo con criterios claros tanto sobre su tipificación como sobre la densidad conceptual utilizada.

La estimación temporal ofrecida, basada en nuestro propio trabajo, sostenemos que así lo ilustra. ya que para grupos mayores a 30, 50, 70 o más, los tiempos de codificación sólo dependen de la fuente original. Lo que los haría semejantes. De forma adicional, la identificación de patrones de comportamiento hace posible que el tiempo personal para controlar situaciones erráticas, como también se ha ilustrado aquí, se pueda hacer en base a un subconjunto reducido identificado por la misma metodología.

En todo caso, la revisión docente sigue siendo insoslayable, pero al hacerlo con referencias analíticas claras y una clasificación solvente de los textos, su cometido puede hacerse más eficiente al orientarlo en primer lugar a grupos significativos. Por ejemplo, con baja densidad conceptual (anotaciones breves o poco elaboradas), con comportamientos totalmente homogéneos (en nuestro caso a favor o en contra del contenido ofrecido) o de clasificación no unívoca.

En contextos como las facultades de educación, en la que radica nuestro caso, donde las ratios profesorado/alumnado no son siempre favorables a la dinamización de clases, si éstas suponen generar volúmenes importantes de material a evaluar de forma recurrente, se abre una ventana de oportunidad para facilitar el cometido docente que, al menos, complemente la evaluación continua basada en la observación.

Esto es algo que consideramos muy relevante dada la singularidad de los contenidos disciplinarios trabajados, propios de las Ciencias Sociales, en las que características del discurso como la univocidad o la verdad objetiva no están siempre sobre la mesa ni son aprehendidas adecuadamente, con todas las reservas que puede hacerse teniendo en cuenta la naturaleza humana y social de la disciplina.

Aunque de forma imperfecta, se hace posible una mayor profundización en el desempeño individual de tareas colectivas o en gran grupo, lo que no deja de ser una reivindicación habitual del alumnado. Pero tal vez lo más interesante de la propuesta sea el hecho de que hay todavía margen para la mejora metodológica (Kean, Amin y Md, 2016; Woods et al., 2016). Es posible refinar el manejo tanto de los videos anotados como del análisis cualitativo para obtener clasificaciones más eficientes, introduciendo redes de sinonimia y relaciones sintácticas explícitas, lo que redundaría en determinaciones de patrones más ajustadas y, en definitiva, evaluaciones del alumnado más útiles a su formación.

Pero esto no puede soslayar ni silenciar las limitaciones propias del trabajo cualitativo adicionales a las señaladas aquí (Éthier y Lefrançois, 2010): la presencia de la componente ideológica como una dificultad adicional que no debe ser esquivada; la necesidad de ampliar la comunidad de docentes interesados en estas cuestiones, en todos los niveles educativos; dar soporte material a la investigación en ámbitos preuniversitarios; o clarificar, a partir de escenarios prácticos comparables, la bondades de éste y otros métodos para la mejora de la enseñanza-aprendizaje.

En conjunto, se trata de una técnica auxiliar que puede ayudar mejorar tanto la evaluación de contenidos tanto en un sentido analítico como temporal. Algo que en la enseñanza de ciencias como las sociales es crítico. Ya que se plantea a partir de la hermenéutica de la fuente, bajo un análisis focalizado en la argumentación autónoma y estructura de los discentes, y como entelequia o dogma impuesto para la superación de una asignatura. Seguiremos explorando estas cuestiones, ante las que esperamos seguir contando con una comunidad interesada creciente.

5. REFERENCIAS

Amare, M. Y., y Simonova, S. (2021). Learning analytics for higher education: Proposal of big data ingestion architecture. SHS Web of Conferences, 92. Publicly Available Content Database; Social Science Premium Collection. https://doi.org/10.1051/shsconf/20219202002

Ávila Ruiz, R. M., Rivero Gracia, Mª. P. y Domínguez Sanz, P. L. (Coord., 2010). Metodología de investigación en Didáctica de las Ciencias Sociales. Zaragoza, Institución Fernando el Católico (CSIC).

Bai, Y., Mo, D., Zhang, L., Boswell, M. y Rozelle, S. (2016). The impact of integrating ICT with teaching: Evidence from a randomized controlled trial in rural schools in china. Computers y Education, 96, 1–14. https://dx.doi.org/10.1016/j.compedu.2016.02.005

Berrio, J. R. (1976). El método histórico en la investigación histórica de la educación. Revista Española de Pedagogía, 34(134), 449–475. http://www.jstor.org/stable/23763481

Brasil, E. y Fernandes Nascimiento, L. (2020). História digital: reflexões a partir da hemeroteca digital brasileira e do uso de caqdas na reelaboração da pesquisa histórica. Estudos Históricos (Río de Janeiro), 33(69), https://doi.org/10.1590/S2178-14942020000100011

Burton, L. J., Summers, J., Lawrence, J., Noble, K. y Gibbings, P. (2015). Digital literacy in higher education: The rhetoric and the reality. In Harmes, M. K., Huijser, H., Danaher, P. A. (Eds.), Myths in education, learning and teaching: Policies, practices and principles. New York: Palgrave MacMillan. p. 151–172.

Cantabella, M., Martínez-España, R., Ayuso, B., Yáñez, J. A., y Muñoz, A. (2019). Analysis of student behavior in learning management systems through a Big Data framework. Future Generation Computer Systems, 90, 262–272. https://doi.org/10.1016/j.future.2018.08.003

Castells, M. y Himanen, P. (2014). Reconceptualizing development in the global information age. Oxford: Oxford University Press. https://doi.org/10.1093/acprof:oso/9780198716082.001.0001

Cebrián de la Serna, Manuel, Cebrián Robles, Daniel, Serrano Puerto, José. (2015). Metodología para evaluar el impacto de las erúbricas y las anotaciones de vídeo en las prácticas externas. En Investigar con y para la sociedad. Cádiz: AIDIPE. pp. 1457–1464.

Corrales Serrano, M., Sánchez Martín, J., Moreno Losada, J., & Zamora Polo, F. (2021). Educar en el interés social de las ciencias sociales: una intervención didáctica. Revista Prisma Social, (35), 249–276. Recuperado a partir de https://revistaprismasocial.es/article/view/4357

Dalal, K. (2016). Impact of information and communication technologies in education. International Education and Research Journal, 2(7), 25–26. Retrieved from http://ierj.in/journal/index.php/ierj/article/view/357

Elatia, S., y Ipperciel, D. (2021). Learning Analytics and Education Data Mining in Higher Education. En Azevedo, A., Azevedo, J. M., Onohuome Uhomoibhi, J. y Ossiannilsson, E. (Eds.), Advancing the Power of Learning Analytics and Big Data in Education (p. 1–19). IGI Global. https://doi.org/10.4018/978-1-7998-7103-3.ch005

Escudero Sánchez, C. L., y Cortez Suárez, L. A. (2018). Técnicas y métodos cualitativos para la investigación científica. Machala : Universidad Técnica de Machala.

Éthier, M. A. y Lefrançois, D. (2010). Los problemas de la investigación cualitativa en didáctica de las ciencias sociales. Algunos ejemplos relacionados con el aprendizaje y la enseñanza de la Historia en Quebec. En Ávila Ruiz, R. M., Rivero Gracia, Mª. P. y Domínguez Sanz, P. L. (Coord., 2010). Metodología de investigación en Didáctica de las Ciencias Sociales. Zaragoza, Institución Fernando el Católico (CSIC), pp. 29–45.

González Vera, R., Cabrera Fermoso, N. L., Mendoza Mendoza, H., y Arzate Robledo, R. (2020). Métodos de Investigación: Experimentales y Cualitativos. Alternativas en Psicología, 44, 108–120.

Hesse-Biber, S. N. (Eds., 2011). The handbook of emergent technologies in Social Research. Nueva York: Oxford University Press.

Joseph, G y Brennan, C. (2013). Framing quality: Annotated video-based portfolios of classroom practice by pre-service teachers. Early Childhood Education Journal, 41(6), 423–430. https://doi.org/10.1007/s10643-013-0576-7

Jóver, G., González Martín, M. R., y Fuentes, J. L. (2015). Exploración de nuevas vías de construcción mediática de la ciudadanía en la escuela: de Antígona a la narrativa transmedia. Teoría de la Educación; Revista Interuniversitaria, 27(1), 69–84. https://doi.org/10.14201/teoredu20152716984

Kean Ang, C., Amin Embi, M., Md, y Yunus, M. (2016). Enhancing the quality of the findings of a longitudinal case study: Reviewing trustworthiness via ATLAS.ti. The Qualitative Report, 21(10), 1855–1867. https://doi.org/10.46743/2160-3715/2016.2480

Lewthwaite, S., y Nind, M. (2016) Teaching Research Methods in the Social Sciences: Expert Perspectives on Pedagogy and Practice. British Journal of Educational Studies, 64:4, 413–430, https://doi.org/10.1080/00071005.2016.1197882

Liao, H., Chen, L., Song, Y., y Ming, H. (2016). Visualization-based active learning for video annotation. IEEE Transactions on Multimedia, 18(11), 2196–2205. https://doi.org/10.1109/TMM.2016.2614227

Marchis, G. (2016). New horizons for innovation in european higher education institutions. EIRP Proceedings, 11(1), 405–411. Retrieved from https://doaj.org/article/019d0593f8ae4ed78e82e2bcb532e01d

Martín Antón, J., Valdés-Gonzaléz, A., & Jimeno Rodríguez, D. . (2021). portugués Elección, análisis y uso de herramientas didácticas para la enseñanza de las Ciencias Sociales. La importancia de la detección de anacronismos y falta de rigor histórico en un videojuego. Riaices, 3(2), 17–26. Recuperado a partir de https://reunido.uniovi.es/index.php/riaices/article/view/16797

Miller, R. E. (2014). Plagiarism curricula may reduce need for punitive plagiarism education. Evidence Based Library and Information Practice, 9(1), 39–41. Retrieved from https://goo.gl/WXodGS

Monedero Moya, J. J., Cebrián Robles, D., y Desenne, P. (2015). Usabilidad y satisfacción en herramientas de anotaciones multimedia para MOOC. Comunicar, (44), 55–62. https://doi.org/10.3916/C44-2015-06

Monteagudo-Fernández, J., Rodríguez Pérez, R. A., Escribano-Miralles, A., y Rodríguez García, A. M. (2020). Percepciones de los estudiantes de Educación Secundaria sobre la enseñanza de la historia, a través del uso de las TIC y recursos digitales. Revista Electrónica Interuniversitaria de Formación del Profesorado, 23(2). https://doi.org/10.6018/reifop.417611

Navarro Ibarra, L. A., Cuevas Salazar, O., y Martínez Castillo, J. (2017). Meta-análisis sobre educación vía TIC en méxico y américa latina. REDIE, Revista Electrónica De Investigación Educativa., 19(1), 10–19. Retrieved from https://goo.gl/P6iKGl

Noguera Fructuoso, I. (2015). How millennials are changing the way we learn: The state of the art of ICT integration in education. RIED: Revista Iberoamericana De Educación a Distancia, vol 18, nº 1, 45–65. Retrieved from https://goo.gl/BEpnk2

Olapane, E. C. (2021). An In-depth Exploration on the Praxis of Computer-assisted Qualitative Data Analysis Software (CAQDAS). Journal of Humanities and Social Sciences Studies, 3(11), 57–78. https://doi.org/10.32996/jhsss.2021.3.11.5

Ornellas, A. y Sancho, J. (2015). Three decades of digital ICT in education: Deconstructing myths and highlighting realities. In Harmes, M. K., Huijser, H. y Danaher, P. A. (Eds.), Myths in education, learning and teaching. New York: Palgrave MacMillan. p. 135–150.

Paredes Quiroz, L. A. (2020). El uso de ATLAS.ti en la investigación histórica: el caso del análisis iconológico de monumentos funerarios. Caleidoscopio - Revista Semestral de Ciencias Sociales y Humanidades, 24(43). https://doi.org/10.33064/43crscsh2441

Paulus, T. M., y Bennett, A. M. (2017). ’I have a love-hate relationship with ATLAS.ti’TM: Integrating qualitative data analysis software into a graduate research methods course. International Journal of Research y Method in Education, 40(1), 19–35. https://doi.org/10.1080/1743727X.2015.1056137

Ruser, A. (2021). Hijacking the Postmodern Project: Post-Truth and the Need to De-politicize Epistemological Dispute. Social Epistemology, https://doi.org/10.1080/02691728.2021.2004621

Sang-Keun, S. (2015). Teaching critical, ethical, and safe use of ICT to teachers. Language Learning y Technology: A Refereed Journal for Second and Foreign Language Educators, 19(1), 181–197. Retrieved from https://goo.gl/AsIgX2

Seidman, I. (2013). Interviewing as Qualitative Research: A Guide for Researchers in Education and the Social Sciences. New York, NY: Teachers College Press.

Sokal, A. D. (1996). Transgressing the Boundaries: Towards a Transformative Hermeneutics of Quantum Gravity. Social Text, 46/47, 217–252.

Torres-Madroñero, M. C., & Torres-Madroñero, E. M. (2020). PazRed. Una propuesta de educación virtual para la formación de estudiantes universitarios en competencias para las Ciencias Sociales. Trilogía Ciencia Tecnología Sociedad, 12(23), 37–59. https://doi.org/10.22430/21457778.1715

Trigueros Cano, F. J., Sánchez Ibáñez, R., y Vera Muñoz, M. I. (2012). The professorship of primary education before the ITC: reality and challenges. Revista Electrónica Interuniversitaria de Formación del Profesorado, 15(1), 101–112. Retrieved from https://goo.gl/dX3t5m

Valbuena, R. (2021). El ocaso de las Ciencias Sociales: crítica fundamentada a su metodología. Maracaibo: Cencal.

Westhuizen, C. P., y Golightly, A. (2015). Video annotation software application for thorough collaborative assessment of and feedback on microteaching lessons in geography education. Journal of Geography in Higher Education, 39(3), 420–436. https://doi.org/10.1080/03098265.2015.1053802

Woods, M., Paulus, T., Atkins, D. P., y Macklin, R. (2016). Advancing qualitative research using qualitative data analysis software (QDAS)? Reviewing potential versus practice in published studies using ATLAS.ti and NVivo, 1994–2013. Social Science Computer Review, 34(5), 597–617. https://doi.org/10.1177/0894439315596311

Woods, M., Macklin, R., y Lewis. G. K. (2016). Researcher reflexivity: exploring the impacts of CAQDAS use. International Journal of Social Research Methodology, 19:4, 385–403, https://doi.org/10.1080/13645579.2015.1023964

Yunita, A., Santoso, H. B., y Hasibuan, Z. A. (2021). Research Review on Big Data Usage for Learning Analytics and Educational Data Mining: A Way Forward to Develop an Intelligent Automation System. Journal of Physics: Conference Series, 1898(1), 012044. https://doi.org/10.1088/1742-6596/1898/1/012044

_______________________________

¹ Este estudio ha sido posible gracias al soporte del proyecto de I+D+i EDU2013-41974P.