Ciencia y Educación (ISSN 2707-3378)
Vol. 2 No. 6
Junio del 2021
Página 6
MÉTRICAS CON PROPÓSITO: UNIR LAS MÉTRICAS DEL REPOSITORIO
INSTITUCIONAL CON EL PROPÓSITO Y LA AUDIENCIA.
METRICS WITH PURPOSE: LINKING INSTITUTIONAL REPOSITORY METRICS
WITH PURPOSE AND AUDIENCE.
Autor: Alberto Carlos Carbonell Marce.
ORCID ID: https://orcid.org/0000-0002-2159-7999
Articulo recibido: 4 de Mayo del 2021
Articulo revisado: 7 de Junio del 2021
Articulo aprobado: 23 de Junio del 2021
Ingeniero mención Ciencias Informáticas egresado de la Universidad de las Ciencias Informáticas (Cuba), con 9 años de experiencia
laboral.
.
Resumen
Una herramienta clave para hacer que los
repositorios institucionales funcionen es el uso
exitoso de métricas de repositorio. Estas
métricas se generan a través de plataformas y
repositorios de terceras fuentes, tales como
Google Analytics y Altmetrics, y son
generados internamente por los
administradores de repositorios. El exitoso
administrador de repositorios convierte las
métricas en herramientas de evaluación de
calidad, haciendo coincidir la fuente de la
métrica con el público y el propósito
apropiados. Los usos imaginativos de las
métricas comercializan el repositorio y
estimulan la participación del profesorado.
Proporcionar métricas significativas a las
partes interesadas del repositorio demuestra el
valor de los repositorios institucionales para los
contribuyentes y las partes interesadas del
financiamiento.
Palabras claves: Repositorios
institucionales, Métricas de repositorio,
Herramientas de evaluación.
Abstract
A key tool to make institutional repositories
work is the successful use of repository
metrics. These metrics are generated through
third-party platforms and repositories, such as
Google Analytics and Altmetrics, and are
generated internally by repository managers.
The successful repository manager turns
metrics into quality assessment tools, matching
the source of the metric to the appropriate
audience and purpose. Imaginative uses of
metrics market the repository and stimulate
faculty engagement. Providing meaningful
metrics to repository stakeholders
demonstrates the value of institutional
repositories to donors and funding
stakeholders.
Keywords: Institutional repositories,
Repository metrics, Evaluation tools.
Sumário
Uma ferramenta fundamental para fazer os
repositórios institucionais funcionarem é o uso
bem-sucedido das métricas do repositório.
Essas métricas são geradas por meio de
plataformas e repositórios de terceiros, como
Google Analytics e Altmetrics, e são geradas
internamente pelos gerenciadores de
repositório. O gerenciador de repositório bem-
sucedido transforma métricas em ferramentas
de avaliação de qualidade, combinando a
origem da métrica com o público e propósito
apropriados. Usos imaginativos de métricas
comercializam o repositório e estimulam o
engajamento do corpo docente. Fornecer
métricas significativas para as partes
interessadas do repositório demonstra o valor
dos repositórios institucionais para os doadores
e as partes interessadas do financiamento.
Palavras-chave: Repositórios institucionais,
Métricas de repositório, Ferramentas de
avaliação.
Introducción
Los últimos 10 años ha aumentado la aceptación
del acceso abierto entre los académicos a través
de la creciente disponibilidad de revistas con
estas características (Laakso, 2011) y en el
Ciencia y Educación (ISSN 2707-3378)
Vol. 2 No. 6
Junio del 2021
Página 7
desarrollo de políticas basadas en el
financiamiento que abogan o exigen la
disponibilidad abierta de las investigaciones
(Xia, 2012). Los repositorios de disciplina,
comenzando con arXiv en 1993, se han
convertido en un gran número de repositorios en
más de 40 áreas temáticas. Además,
recientemente han surgido nuevas vías en la
creación de "repositorios comunes ". como
Academia.edu e ResearchGate.
Los repositorios institucionales se encuentran
actualmente en la mitad de su segunda década
de desarrollo, con las tres plataformas de
repositorios más utilizadas lanzadas a principios
de la década de 2000 (EPrints en 2000, DSpace
y Digital Commons en 2002). A pesar de haber
sido creados para promover el acceso abierto a
la investigación y la erudición, y de crecer en
número y tamaño en los últimos 10 años, los
repositorios institucionales continúan siendo
vistos principalmente como una forma de
biblioteca (Thomas, 2007) en lugar de una
nueva ola de comunicación académica formado
por las revistas de acceso abierto y los
repositorios especializados en áreas temáticas.
Para que los investigadores, las universidades y
las agencias de financiación vean los
repositorios institucionales como un pilar
central del movimiento de acceso abierto, los
gerentes de los repositorios deben demostrar el
valor de sus repositorios. Para demostrar su
valor, los gerentes de repositorio confían en
métricas, algunas plataformas proporcionadas,
algunas creadas internamente. El uso exitoso de
las métricas se basa en la selección de métricas
que sean significativas para las partes
interesadas del repositorio. En otras palabras,
las métricas que se recopilan e informan deben
respaldar los intereses y objetivos de sus
audiencias apropiadamente.
Desarrollo
Las métricas se consideran comúnmente
cuantitativas: los recuentos de descargas para
demostrar el acceso y la visibilidad conducen a
tasas de citas más altas (Antelman, 2004);
(Eysenbach, 2006); (Gargouri, 2010); cargar
conteos para documentar el crecimiento del
repositorio institucional; y análisis web para
determinar la demografía y el comportamiento
de los visitantes. Las tres plataformas de
repositorios principales proporcionan
herramientas de métricas con el fin de evaluar
el crecimiento y el acceso al repositorio,
complementadas con métricas proporcionadas
por terceros (análisis web, medidas de citas y
altmetrics, por ejemplo) y métricas
desarrolladas localmente. Estas métricas son
valiosas para comunicarse con las partes
interesadas, aunque los gerentes de repositorio
pueden no estar aprovechando al máximo estas
herramientas.
Una encuesta sobre la evaluación de
colecciones digitales en las bibliotecas miembro
de la Asociación de Bibliotecas de
Investigación indica que una mayoría
significativa de los encuestados utilizó la
evaluación para medir la funcionalidad y para
guiar el desarrollo, mientras que solo la mitad
de los encuestados indicó que utilizó la
evaluación para la aceptación de los interesados
(Ochoa, 2014)
Este no es una investigación sobre la evaluación
del repositorio institucional. Más bien, se trata
de la recopilación y presentación de informes de
métricas de repositorio para una variedad de
propósitos y audiencias, incluida la evaluación
de repositorio. Las métricas son una
herramienta básica para probar el valor de los
repositorios. Para la administración de
bibliotecas y universidades, los repositorios
institucionales deben demostrar que valen los
Ciencia y Educación (ISSN 2707-3378)
Vol. 2 No. 6
Junio del 2021
Página 8
recursos financieros y de personal asignados a
ellos.
Para las unidades académicas y de investigación
y los autores de la facultad, los repositorios
deben demostrar que valen el tiempo necesario
para recopilar y enviar publicaciones. La
demostración efectiva del valor de los
repositorios a través de métricas requiere una
comprensión de las partes interesadas y sus
objetivos al usar repositorios institucionales e
identificar e informar métricas que muestren si
el repositorio está cumpliendo esos objetivos.
Es esencial para el uso exitoso de las métricas
la identificación de una audiencia (repositorio o
las partes interesadas), reconociendo un
propósito (el interés de las partes interesadas en
el repositorio) y vinculándolo a una métrica (lo
que se está midiendo) que demuestra cómo el
repositorio cumple ese propósito (Inefuku,
2013). Las partes interesadas comúnmente
identificadas en los repositorios institucionales
incluyen la biblioteca, los miembros de la
facultad y otros autores, los departamentos
académicos y otras unidades del campus, la
administración universitaria, las juntas
directivas de la institución y las agencias de
acreditación. Estas partes interesadas forman el
público para las métricas del repositorio.
Como señalaron Poll y Boekhorst (2007), “La
percepción de la calidad de la biblioteca diferirá
en los grupos de partes interesadas. Los
usuarios ven la calidad de la biblioteca de
acuerdo con su experiencia con los servicios
que utilizan. No se preocuparán por la eficiencia
de los procesos en segundo plano, sino por la
prestación efectiva de servicios”. Las partes
interesadas del repositorio requerirán métricas
que se adapten a sus necesidades. El tipo, la
granularidad y la frecuencia de las métricas
informadas dependen de la audiencia, ya que
cada audiencia tiene diferentes intereses en los
repositorios:
➢ Administración universitaria
• Demostrar resultados académicos.
• Aumentar la visibilidad y el impacto.
• Cumplir con los requisitos de acceso
público de la agencia otorgante
• Acreditación
• Comparación con instituciones pares
• Membresía en asociaciones.
➢ Unidad del campus
• Demostrar resultados académicos.
• Aumentar la visibilidad y el impacto.
• Cumplir con los requisitos de acceso
público de la agencia otorgante
• Acreditación
• Comparación con los departamentos
pares.
• Contratación de profesores y
estudiantes.
• Demostrar impacto académico.
• Aumentar la visibilidad y el impacto.
• Cumplir con los requisitos de acceso
público de la agencia otorgante.
• Lograr promoción y tenencia,
evaluaciones y desempeño.
➢ Estudiantes
• Asegure el empleo o más de educación.
• Aumentar la visibilidad y el impacto.
• Demostrar el impacto del repositorio.
• Evaluar el crecimiento y el éxito del
repositorio.
• Mejorar los servicios y la capacidad de
descubrimiento.
Al proporcionar estadísticas útiles y apropiadas
a autores, departamentos, la universidad y otras
partes interesadas, el repositorio demuestra su
valor como socio vital en la investigación y la
comunicación académica. Las métricas de
informes pueden conducir a un uso nuevo o
Ciencia y Educación (ISSN 2707-3378)
Vol. 2 No. 6
Junio del 2021
Página 9
continuo de los servicios del repositorio. Para
fines internos, la recopilación de métricas
proporciona un medio para evaluar el éxito y el
crecimiento, aunque algunos sostienen que los
aspectos longitudinales del crecimiento deben
estudiarse para evaluar la fuerza (cantidades de
carga constantes) o la debilidad (crecimiento
lento puntuado por series de cargas de lotes
grandes), revelando la sostenibilidad del
crecimiento del repositorio (Hitchcock, 2007).
Determinar qué métricas son apropiadas para
diferentes audiencias requiere una comprensión
del campus: su misión, sus prioridades y su
cultura. Esta información se puede recopilar de
los planes estratégicos de las universidades y las
unidades del campus. La necesidad de métricas
de repositorio puede estar impulsada por la
acreditación y los ciclos de revisión externa, los
plazos de presentación de informes de
subvenciones y los calendarios de tenencia y
promoción. Estas necesidades también
determinarán el cronograma y la frecuencia de
los informes de métricas.
Las necesidades de audiencias comunes
variarán de una universidad a otra y cada
necesidad de la audiencia dependen, en cierta
medida, de los contextos locales. Demostrar el
número de visitantes locales o estatales puede
ser importante para las universidades, que
tienen la misión de difundir el conocimiento a
la comunidad, las universidades públicas que
deben rendir cuentas a los contribuyentes y las
universidades interesadas en construir
relaciones sólidas con los ciudadanos. Las
universidades de artes liberales más pequeñas
pueden estar más preocupadas por las
conexiones entre los repositorios institucionales
y el aula, o pueden poner un mayor énfasis en
atraer estudiantes autores, mientras que las
grandes universidades de investigación pueden
centrar su atención en aumentar la visibilidad de
la investigación financiada por subvenciones.
Para las universidades de investigación que son
miembros de Asociaciones de Universidades,
las métricas de repositorio pueden ser útiles
para demostrar el impacto que los repositorios
institucionales tienen en aumentar la visibilidad
y el uso de las becas en apoyo de los criterios de
membresía. La vinculación de las métricas del
repositorio a las misiones de las partes
interesadas posicionará a los repositorios
institucionales como un jugador clave para
apoyar sus funciones centrales.
Métricas de repositorio comúnmente medidas
➢ Descargas de artículos
La descarga de artículos es la métrica más
utilizada para repositorios institucionales, lo
que demuestra el uso de materiales en
repositorios. Esta métrica se usa tanto para
reforzar el comportamiento (alentar a los
profesores-autores a continuar depositando
material nuevo) como para alentar el
comportamiento (traer nuevos profesores-
autores al repositorio). El público determina el
nivel de granularidad de esta métrica. Los
autores individuales necesitarán las descargas
de elementos para cada elemento suyo en el
repositorio. Para otras audiencias, esto podría
informarse en conjunto, como promedio, o en
listas de los principales elementos descargados.
➢ Número de elementos en el repositorio
Para los repositorios que incluyen registros solo
de metadatos, el número de elementos en el
repositorio es un indicador de la producción
académica de una universidad. Para estos
repositorios, identificar el porcentaje de
elementos en el repositorio que tienen
disponibilidad de texto completo es útil para
evaluar el éxito de la participación del
repositorio en la comunicación académica y las
discusiones de acceso abierto en el campus.
Ciencia y Educación (ISSN 2707-3378)
Vol. 2 No. 6
Junio del 2021
Página 10
Desglosar el número de elementos en un
repositorio en categorías también puede ayudar
a medir el resultado de la investigación de una
universidad y hacer un seguimiento del
cumplimiento de los mandatos de acceso
abierto de las agencias otorgantes.
➢ Subidas de artículos
Esta métrica mide cuántos elementos se han
cargado en un repositorio en un período de
tiempo específico y se puede realizar un
seguimiento a lo largo del tiempo. La carga de
elementos mide el crecimiento del repositorio.
Para los repositorios que están integrados en los
sistemas de información de investigación, el
seguimiento del número de cargas en un
repositorio puede medir la producción
académica de una universidad. Esta métrica se
puede segmentar por unidades del campus, por
tipo (artículos revisados por pares, tesis), según
la audiencia prevista. Los números de carga se
utilizan principalmente para demostrar la salud
y la vitalidad de los repositorios, aunque, como
señalaron Carr y Brody (2007), las cargas de
lotes grandes pueden ser un signo de falta de
sostenibilidad.
Las cargas a menudo también se denominan
"documentos" o "contenido" o "elementos" en
el repositorio, y esta métrica a menudo se utiliza
para demostrar no solo un crecimiento
sostenido sino también la diversidad del
contenido en un repositorio institucional.
Muchos administradores de repositorios
informan cargas por tipo de contenido o por
colección. Las métricas de carga también
parecen sugerir un depósito explosivo con un
crecimiento temprano promedio de 366
documentos por mes, seguido por un
crecimiento sostenido más lento de 165
documentos por mes en el tercer año del
repositorio (Dubinsky, 2014).
➢ Ubicación de los visitantes
El seguimiento y la notificación de la ubicación
de los visitantes del repositorio se pueden
utilizar para demostrar varias cosas, incluido el
alcance nacional e internacional de los
repositorios y el porcentaje de visitantes en las
redes de colegios y universidades. Demostrar el
número de visitantes estatales o locales puede
ser importante para los depósitos de
universidades con fuertes relaciones entre
ciudades. Aunque muchos administradores de
repositorios usan Google Analytics para
informar las tasas de visitantes, las ubicaciones,
los términos de búsqueda y, a veces, los motores
de búsqueda y flujo de tráfico, rara vez están
vinculados a elementos específicos descargados
y, en su lugar, generalmente se informan
universalmente.
➢ Unidades Participantes
Si la administración de la universidad valora el
repositorio, entonces pueden estar interesados
en ver quién está utilizando el servicio. Los
gerentes de repositorio pueden usar esta métrica
para evaluar el éxito de los esfuerzos de
divulgación y educación. Identificar qué
unidades tienen poca o ninguna participación es
útil para enfocarse en actividades de educación
y divulgación.
➢ Facultad participante
Las listas de profesores que han enviado sus
trabajos a los repositorios institucionales son
útiles para los administradores de las
universidades y los jefes de las unidades del
campus para determinar la aceptación de los
profesores. La identificación de lagunas puede
permitir a los administradores de repositorios
dirigirse a miembros influyentes de la facultad
y académicos en el campus.
Ciencia y Educación (ISSN 2707-3378)
Vol. 2 No. 6
Junio del 2021
Página 11
Recopilación de métricas.
➢ Métricas de plataforma: descargas,
cargas, ubicación, citas
Cada una de las tres plataformas de repositorio
principales proporciona conteos de descargas
como una característica básica. EPrints informa
los recuentos de descargas en una variedad de
formas gráficas (gráficos y gráficos circulares),
DSpace puede mostrar métricas en niveles que
van desde el elemento hasta la colección (si está
habilitado por el administrador del repositorio),
y Digital Commons comunica los recuentos de
descargas a los autores por correo electrónico. y
administradores de repositorios, así como un
"Panel de Autor" que muestra los recuentos de
descargas en forma de gráfico, así como las
ubicaciones cosechadas por Google Analytics y
los términos de búsqueda utilizados (Konkiel,
2013).
Como plataformas de código abierto, los
repositorios y contratistas que trabajan en
DSpace o EPrints pueden desarrollar
infraestructuras de informes más robustas para
complementar o reemplazar las funciones de
informes integradas en la plataforma.
En DSpace las estadísticas de descarga pueden
mostrarse en el sitio, comunidad, colección o
nivel de elemento, si el administrador del
repositorio habilita esta característica. Digital
Commons proporciona un mapa de lectores que
adorna las páginas de inicio, comunidad y
colección de sus repositorios. Este mapa
enumera el número total de descargas y
elementos en el repositorio y coloca un
marcador en un mapa mundial que identifica
dónde se produjo cada descarga desde que se
cargó la página.
➢ Métricas de terceros: análisis web,
medidas de citas, altmetrics
Muchos administradores de repositorios
complementan los informes generados por sus
plataformas de repositorio con métricas
obtenidas de fuentes de terceros, incluidos
Google Analytics, Scopus y altmetrics.
Los administradores de repositorios utilizan el
análisis web (con el sistema más popular como
Google Analytics) para rastrear las visitas al
repositorio, la demografía del usuario, el
comportamiento del usuario y el uso de las
redes sociales, y para mejorar la optimización
del motor de búsqueda. El seguimiento del
comportamiento del usuario y la medición del
descubrimiento de contenido a través de
motores de búsqueda, redes sociales y sitios
web de referencia es útil para los
administradores de repositorios que buscan
mejorar sus sistemas y medir la visibilidad del
repositorio.
DSpace y EPrints ofrecen métricas de citas si la
institución anfitriona tiene una suscripción a
SciVerse Scopus API (Konkiel, 2013). Cada
plataforma ofrece medios para recopilar o
mostrar altmetrics (métricas alternativas,
basadas en las redes sociales) también. Al
integrar medidas de citas y altmetrics en sus
repositorios, los administradores de repositorios
permiten a los autores y lectores ver el impacto
de las investigaciones en un solo lugar. Esta
conveniencia puede alentar a los autores a
depositar su trabajo en repositorios
institucionales. “Los editores como PLoS y el
repositorio especializado en temas Arxiv
muestran métricas a nivel de artículo junto con
el registro que describe el artículo. Los
repositorios institucionales pueden hacer lo
mismo, pero los autores pueden estar ansiosos
por ver los números de visitantes agregados y
mostrados en total cada vez, desde todas las
Ciencia y Educación (ISSN 2707-3378)
Vol. 2 No. 6
Junio del 2021
Página 12
ubicaciones y versiones del artículo” (Kelly,
2012).
Ranking Web of World Repositories
(http://repositories.webometrics.info/en) es una
iniciativa iniciada por Cybermetrics Lab, un
grupo de investigación del Consejo Superior de
Investigaciones Científicas (CSIC) dirigido por
Isidro F. Aguillo. También es un nombre
inapropiado ya que el grupo de investigación
afirma que el sitio no es realmente un ranking
(Repositorios., 2014), sino que tiene como
objetivo crear estándares cuantitativos para
medir la visibilidad y el impacto de los
repositorios científicos y promover el acceso
abierto.
Para enumerar los repositorios, el grupo
compila un índice de cuatro criterios
ponderados extraídos de los motores de
búsqueda (Aguillo, 2010): tamaño (número de
páginas indexadas por Google), visibilidad (el
número total de enlaces externos que apuntan
volver al repositorio, según lo determinado por
MajesticSEO y Ahrefs), archivos enriquecidos
(la cantidad de elementos de texto completo
disponibles) y una calificación de Google
Scholar (cantidad de páginas en Scholar), que se
utilizan para determinar la clasificación total
compuesta de repositorio.
Aunque las clasificaciones generadas son un
indicador de la visibilidad de los repositorios,
las clasificaciones de archivos enriquecidos se
basan en la cantidad de URL a las que Google
accede y que terminan en ".pdf". Esto lleva a un
recuento insuficiente de elementos de texto
completo disponibles en Digital Commons y
Repositorios basados en DSpace, ya que estas
plataformas incluyen extensiones de nombre de
archivo en las URL de los archivos de texto
completo. Además, los motores de búsqueda
como Bing proporcionan resultados diferentes a
los de Google para esta medición.
➢ Métricas internas: hojas de cálculo e
informes
Muchos administradores de repositorios crean
hojas de cálculo y estadísticas mensuales
generadas internamente que detallan
información que no puede rastrearse de manera
fácil o eficiente mediante el software de
repositorio. Estas estadísticas pueden enumerar
el trabajo de no carga que se ha realizado (por
ejemplo, el número de elementos digitalizados)
o vinculado a la estructura institucional (por
ejemplo, el número de profesores de un
departamento determinado que han enviado
publicaciones al repositorio). El estilo y la
variedad de los informes internos siguen siendo
fluidos y varían de una institución a otra y de un
administrador de repositorio a un administrador
de repositorio, aunque las métricas comunes
generadas internamente incluyen las tasas de
participación del repositorio institucional del
campus y la evaluación comparativa de las
métricas de años anteriores, instituciones pares
o crecimiento promedio del repositorio.
➢ Redes de repositorios
Los sistemas de repositorio que agregan
contenido de una variedad de repositorios son
útiles para comparar repositorios. En el Reino
Unido, IRUS -UK (Institutional Repository
Usage Statistics UK) proporciona estadísticas
de uso que cumplen con COUNTER de todos
los repositorios participantes, brindando
oportunidades para que las instituciones
miembros comparen sus repositorios con otros.
La Red Digital Commons agrega contenido de
todos los repositorios basados en Digital
Commons en una plataforma de búsqueda. La
red está organizada por disciplina y proporciona
varias herramientas para comparar repositorios.
Ciencia y Educación (ISSN 2707-3378)
Vol. 2 No. 6
Junio del 2021
Página 13
Cada disciplina proporciona listas de
"Instituciones más populares" y "Autores más
populares", que se actualizan mensualmente.
También hay un gráfico circular que indica qué
porcentaje de artículos disponibles en cada
disciplina están siendo aportados por qué
universidades. Actualmente no hay informes
automáticos de esta métrica, ni un medio para
solicitar la métrica para los plazos deseados, por
lo que los gerentes de repositorio están
obligados a recopilar manualmente estos avisos
por mes. Sin embargo, esta puede ser una
métrica poderosa para demostrar el impacto del
profesorado-autor e institución.
➢ Informes y utilización de indicadores de
evaluación e indicadores de rendimiento del
repositorio
La recopilación e interpretación de métricas es
necesaria para que los administradores de
repositorios evalúen los servicios que brindan a
sus universidades. Para un repositorio joven, es
esencial generar métricas rápidas (Gibbons,
2004) la carga por lotes de tesis y disertaciones
electrónicas como una primera colección en un
repositorio da como resultado importantes
informes de conteo de descargas, que luego se
pueden utilizar para comercializar el repositorio
de la facultad al demostrar resultados reales
incluso antes de que la mayoría de la facultad
participe (Bruns, 2014).
Sin embargo, algunos han argumentado que los
gerentes de repositorio subsisten con una
dependencia excesiva en el "conteo de frijoles"
y la falta de estandarización (Cassella, 2010);
(McDonald, 2008); argumentando a favor del
establecimiento de indicadores de desempeño
que brindan evaluaciones comparativas, así
como también demuestran el valor contextual y
el éxito, mientras que otros (Royster, 2014) han
abogado por que el éxito del repositorio
institucional sea en gran medida un producto de
una fuerte inversión como una beca de la
facultad y un servicio de apoyo editorial.
Un argumento clave a favor de la adaptación de
los indicadores de rendimiento más allá de las
métricas es que el valor de un repositorio
institucional no es solo producir números de
carga y descarga, sino también efectuar cambios
en el entorno de comunicación académica
(Mercer, Rosenblum y Emmett, 2007). Varios
académicos han abogado por una evaluación
"más allá del conteo de frijoles" en el
establecimiento de indicadores de desempeño
(Mercer, 2007). Como todavía no existe un
estándar establecido de indicadores de
desempeño, los indicadores recomendados
varían.
El valor de los indicadores de desempeño está
en proporcionar contexto a las estadísticas
métricas. Identificar la audiencia adecuada y
conectar esa audiencia a una métrica, mientras
se proporciona el análisis de lo que significa la
métrica y por qué es importante, es esencial para
utilizar métricas para que los repositorios
funcionen. Los repositorios institucionales aún
tienen que madurar como una tecnología
integrada que es esencial para la empresa de
investigación de la institución. Tener sentido de
las métricas y demostrar el éxito del repositorio
mediante el uso de indicadores de desempeño
ayuda a mover el repositorio al centro de la vida
de investigación de la institución.
➢ Unidad de apoyo al campus y
evaluación universitaria
Los repositorios institucionales son útiles para
las universidades y las unidades del campus que
buscan resumir y resaltar la actividad de
investigación. En la Universidad de Guayaquil,
el presidente del departamento asociado de
investigación y el decano del departamento
asociado de enseñanza de la Facultad de
Ciencia y Educación (ISSN 2707-3378)
Vol. 2 No. 6
Junio del 2021
Página 14
Ciencias Médicas estaban interesados en
ilustrar la actividad de investigación
departamental de la facultad. Para hacer esto,
solicitaron totales de descarga para cada
miembro de la facultad en el departamento, así
como recuentos promedio de descargas para
todos los departamentos de la Facultad de
Ciencias Médicas. El administrador del
repositorio proporcionó estas métricas a los
presidentes asociados, quienes luego
manipularon los datos para ordenarlos por
descargas totales y descargas promedio,
proporcionando contexto a los informes de
descarga a los que cada miembro de la facultad
podía acceder individualmente.
Un uso no anticipado de estos datos se produjo
a través de una solicitud del comité de
autoestudio de la Universidad de Guayaquil.
Gracias al estudio del repositorio, existían datos
sobre las publicaciones de la facultad de
medicina durante los últimos cinco años y la
hoja de cálculo compilada previamente se
incluyó en la documentación de autoestudio de
la institución. Estos datos no habrían estado
fácilmente disponibles si el repositorio no
hubiera existido. Este hecho no se perdió para
los administradores universitarios, lo que
demuestra el valor del repositorio para la
institución.
➢ Informes anuales
Los informes anuales son un método común
utilizado por los gerentes de repositorio para
informar su crecimiento, resaltar logros y
promover sus repositorios a una audiencia
general que abarca a todos los interesados del
repositorio. Una muestra de los informes
anuales del repositorio está disponible a través
de Digital Commons Collaboratory, que
presenta 11 informes anuales. Aunque se
limitan a los repositorios de Digital Commons,
estos informes representan una variedad de
tipos de instituciones, incluidas dos facultades
de derecho, una institución canadiense y la
Clasificación Básica Carnegie, una universidad
de Bachillerato, Artes y Ciencias, cuatro
universidades de programas de Maestría, una
Universidad de Investigación, Alto nivel de
investigación, y tres universidades de
investigación, muy alto nivel de universidades
de investigación.
Muchos de estos informes anuales cumplen
estos dos propósitos informando métricas y
vinculándolas a un propósito o audiencias
particulares. Las métricas informadas con
frecuencia incluyen descargas y cargas por tipo
de contenido, listas de elementos descargados
con mayor frecuencia, ubicación del visitante
(incluidos los principales países) y el número
promedio de descargas-elementos. Un informe
utilizó descargas para demostrar la diversidad
de autoría en su repositorio. Dos de los informes
establecen declaraciones de visión-misión del
repositorio, mientras que tres vinculan
específicamente las métricas del repositorio con
los objetivos estratégicos de su institución o la
declaración de misión. El uso común de los
mapas de Google Analytics y las listas de países
se utilizaron para demostrar la visibilidad e
impacto del repositorio. En varios casos, las
métricas relacionadas con la publicación se
destacaron y se presentaron claramente en
términos de marketing para potenciales nuevos
clientes.
➢ Métricas "vacías"
Un ejemplo de métricas fuera de la caja, que ha
sido utilizado es el uso de métricas "vacías" o la
ausencia de participación o contenido. En el
caso de la Universidad Estatal de Iowa, los
repositorios de disciplina de la Red Digital
Commons se usaron para demostrar a la
Facultad de Ingeniería Agrícola y de
Biosistemas que estaban ausentes porque no
Ciencia y Educación (ISSN 2707-3378)
Vol. 2 No. 6
Junio del 2021
Página 15
habían estado participando en el repositorio.
Cada depósito de disciplina en la Red Digital
Commons incluye un gráfico circular que
desglosa la proporción de trabajos de texto
completo de acceso abierto aportados por los
repositorios de Digital Commons. Usando este
gráfico circular, el administrador del repositorio
pudo aprovechar una rivalidad regional y
atlética, mostrando que más de la mitad de las
publicaciones de ingeniería agrícola en la red
provenían de la Universidad de Nebraska –
Lincoln (Inefuku, 2014). Este uso inverso de la
métrica resultó en una afluencia de
participación de la facultad en el repositorio; en
cuestión de meses, el estado de Iowa fue el
mayor contribuyente de publicaciones de
ingeniería agrícola disponibles en la red (Bruns,
2014).
Un caso similar de métricas "vacías" fue la
creación de colecciones vacías en el repositorio
institucional de la Universidad de Guayaquil,
con el fin de evaluar el valor potencial. Un
estudio de Google Analytics demostró que una
página de marcador de posición para el
periódico de la universidad, sin contenido,
estaba recibiendo muchos visitantes. Esto
demostró el valor de ese contenido, y la
digitalización del periódico para su inclusión en
el repositorio se convirtió en una prioridad.
Conclusiones
La creciente participación de las bibliotecas
académicas en el proceso de comunicación
académica ofrece oportunidades para que las
bibliotecas se inserten como socios invaluables
en el proceso de investigación. Los repositorios
institucionales brindan dos servicios
fundamentales a la institución: una realización
digital de la beca, el trabajo de los estudiantes,
las actividades, la historia y el valor de la
institución, y el crecimiento de nuevos entornos
y servicios de publicación de acceso abierto
para los académicos. Al identificar métricas
útiles e informarlas al público apropiado, los
gerentes de repositorios participan en una
actividad que es esencial para que los
repositorios funcionen. La recopilación y la
presentación de informes de métricas son
herramientas valiosas que los administradores
de repositorios pueden explotar para mantener y
alentar la participación del profesorado en los
repositorios.
A medida que aumenta la participación en
repositorios institucionales en todo el campus,
aumentará la necesidad de entregar métricas
significativas a las partes interesadas. Royster
(2014) argumenta que un enfoque orientado al
servicio funciona para avivar altos niveles de
depósito voluntario, y también trabaja para
resaltar las contribuciones únicas a la beca de la
institución y sus académicos, cumpliendo así
uno de los criterios importantes de los
repositorios institucionales: conectar
repositorio al corazón de la comunidad de
investigación de la institución y para que
coincida con los objetivos estratégicos de la
institución.
Para poder comparar las métricas del
repositorio entre las instituciones, la
recopilación y el informe de las métricas deben
estandarizarse. Si bien esto se habilita a través
de redes de repositorios nacionales en los países
que los tienen, actualmente no existe una
solución en Ecuador que abarque todas las
plataformas de repositorios. A medida que los
repositorios institucionales maduran, la
recopilación y el informe de métricas
significativas y contextualizadas permitirán a
las bibliotecas demostrar de manera efectiva
que los repositorios son un servicio clave que
respalda la misión y los objetivos de sus
colegios y universidades anfitrionas.
Ciencia y Educación (ISSN 2707-3378)
Vol. 2 No. 6
Junio del 2021
Página 16
Referencias Bibliográficas
Aguillo, I. O. (2010). Indicadores para una
clasificación webométrica de repositorios de
acceso abierto. Scientometrics, 82 (3), 477–
486.
Antelman, K. (2004). ¿Los artículos de acceso
abierto tienen un mayor impacto en la
investigación? Bibliotecas universitarias y
de investigación, 65 (5), 372–382.
Bruns, T. A.-D. (2014). t takes a library:
Growing a robust institutional repository in
two years. College & Undergraduate
Libraries, 21(3-4), 244-262.
Cassella, M. (2010). Repositorios
institucionales: una perspectiva interna y
externa sobre el valor de los IR para las
comunidades de investigadores. Liber
Quarterly, 20 (2), 210–223.
Dubinsky, E. (2014). A Current Snapshot of
Institutional Repositories: Growth Rate,
Disciplinary Content and Faculty
Contributions. Journal of Librarianship &
Scholarly Communication, 2(3).
Eysenbach, G. (2006). Ventaja de citas de
artículos de acceso abierto. PLoS Biology, 4
(5): e157.
Gargouri, Y. H. (2010). Autoseleccionado o
obligatorio, el acceso abierto aumenta el
impacto de la cita para una investigación de
mayor calidad. PLoS ONE 5 (10).
Gibbons, S. (2004). ¿Beneficios de un
repositorio institucional? Library
Technology Reports, 40 (4),11-16.
Hitchcock, S. B. (2007). Digital preservation
service provider models for institutional
repositories: Towards distributed services.
D-lib Magazine, 13(5/6).
Inefuku, H. (2013). Digital Repository @ Iowa
State University — Informe anual FY2013.
Inefuku, H. (2014). Baiting the hook:
Generando interés y entusiasmo en la
facultad repositorios institucionales.
Documento presentado en la conferencia
anual de Digital Commons-Great Lakes User
Group, Valparaíso, IN.
Kelly, B. S. (2012). Métricas abiertas para
repositorios abiertos. Documento presentado
en OR2012: La 7ma Conferencia
Internacional sobre Repositorios Abiertos,
Edimburgo Escocia.
Konkiel, S. y. (2013). Nuevas oportunidades
para repositorios en la era de altmetrics.
Boletín de la Asociación de Ciencia y
Tecnología de la Información, 39 (4), 22–26.
Laakso, M. W. (2011). El desarrollo de la
publicación de revistas de acceso abierto de
1993 a 2009. PLoS ONE, 6 (6),
McDonald, R. y. (2008). El caso de los
requisitos estandarizados de informes y
evaluación para repositorios institucionales.
Journal of Electronic Resources
Librarianship, 20, 101-109.
Mercer, H. R. (2007). Un enfoque multifacético
para promover un repositorio universitario:
la experiencia de la Universidad de Kansas.
OCLC Systems & Services: International
Digital Library Perspectives, 23 (2), 190–
203.
Ochoa, M. T. (2014). SPEC kit 341: colecciones
digitales evaluación y divulgación.
Washington, DC: Asociación de Bibliotecas
de Investigación.
Poll, R. &. (2007). Measuring quality:
International guidelines for performance
measurement in libraries.
(IFLApublications, 127).
Repositorios., R. W. (2014). Recuperado de
http://repositories.webometrics.info/en
Ranking Web of Repositories. (2014)
Royster, P. (2014). Un enfoque alternativo
estadounidense a los repositorios. Trabajo
presentado en Open Repositories 2014,
Helsinki, Finlandia.
Thomas, G. (2007). Evaluar el impacto del
repositorio institucional, o posicionar la
innovación entre una roca y un lugar difícil.
Nueva revisión de las redes de información,
13 (2), 133–146.
Xia, J. G. (2012). Una revisión de las políticas
de mandato de autoarchivo de acceso
abierto. Bibliotecas y la Academia, 12 (1),
85-102. http://dx.doi.org/10.1353/pla.2012.
Esta obra está bajo una licencia de
Creative Commons Reconocimiento-No Comercial
4.0 Internacional. Copyright (c) Alberto Carlos
Carbonell Marce.
