Một ấn phẩm nghiên cứu khoa học uy tín thường không có:
|
Các chỉ số đánh giá chất lượng tạp chí nghiên cứu khoa học quốc tế luôn là thước đo quan trọng đối với giới nghiên cứu khoa học. Hiện nay có rất nhiều chỉ số “đo” chất lượng khoa học của một tạp chí như hệ số ảnh hưởng JIF (Journal Impact Factor), CiteScore, Eigenfactor, Google Scholar Metrics, SCImago Journal & Country Rank (SJR), hay Source Normalized Impact per Paper (SNIP). Dù các chỉ số này đều cung cấp những đánh giá khách quan cho người dùng nhưng bất kỳ chỉ số nào cũng không thể phản ánh hết chất lượng, uy tín và tầm ảnh hưởng của tạp chí đó. Tính đến nay, các cộng đồng khoa học vẫn chưa thống nhất chuẩn mực nhất định nào để “đo” chất lượng tạp chí của tất cả các lĩnh vực nghiên cứu. Dựa trên lịch sử phát triển cũng như nhu cầu sử dụng rộng rãi của các chỉ số đánh giá tạp chí, bài viết này sẽ tập trung phân tích vào hệ số ảnh hưởng JIF của Web of Science (WoS). Bài viết hứa hẹn mang lại những thông tin bổ ích cho các nhà khoa học đánh giá mức độ uy tín và chất lượng của một tạp chí để lựa chọn tạp chí phù hợp xuất bản kết quả nghiên cứu. Các chỉ số của tạp chí (Journal metrics) được sử dụng để đo lường, so sánh và xếp hạng các nghiên cứu và ấn phẩm học thuật. Giới chuyên môn đề cập đến chỉ số này thông qua các bảng xếp hạng tạp chí, chỉ số trích dẫn của tạp chí, hoặc hệ số ảnh hưởng của tạp chí [1]. Hiện nay hầu hết các nhà nghiên cứu và các tổ chức đánh giá tạp chí dựa trên các chỉ số trích dẫn tạp chí phổ biến bao gồm hệ số ảnh hưởng JIF (Journal Impact Factor) của WoS và chỉ số trích dẫn tạp chí Citescore của Scopus (dựa trên dữ liệu của Elsevier). Chỉ số trích dẫn được sử dụng nhằm đánh giá ảnh hưởng về mặt học thuật của một tạp chí thông qua việc “đo” số lượng các bài viết trong tạp chí đó được trích dẫn trong danh mục tài liệu tham khảo của các ấn phẩm khác. Dù được sử dụng rộng rãi nhưng chỉ số trích dẫn vẫn còn nhiều hạn chế [2].
Hệ số ảnh hưởng của một tạp chí bao gồm hệ số ảnh hưởng 2 năm và hệ số ảnh hưởng 5 năm. Tuy nhiên, nhắc đến hệ số ảnh hưởng, giới chuyên môn thường mặc định đó là hệ số ảnh hưởng 2 năm. Kể từ những năm 1950, Eugene Garfield và Irving H. Sher đã sử dụng hệ số ảnh hưởng tạp chí (The Journal Impact Factor – JIF) làm công cụ hỗ trợ việc lựa chọn và xếp hạng các tạp chí vào danh mục SCI [3]. Sau này, hệ số JIF được tính cho các tạp chí thuộc danh mục SSCI và SCIE và được công bố trong báo cáo trích dẫn tạp chí (The Journal Citation Reports – JCR) xuất bản hằng năm [3]. Trong đó, JCR 2021 đã công bố thông tin hệ số ảnh hưởng và các hệ số liên quan của 20.942 tạp chí dành cho 254 lĩnh vực nghiên cứu khác nhau với 9.509 tạp chí khoa học và 3.511 tạp chí khoa học xã hội [4]. Từ những giai đoạn đầu thành lập, JIF đã trở thành một trong những công cụ có tầm ảnh hưởng và được công nhận rộng rãi nhất trong “thị trường” các công cụ, thước đo xếp hạng và đánh giá tạp chí [5]. Trong năm 2020, nhóm nghiên cứu của Eugene Mech đã công bố kết quả nghiên cứu về tầm quan trọng của JIF. Trong số 653 tạp chí được khảo sát, 100% sử dụng JIF để xếp hạng tạp chí và 56,2% sử dụng JIF để xác định hiệu suất nghiên cứu khoa học. Ngoài ra nhóm nghiên cứu này đã tổng hợp và thu thập, phân tích điểm mạnh cũng như hạn chế của 45 phương pháp đánh giá tạp chí so với JIF. Từ đó họ đã tìm ra 18 phương pháp có khả năng cải thiện rõ rệt những hạn chế của JIF. Tuy nhiên, không thể phủ nhận sự thật rằng, ngày nay, nhiều đơn vị, tổ chức giáo dục, nghiên cứu vẫn sử dụng JIF làm công cụ xây dựng và quản lý các danh mục tạp chí của họ. Các nhà xuất bản sử dụng JIF để đánh giá hiệu suất của tạp chí đó và các tạp chí khác cùng ngành. Các nhà nghiên cứu sử dụng JIF để lựa chọn tạp chí phù hợp cho việc xuất bản các công trình nghiên cứu của cá nhân. Hệ số JIF được tính bằng số lần trích dẫn của một tạp chí vào năm báo cáo trích dẫn JCR đối với các ấn phẩm đã xuất bản vào hai năm trước, trên tổng số các ấn phẩm “được phép trích dẫn” xuất bản trên tạp chí đó vào hai năm trước [6]. Năm báo cáo trích dẫn JCR là năm cuối cùng trong chuỗi dữ liệu của JCR và hằng năm WoS đều xuất bản JCR của các tạp chí thuộc WoS Core Collections. Ví dụ, năm JCR cần tính của tạp chí A là 2020 thì các dữ liệu cần thiết để tính hệ số ảnh hưởng JIF là tổng số các ấn phẩm “được phép trích dẫn” xuất bản trên tạp chí A từ năm 2018 đến hết 2019 và số lần các ấn phẩm này được trích dẫn tại tất cả các ấn phẩm sách, báo, tạp chí, hội nghị vào năm 2020. Để có được số liệu đầy đủ của năm 2020 thì báo cáo JCR 2020 sẽ được công bố năm 2021. Chuỗi dữ liệu này được biểu thị tại hình 1 và được tính theo công thức được áp dụng tại hình 2. Tương tự như vậy, phần mẫu số là tổng số ấn phẩm “được phép trích dẫn” của tạp chí A xuất bản năm 2018 và 2019. Theo đó, các ấn phẩm “được phép trích dẫn” là những ấn phẩm thuộc dạng một bài nghiên cứu hoặc một bài viết đánh giá, và nằm trong danh mục WoS. Các thể loại khác như tài liệu biên tập, xã luận, thư hoặc biên bản đều không được tính là một ấn phẩm “được phép trích dẫn”. Ngoài ra, để xem xét tính khách quan cũng như công bằng giữa các ấn phẩm khoa học thuộc của tạp chí, Clarivate đã đưa ra sáu tiêu chí để đánh giá một ấn phẩm “được phép trích dẫn” bao gồm:
Công thức này được thể hiện rất rõ với những thông tin chi tiết trong báo cáo JCR của Clarivate như ví dụ về JIF của tạp chí “Nucleic Acid Therapeutics” năm 2017 tại hình 3. Các tạp chí có hệ số ảnh hưởng càng cao, tạp chí càng uy tín, lượng người tín nhiệm tạp chí càng nhiều và giới chuyên môn đánh giá càng tích cực [2]. Việc xuất bản một công trình nghiên cứu trên một tạp chí có hệ số ảnh hưởng cao trở thành một trong những yêu cầu ưu tiên, thậm chí bắt buộc tại một số tổ chức, và là địa chỉ tin cậy đối với các tiến sĩ, giáo sư. Dù được xem là một công cụ đáng tin cậy, hệ số ảnh hưởng JIF vẫn tồn tại nhiều lỗ hổng như tình trạng tự trích dẫn, những giới hạn về ấn phẩm “được phép trích dẫn” hay xu hướng chấp nhận đăng nhiều những bài viết đánh giá hơn [7]. Tự trích dẫn là khi tác giả tự trích dẫn sản phẩm nghiên cứu của mình để tăng số lượng trích dẫn một cách giả tạo; hoặc tình trạng “Citation Cartel” diễn ra khi một nhóm các tác giả hoặc tạp chí trích dẫn các sản phẩm nghiên cứu của nhau để tăng hệ số ảnh hưởng [8]. Để khắc phục hạn chế này, những năm gần đây, Clarivates đã bổ sung một cột về hệ số ảnh hưởng khi không tính “tự trích dẫn” như ví dụ tại hình 4 [9].
Trong công thức tính JIF, phần tử số tính đến toàn bộ những trích dẫn của tất cả những bài viết bao gồm cả những ấn phẩm như những bài viết truyền thông, thư của ban biên tập hay biên bản mà lẽ ra những nội dung này không nên được tính vào công thức của JIF. Vì những nội dung này không phải là những ấn phẩm nghiên cứu mang lại giá trị khoa khọc mà một tạp chí khoa học quốc tế hướng đến. Trong khi đó phần mẫu số chỉ tính đến những ấn phẩm “được phép trích dẫn”, điều này thực sự mâu thuẫn [10, 11]. Ví dụ những tạp chí có hệ số trích dẫn cao như “Nature”, “Science”, “The New England Journal of Medicine” hay “The Lancet” đều xuất bản một lượng rất lớn những ấn phẩm dạng tin tức, những bài xã luận và các thư mời, những nội dung này đều không tính vào phần mẫu số trong công thức tính JIF nhưng lại thu hút một lượng trích dẫn khổng lồ và thậm chí là một trong những yếu tố quan trọng giúp nâng cao hệ số trích dẫn JIF.
Sự mâu thuẫn trong công thức tính JIF dẫn đến thực trạng một số tạp chí lựa chọn chấp nhận đăng nhiều các bài viết đánh giá hơn để được trích dẫn nhiều hơn so với những bài nghiên cứu chuyên sâu thuần túy thuộc một lĩnh vực nhất định. Nhiều minh chứng đã chỉ ra việc xuất bản một vài bài viết đánh giá trong một, hai số tạp chí cũng có thể “đẩy” giá trị hệ số ảnh hưởng mà vẫn duy trì được giá trị thổi phồng ấy cho tới tận 2 năm kế tiếp [12, 13]. Một minh chứng điển hình của tình trạng này đó là “cú lội ngược dòng” ngoạn mục của tạp chí “Acta Crystallographica A” khi đạt hệ số ảnh hưởng JIF là 49,93 vào năm 2009 trong khi đó con số này chỉ đạt 2,38 vào năm 2005. Cụ thể là tạp chí này đạt 5.966 trích dẫn vào năm 2009 với 72 bài viết xuất bản năm 2008, trong đó không có bài viết nào được trích dẫn quá 3 lần trong số 71 bài. Chỉ duy nhất một bài viết “đặc biệt” của tác giả G. M. Sheldrick với tiêu đề ‘A short history of SHELX’ (Acta Crystallogr. A 64, 112–122; 2008) đã “cán mốc” 5.624 trích dẫn [14]. Chỉ với một bài viết đã đưa tạp chí lên “một tầm cao” mới như vậy thì hệ số ảnh hưởng JIF liệu có thật sự phán ảnh chất lượng đi lên gắn liền với nó nữa hay không?
Hệ số ảnh hưởng JIF của một tạp chí chỉ ra giá trị trung bình về ảnh hưởng của các bài báo trong tạp chí đó, mà một giá trị trung bình không thể phản ánh chính xác chất lượng của tất cả các bài báo thuộc tạp chí đó. Sự thật là một số bài nhận được rất nhiều trích dẫn trong khi còn rất nhiều bài có ít hoặc thậm chí không được trích dẫn. Trong một nghiên cứu năm 2016 với đối tượng gồm 11 tạp chí có hệ số ảnh hưởng từ 3 tới hơn 30 đại diện cho 7 nhà xuất bản khác nhau, nhóm nghiên cứu của Larivière đã chỉ ra rằng 15-25% các bài viết của một tạp chí đóng góp 50% số trích dẫn, và khoảng 50% các bài viết chất lượng của một tạp chí đóng góp 90% số trích dẫn của toàn bộ tạp chí đó [15]. Điều đó càng chứng tỏ một điều rằng, một tạp chí có hệ số ảnh hưởng cao không có nghĩa là tất cả các bài báo được tạp chí đó công bố đều là những bài báo xuất sắc hơn những bài viết được đăng tại một tạp chí có hệ số ảnh hưởng thấp hơn.
Một hạn chế nữa của hệ số ảnh hưởng JIF đó là hệ số này không đại diện cho chất lượng của tạp chí nếu không xét đến từng ngành – lĩnh vực khác nhau của tạp chí đó. Theo một tổng hợp năm 2021 của scijournal.org, các tạp chí có hệ số ảnh hưởng trên 1 sẽ nằm trong top 70% tạp chí có hệ số ảnh hưởng của WoS và các tạp chí có hệ số ảnh hưởng trên 2 sẽ nằm trong top 40% tạp chí của WoS. Tuy nhiên, hệ số ảnh hưởng của từng ngành phân bổ không đồng đều, như số liệu mới nhất tại hình 5. Tuy nhiên, vẫn với hệ số ảnh hưởng đó, một tạp chí chỉ được xếp vào top 80% trong ngành hóa sinh (Biochemistry) hoặc khoa học máy tính (Computer Science), tức là thuộc nhóm các tạp chí có chất lượng gần thấp nhất ngành trong WoS. Đó là lý do tại sao khi nhắc đến hệ số ảnh hưởng của một tạp chí, các tác giả thường nhắc tới tập hợp Q1-Q2-Q3-Q4 như một công cụ nhận biết tạp chí thuộc phân khúc nào trong ngành. Ngoài những yếu tố chính thì một số vấn đề nhỏ hơn như ngôn ngữ, chu kỳ xuất bản, số lượng các chuyên gia – nhà nghiên cứu của một lĩnh vực hay những lỗi chính tả không đáng có trong danh sách tài liệu tham khảo cũng ít nhiều ảnh hưởng tới hệ số ảnh hưởng của một tạp chí [17]. Trường hợp của “Angewandte Chemie” là một ví dụ điển hình khi mà yếu tố ngôn ngữ cũng ảnh hưởng tới hệ số ảnh hưởng. Theo đó, tạp chí “Angewandte Chemie” có hai phiên bản là tiếng Đức và tiếng Anh với cùng một nội dung. Nhiều tác giả khi trích dẫn tài liệu tại “Angewandte Chemie” đã trích dẫn cả phân bản tiếng Anh và phiên bản tiếng Đức, dẫn đến hệ số ảnh hưởng của tạp chí này cũng tăng theo [18]. Ước tính tạp chí này tăng khoảng 15% hệ số JIF là do tình trạng trích dẫn trùng lặp giữa hai phiên bản của tạp chí [19]. Do đó, tình trạng tương tự cũng có thể lặp lại với nhiều tạp chí quốc tế khác của WoS. Là một công cụ xếp hạng tạp chí được sử dụng rộng rãi nhất thế giới nhưng với những nhược điểm và hạn chế trên đây, rất nhiều các tổ chức đánh giá và tài trợ nghiên cứu tại Anh Quốc đã nhiều lần khằng định không khuyến khích sử dụng hệ số ảnh hưởng JIF để xếp hạng nghiên cứu hay đánh giá chất lượng nghiên cứu của các cơ sở giáo dục – nghiên cứu [20, 21]. Ngoài hệ số ảnh hưởng JIF (2 năm), WoS còn cung cấp hệ số ảnh hưởng 5 năm với một công thức tính tương tự nhưng dành cho khung thời gian 5 năm. Theo đó hệ số ảnh hưởng 5 năm của một tạp chí bằng tổng số lần trích dẫn của tạp chí đó vào năm báo cáo trích dẫn đối với các ấn phẩm đã xuất bản 5 năm trước đó, trên tổng số các ấn phẩm “được phép trích dẫn” xuất bản trên tạp trí đó trong vòng 5 năm trước [22]. Hệ số này bắt đầu được công bố trong báo cáo trích dẫn JCR của WoS kể từ 2007 và được xem là hệ số bổ sung cho hệ số ảnh hưởng 2 năm nhằm khắc phục nhược điểm về khung thời gian đánh giá. Vì vậy, về cơ bản các hạn chế khác của hệ số JIF 2 năm cũng chính là hạn chế của hệ số ảnh hưởng 5 năm. Thứ hạng của một tạp chí nằm trong bản báo cáo JCR hằng năm của WoS. Thứ hạng này được xếp theo thứ tự từ cao xuống thấp trong một lĩnh vực nhất định dựa trên hệ số ảnh hưởng JIF của tạp chí đó [23]. Theo đó, tạp chí A có hệ số ảnh hưởng JIF cao nhất trong lĩnh vực B của năm C sẽ được xếp hạng 1/N, trong đó N là tổng số tạp chí thuộc lĩnh vực B của năm C. Ví dụ trong hình 6: Bảng 1. Định nghĩa Journal quartile [24]
Dựa vào bảng định nghĩa trên, xếp theo hệ số ảnh hưởng, nếu một tạp chí có xếp hạng thứ 59 trênư tổng số 216 tạp chí trong lĩnh vực toán học vào năm 2020 thì lúc này Z = (59/216) = 0,273. Điều này có nghĩa là tạp chí này thuộc Q2 của lĩnh vực toán học năm 2020. Cũng giống như hệ số ảnh hưởng JIF được tính toán và công bố trong JCR mỗi năm một lần thì tập hợp Q của một tạp chí đối với từng lĩnh vực cũng có thể thay đổi theo sự thay đổi lớn nhỏ của JIF trong năm đó so với các năm trước. Theo đó, một tạp chí nằm trong danh mục SCIE hoặc SSCI của WoS chỉ có một hệ số ảnh hưởng JIF trong một năm nhất định nhưng xét tại mỗi lĩnh vực của tạp chí, hệ số ảnh hưởng JIF sẽ mang lại thứ hạng khác nhau và từ đó một tạp chí có thể nằm trong tập hợp Q khác nhau ở mỗi lĩnh vực của mình. Tất cả những điều này cho thấy dù là những chỉ số được sử dụng lâu đời hay rộng rãi nhất cũng không tránh khỏi những hạn chế cần khắc phục và không thể là những con số đại diện hoàn toàn để đánh giá chất lượng tạp chí nghiên cứu khoa học quốc tế. Chính Clarivate cũng khẳng định chúng ta không nên chỉ dựa vào hệ số ảnh hưởng để đánh giá chất lượng của một tạp chí [25]. Có thể bạn quan tâm Scopus và WoS – Top 2 danh mục nghiên cứu khoa học quốc tế uy tín và Quyền tác giả trong bài báo khoa học quốc tế – Những điều nhà nghiên cứu nên biết _________________________ Tài liệu tham khảo: [1] https://academicguides.waldenu.edu/library/journalmetrics [2] https://authorservices.taylorandfrancis.com/publishing-your-research/choosing-a-journal/journal-metrics/ [3] https://clarivate.com/webofsciencegroup/wp-content/uploads/sites/2/2021/06/JCR_2021_Reference_Guide.pdf [4] https://clarivate.com/webofsciencegroup/web-of-science-journal-citation-reports-2021-infographic/ [5] Bornmann L, Marx W, Gasparyan AY, Kitas GD. Diversity, value and limitations of the Journal Impact Factor and alternative metrics. Rheumatol Int. 2012;32(7):1861–7. doi: 10.1007/s00296-011-2276-1. PubMed PMID: 22193219 [6] Garfield E. The history and meaning of the journal impact factor. Jama. 2006;295(1):90-3. [6a] https://clarivate.libguides.com/ld.php?content_id=48842741 [7] Sharma M, Sarin A, Gupta P, Sachdeva S, Desai AV. Journal impact factor: its use, significance and limitations. World J Nucl Med. 2014;13(2):1450-147 [8] Fister I, Perc M. Toward the Discovery of Citation Cartels in Citation Networks. Frontiers in Physics. 2016;4(49). [9] https://support.clarivate.com/ScientificandAcademicResearch/s/article/Journal-Citation-Reports-5-Year-Impact-Factors?language=en_US [10] Rossner M, Van Epps H, Hill E (2007) Show me the data. J Cell Biol 179:1091–1092. doi:10.1083/jcb.200711140 [11] Golubic, Rajna & Rudes, Mihael & Kovacic, Natasa & Marusic, Matko & Marusic, Ana. (2008). Calculating Impact Factor: How Bibliographical Classification of Journal Items Affects the Impact Factor of Large and Small Journals. Science and engineering ethics. 14. 41-9. 10.1007/s11948-007-9044-3. [12] Metze K. (2010). Bureaucrats, researchers, editors, and the impact factor: a vicious circle that is detrimental to science. Clinics (Sao Paulo, Brazil), 65(10), 937–940. https://doi.org/10.1590/s1807-59322010001000002 [13] Krell FT (2010) Should editors influence journal impact factors? Learn Publ 23:59–62. https://onlinelibrary.wiley.com/doi/abs/10.1087/20100110 [14] Dimitrov, J., Kaveri, S. & Bayry, J. Metrics: journal’s impact factor skewed by a single paper. Nature 466, 179 (2010). https://doi.org/10.1038/466179b [15] Larivière, V. et al., 2016. A simple proposal for the publication of journal citation distributions. [Online] Available at: https://www.biorxiv.org/content/10.1101/062109v1.article-metrics [Accessed 30 August 2021]. [16] https://www.scijournal.org/articles/good-impact-factor [17] Bornmann, L. and Daniel, H. (2008), “What do citation counts measure? A review of studies on citing behavior”, Journal of Documentation, Vol. 64 No. 1, pp. 45-80. https://www.emerald.com/insight/content/doi/10.1108/00220410810844150/full/html [18] Moed, H.F., Van Leeuwen, T.N. & Reedijk, J. A critical analysis of the journal impact factors ofAngewandte Chemie and the journal of the American Chemical Society inaccuracies in published impact factors based on overall citations only. Scientometrics 37, 105–116 (1996). https://doi.org/10.1007/BF02093487 [19] Marx W (2001) Angewandte chemie in light of the science citation index. Angew Chem Int Ed 40:139–141. https://onlinelibrary.wiley.com/doi/10.1002/1521-3773(20010105)40:1%3C139::AID-ANIE139%3E3.0.CO;2-4 [20] Tomlinson S (2000) The research assessment exercise and medical research. BMJ 320:636–639 [21] Brown H (2007) How impact factors changed medical publishing and science. BMJ 334:561–564. doi:10.1136/bmj.39142.454086.AD [22]https://support.clarivate.com/ScientificandAcademicResearch/s/article/Journal-Citation-Reports-5-Year-Impact-Factors?language=en_US [23]http://help.incites.clarivate.com/incitesLiveJCR/JCRGroup/jcrJournalProfile/jcrJournalProfileRank.html [24]https://support.clarivate.com/ScientificandAcademicResearch/s/article/Journal-Citation-Reports-Quartile-rankings-and-other-metrics?language=en_US [25]https://clarivate.com/webofsciencegroup/solutions/journal-citation-reports/ |
