ISSN: 1309 - 3843 E-ISSN: 1307 - 7384
FİZİKSEL TIP VE REHABİLİTASYON
BİLİMLERİ DERGİSİ
www.jpmrs.com
Kayıtlı İndexler



Yapay Zekâ Destekli Osteoartrit Bilgilendirme Metinlerinin Değerlendirilmesi: İçerik Kalitesi ve Okunabilirlik Analizi
Evaluation of Artificial Intelligence Supported Osteoarthritis Information Texts: Content Quality and Readability Analysis
Received Date : 19 Apr 2024
Accepted Date : 13 Nov 2024
Available Online : 27 Nov 2024
aUniversity of Health Sciences Kocaeli Derince Training and Research Hospital, Department of Physical Medicine and Rehabilitation, Kocaeli, Türkiye
Doi: 10.31609/jpmrs.2024-103532 - Makale Dili: EN
J PMR Sci
ÖZET
Amaç: Bu çalışmanın amacı,osteoartrit ile ilgili yapay zeka destekli oluşturulan metinlerin içeriğinin kalitesini,okunabilirliğini ve anlaşılabilirliğini kapsamlı bir şekilde değerlendirmektir. Gereç ve Yöntemler: Google Trends üzerinden osteoartrit ile ilgili en sık aranan anahtar kelimeler belirlendi. Belirlenen anahtar kelimelerle birlikte,osteoartrit hakkında hasta tarafından sıkça sorulan sorular seçildi. Belirlenen anahtar kelimeler ve sorular sırayla ChatGPT'ye girildi. Belirlenen anahtar kelimeler ve sorular ChatGPT'ye aktarıldı. Bilginin netliği ve yazım kalitesini değerlendirmek için Hastalar için Kaliteli Bilgi Sağlama aracı (EQIP) kullanıldı. Metinlerin okunabilirliğini değerlendirmek için Flesch–Kincaid okunabilirlik testleri (Okuma Kolaylığı ve Sınıf Düzeyi) ve Gunning Fog İndeksi (GFI) kullanıldı. Metinlerin güvenilirliği ve yararlılığını, güvenilirlik ve yararlılık ölçeği kullanılarak değerlendirildi. Bulgular: Metinlerin ortalama EQIP skoru 62,01±6,61'di. Flesch–Kincaid Okuma Kolaylığı (FKRE) ortalama skoru ise 31,85±12,44'tü. Flesch–Kincaid Sınıf Düzeyi (FKGL) için ortalama skor 13,26±2,12'ydi. GFI skoru ortalaması ise 14,52±2,41’di. Metinlerin ortalama Güvenilirlik puanı 5.10±1.02’di. Metinlerin ortalama Yararlılık puanı 4,89±0,76’ dı. Çalışmamız, ChatGPT'nin osteoartrit konusundaki yanıtlarının genel olarak “küçük sorunlarla birlikte iyi kaliteli” olduğu sonucuna varmaktadır. Ayrıca, üretilen metinlerin yaklaşık 13 yıl eğitim gerektirecek karmaşıklıkta olduğu belirlendi. Anahtar kelimeler kullanılarak oluşturulan metinlerden elde edilen EQIP skoru ile sorular kullanılarak oluşturulan metinlerden elde edilen EQIP skoru karşılaştırıldığında,istatistiksel olarak anlamlı bir farklılık gözlemlenmiştir (p<0.001). Ancak, iki grup arasında FKRE, FKGL, GFI, Güvenilirlik ölçeği ve Yararlılık ölçeği skorları açısından incelendiğinde, istatistiksel olarak anlamlı bir farklılık bulunmamıştır. (sırasıyla, p=0.063, p=0.059, p=0.194, p=0,466, p=0,499). Sonuç: Bu çalışma, ChatGPT'nin osteoartrit hakkındaki metinlerinin kalite ve okunabilirlik konusunda belirli eksikliklerin bulunduğunu ortaya koymaktadır. Sonuç olarak, çevrimiçi kaynakların ve yapay zeka araçlarının sağlık alanında bilgi sunumunda önemli bir rol oynadığını, ancak kalite ve okunabilirlik kontrolünün sağlanması gerektiğini vurgulamaktadır. Bu, hastaların doğru, güvenilir ve anlaşılır bilgilere erişimini sağlamanın yanı sıra,sağlık okuryazarlığını artırarak daha bilinçli ve etkin sağlık kararları alabilmelerine yardımcı olabilir.
ABSTRACT
Objective: This study aims to comprehensively evaluate the quality,readability,and understandability of artificial intelligence-supported texts related to osteoarthritis(OA). Material and Methods: The most frequently searched keywords related to osteoarthritis were determined through Google Trends. Additionally, frequently asked questions by patients about osteoarthritis were identified. These keywords and questions were entered into ChatGPT. The Ensuring Quality Information for Patients tool(EQIP) was used to assess the clarity of information and quality of writing.Flesch- Kincaid-readability-tests (Reading-Ease and Grade-Level) and Gunning- Fog-Index (GFI) were used to assess the readability of the texts.The reliability and usefulness of the texts were assessed were used the reliability and usefulness scale. Results: The average scores were: EQIP 62.01±6.61, FKRE 31.85±12.44, FKGL 13.26±2.12,GFI 14.52±2.41, reliability 5.10±1.02,and usefulness 4.89±0.76. Our study concludes that Chat- GPT's responses on osteoarthritis are generally of “good-quality with minor-issues”. Additionally, it was determined that the texts produced were of complexity that they would require approximately 13 years of education. When the EQIP score obtained from texts created using keywords was compared with the EQIP score obtained from texts created using questions,a statistically significant difference was observed (p<0.001). However, when examined in terms of FKRE, FKGL, GFI, Reliability-Scale and Usefulness- Scale scores between the two groups,no statistically significant difference was found. (respectively, p=0.063, p=0.059, p=0.194, p=0,466, p=0,499). Conclusion: This-study reveals that ChatGPT's texts on OA have certain deficiencies in quality and readability.In conclusion,it emphasizes that online resources and AI tools play an important role in information provision in the field of healthcare,but quality and readability control should be ensured. In addition to ensuring patients have access to accurate,reliable and understandable information,this can help them make more informed and effective health decisions by increasing their health literacy.