Yapay Zekâ Destekli Osteoartrit Bilgilendirme Metinlerinin Değerlendirilmesi: İçerik Kalitesi ve Okunabilirlik Analizi
Evaluation of Artificial Intelligence Supported Osteoarthritis Information Texts: Content Quality and Readability Analysis
Received Date : 19 Apr 2024
Accepted Date : 13 Nov 2024
Available Online : 27 Nov 2024
İlhan Celil ÖZBEKa
aUniversity of Health Sciences Kocaeli Derince Training and Research Hospital, Department of Physical Medicine and Rehabilitation, Kocaeli, Türkiye
Doi: 10.31609/jpmrs.2024-103532 - Makale Dili: EN
J PMR Sci
ÖZET
Amaç: Bu çalışmanın amacı,osteoartrit ile ilgili yapay zeka destekli
oluşturulan metinlerin içeriğinin kalitesini,okunabilirliğini ve anlaşılabilirliğini
kapsamlı bir şekilde değerlendirmektir. Gereç ve Yöntemler: Google
Trends üzerinden osteoartrit ile ilgili en sık aranan anahtar kelimeler belirlendi.
Belirlenen anahtar kelimelerle birlikte,osteoartrit hakkında hasta tarafından
sıkça sorulan sorular seçildi. Belirlenen anahtar kelimeler ve sorular
sırayla ChatGPT'ye girildi. Belirlenen anahtar kelimeler ve sorular
ChatGPT'ye aktarıldı. Bilginin netliği ve yazım kalitesini değerlendirmek
için Hastalar için Kaliteli Bilgi Sağlama aracı (EQIP) kullanıldı. Metinlerin
okunabilirliğini değerlendirmek için Flesch–Kincaid okunabilirlik testleri
(Okuma Kolaylığı ve Sınıf Düzeyi) ve Gunning Fog İndeksi (GFI) kullanıldı.
Metinlerin güvenilirliği ve yararlılığını, güvenilirlik ve yararlılık ölçeği
kullanılarak değerlendirildi. Bulgular: Metinlerin ortalama EQIP skoru
62,01±6,61'di. Flesch–Kincaid Okuma Kolaylığı (FKRE) ortalama skoru
ise 31,85±12,44'tü. Flesch–Kincaid Sınıf Düzeyi (FKGL) için ortalama skor
13,26±2,12'ydi. GFI skoru ortalaması ise 14,52±2,41’di. Metinlerin ortalama
Güvenilirlik puanı 5.10±1.02’di. Metinlerin ortalama Yararlılık puanı
4,89±0,76’ dı. Çalışmamız, ChatGPT'nin osteoartrit konusundaki yanıtlarının
genel olarak “küçük sorunlarla birlikte iyi kaliteli” olduğu sonucuna varmaktadır.
Ayrıca, üretilen metinlerin yaklaşık 13 yıl eğitim gerektirecek
karmaşıklıkta olduğu belirlendi. Anahtar kelimeler kullanılarak oluşturulan
metinlerden elde edilen EQIP skoru ile sorular kullanılarak oluşturulan metinlerden
elde edilen EQIP skoru karşılaştırıldığında,istatistiksel olarak anlamlı
bir farklılık gözlemlenmiştir (p<0.001). Ancak, iki grup arasında FKRE,
FKGL, GFI, Güvenilirlik ölçeği ve Yararlılık ölçeği skorları açısından incelendiğinde,
istatistiksel olarak anlamlı bir farklılık bulunmamıştır. (sırasıyla,
p=0.063, p=0.059, p=0.194, p=0,466, p=0,499). Sonuç: Bu çalışma,
ChatGPT'nin osteoartrit hakkındaki metinlerinin kalite ve okunabilirlik konusunda
belirli eksikliklerin bulunduğunu ortaya koymaktadır. Sonuç olarak,
çevrimiçi kaynakların ve yapay zeka araçlarının sağlık alanında bilgi sunumunda
önemli bir rol oynadığını, ancak kalite ve okunabilirlik kontrolünün
sağlanması gerektiğini vurgulamaktadır. Bu, hastaların doğru, güvenilir ve
anlaşılır bilgilere erişimini sağlamanın yanı sıra,sağlık okuryazarlığını artırarak
daha bilinçli ve etkin sağlık kararları alabilmelerine yardımcı olabilir.
Anahtar Kelimeler: ChatGPT; kalite değerlendirmesi; okunabilirlik; osteoartrit
ABSTRACT
Objective: This study aims to comprehensively evaluate the
quality,readability,and understandability of artificial intelligence-supported
texts related to osteoarthritis(OA). Material and Methods: The most frequently
searched keywords related to osteoarthritis were determined through
Google Trends. Additionally, frequently asked questions by patients about
osteoarthritis were identified. These keywords and questions were entered
into ChatGPT. The Ensuring Quality Information for Patients tool(EQIP)
was used to assess the clarity of information and quality of writing.Flesch-
Kincaid-readability-tests (Reading-Ease and Grade-Level) and Gunning-
Fog-Index (GFI) were used to assess the readability of the texts.The
reliability and usefulness of the texts were assessed were used the reliability
and usefulness scale. Results: The average scores were: EQIP
62.01±6.61, FKRE 31.85±12.44, FKGL 13.26±2.12,GFI 14.52±2.41, reliability
5.10±1.02,and usefulness 4.89±0.76. Our study concludes that Chat-
GPT's responses on osteoarthritis are generally of “good-quality with
minor-issues”. Additionally, it was determined that the texts produced were
of complexity that they would require approximately 13 years of education.
When the EQIP score obtained from texts created using keywords was compared
with the EQIP score obtained from texts created using questions,a statistically
significant difference was observed (p<0.001). However, when
examined in terms of FKRE, FKGL, GFI, Reliability-Scale and Usefulness-
Scale scores between the two groups,no statistically significant difference
was found. (respectively, p=0.063, p=0.059, p=0.194, p=0,466, p=0,499).
Conclusion: This-study reveals that ChatGPT's texts on OA have certain
deficiencies in quality and readability.In conclusion,it emphasizes that online
resources and AI tools play an important role in information provision
in the field of healthcare,but quality and readability control should be ensured.
In addition to ensuring patients have access to accurate,reliable and
understandable information,this can help them make more informed and effective
health decisions by increasing their health literacy.
Keywords: ChatGPT; quality assessment; readability; osteoarthritis