ОЦІНКА ЕФЕКТИВНОСТІ МЕТОДІВ АДАПТАЦІЇ МОВНОЇ МОДЕЛІ GPT-4O В ОСВІТНЬОМУ СЕРЕДОВИЩІ

Автор(и)

  • В.О. Дідок Харківський національний університет міського господарства імені О.М. Бекетова
  • М.П. Пан Харківський національний університет міського господарства імені О.М. Бекетова

DOI:

https://doi.org/10.33042/2522-1809-2024-6-187-12-17

Ключові слова:

GPT-4О, Fine-Tuning, Prompt Engineering, Retrieval-Augmented Generation, агенти, адаптація, освіта

Анотація

Проблема адаптації великих мовних моделей, таких як GPT-4О, для освітнього середовища є актуальною. У дослідженні порівнюються п'ять методів адаптації GPT-4О: стандартна модель, Fine-Tuning, Prompt Engineering, Retrieval-Augmented Generation та агентні системи. Ефективність оцінюється за точністю, загальною точністю, F1-Score, кількістю токенів, час відповіді, частотою помилкових відповідей та фінальним балом.

Біографії авторів

В.О. Дідок, Харківський національний університет міського господарства імені О.М. Бекетова

здобувач вищої освіти 2-го курсу магістратури навчально-наукового інституту енергетичної, інформаційної та транспортної інфраструктури

М.П. Пан, Харківський національний університет міського господарства імені О.М. Бекетова

кандидат технічних наук, доцент кафедри комп’ютерних наук та інформаційних технологій

Посилання

Investigating the Performance of Retrieval-Augmented Generation and Fine-Tuning. – [arXiv preprint] 2024. Available at: https://arxiv.org/abs/2403.09727

Prompt Engineering vs Fine-Tuning vs RAG. – [MyScale] 2024. Available at: https://myscale.com/blog/prompt-engineering-vs-finetuning-vs-rag/

Prompt Engineering or Fine Tuning: An Empirical Assessment of LLMs. – [arXiv preprint] 2023. Available at: https://arxiv.org/abs/2310.10508

Retrieval-Augmented Generation for Large Language Models: A Survey. – [arXiv preprint] 2023. Available at: https://arxiv.org/abs/2312.10997

Fine-Tuning GPT-4 Models. – [OpenAI] 2024. Available at: https://openai.com/index/gpt-4o-fine-tuning/

An Introduction to Large Language Models, Prompt Engineering, and P-Tuning. – [NVIDIA Developer Blog] 2023. Available at: https://developer.nvidia.com/blog/an-introduction-to-large-language-models-prompt-engineering-and-p-tuning

##submission.downloads##

Опубліковано

2024-12-17

Як цитувати

Дідок, В., & Пан, М. (2024). ОЦІНКА ЕФЕКТИВНОСТІ МЕТОДІВ АДАПТАЦІЇ МОВНОЇ МОДЕЛІ GPT-4O В ОСВІТНЬОМУ СЕРЕДОВИЩІ. Комунальне господарство міст. Серія: «Економічні науки», 6(187), 12–17. https://doi.org/10.33042/2522-1809-2024-6-187-12-17

Номер

Том 6 № 187 (2024): Серія: Технічні науки та архітектура

Розділ

статьи

Ліцензія

Автори, які публікуються у цьому збірнику, погоджуються з наступними умовами:

  • Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії CC BY-NC-ND 4.0 (із Зазначенням Авторства – Некомерційна – Без Похідних 4.0 Міжнародна), котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
  • Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
  • Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).