Попри заяви провідних компаній зі сфери штучного інтелекту про те, що створення сучасних мовних моделей неможливе без навчання на авторському контенті, група дослідників довела протилежне. Як пише The Washington Post, їм вдалося створити повноцінну LLM, використовуючи виключно відкриті дані та твори з суспільного надбання.
У проєкті взяли участь науковці з 14 установ, зокрема MIT, Університету Карнегі-Меллона, Торонтського університету, а також некомерційні організації — Vector Institute та Інститут ШІ Аллена. Для навчання моделі вони зібрали 8 терабайтів етично отриманих даних, серед яких — 130 тисяч книг із Бібліотеки Конгресу США.
Модель, яку вони створили, має 7 мільярдів параметрів і за рівнем продуктивності наближається до Llama 2-7B, випущеної Meta у 2023 році. Водночас команда не порівнювала її напряму з флагманськими комерційними системами.
Один із найбільших викликів полягав у підготовці даних. Багато матеріалів були несумісні з автоматичними інструментами, тому їх довелося перевіряти вручну. «Ми використовували автоматизовані засоби, але в підсумку все перевіряли люди», — пояснила дослідниця Стелла Бідерман. Також ускладнення викликала перевірка правового статусу кожного джерела.
Хоча ця модель поступається за потужністю найновішим розробкам від технологічних гігантів, вона стає важливим контраргументом у дискусії про законність використання авторських матеріалів у навчанні ШІ. Дослідження доводить: створення етичного ШІ — складне, але цілком можливе.
Підписуйтесь на наш Telegram-канал t.me/sudua та на Google Новини SUD.UA, а також на наш VIBER, сторінку у Facebook та в Instagram, щоб бути в курсі найважливіших подій.
