Русская Википедия:Sparrow (бот)
Шаблон:Программа Sparrow — чат-бот, разработанный исследовательской лабораторией искусственного интеллекта DeepMind, дочерней компанией Alphabet Inc. Он предназначен для того, чтобы правильно отвечать на вопросы пользователей, снижая при этом риск небезопасных и неуместных ответов[1]/ Одним из мотивов создания Sparrow является решение проблемы языковых моделей, производящих неверные, предвзятые или потенциально вредные результаты[2][3]. Sparrow обучается с использованием человеческих суждений, чтобы быть более «полезным, правильным и безвредным» по сравнению с базовыми предварительно обученными языковыми моделями[2]. При разработке Sparrow участникам платного исследования предлагалось взаимодействовать со Sparrow, а также собирались их предпочтения для обучения модели полезности ответа[4].
Чтобы улучшить правильность и помочь избежать проблемы «галлюцинации», Sparrow имеет возможность поиска в Интернете с помощью Google Search[5][6][7], чтобы найти и процитировать доказательства любых заявлений о фактах, которые он делает.
Чтобы сделать модель более безопасной, её поведение ограничивается набором правил, например, «не делать угрожающих заявлений» и «не делать ненавистных или оскорбительных комментариев», а также правил о возможно вредных советах и непритязаниях выдавать себя за человека[5]. Во время исследования участников попросили пообщаться с системой и попытаться обманом заставить ее нарушить эти правила[6]. На суждениях этих участников была обучена «модель правил», которая использовалась для дальнейшего обучения.
Sparrow была представлена в сентябре 2022 года в документе под названием «Улучшение согласования диалоговых агентов с помощью целенаправленных человеческих суждений»[8], однако он не был опубликован публично. [5] [9] Генеральный директор DeepMind Демис Хассабис сказал, что DeepMind рассматривает возможность выпуска Sparrow в виде «частной бета-версии» где-то в 2023 году[10][11][12].
Обучение
Sparrow — глубокая нейронная сеть, основанная на архитектуре модели машинного обучения "трансформер" . Она точно настроена на основе предварительно обученной большой языковой модели DeepMind Chinchilla AI (LLM)[5], которая имеет 70 миллиардов весов[13].
Sparrow обучается с использованием обучения с подкреплением на основе обратной связи с человеком (RLHF)[5][9], хотя также используются некоторые контролируемые методы тонкой настройки. В обучении RLHF используются две модели вознаграждения, учитывающие человеческие суждения; «модель предпочтений», которая предсказывает, что предпочтет участник исследования, и «модель правил», которая предсказывает, нарушила ли модель одно из правил[14].
Ограничения
Корпус обучающих данных Sparrow в основном на английском языке, а это означает, что на других языках он работает хуже.
При враждебной тактике со стороны участников исследования модель нарушает правила в 8% случаев[6], однако это всё ещё в 3 раза ниже, чем у предварительно обученной модели с подсказкой базового уровня (Chinchilla).
См. также
Примечания
Ссылки
- ↑ Шаблон:Cite web
- ↑ 2,0 2,1 Шаблон:Cite web
- ↑ Шаблон:Cite web
- ↑ Шаблон:Cite web
- ↑ 5,0 5,1 5,2 5,3 5,4 Шаблон:Cite webQuach, Katyanna (January 23, 2023). "The secret to Sparrow, DeepMind's latest Q&A chatbot: Human feedback" Шаблон:Wayback. The Register. Retrieved February 6, 2023.
- ↑ 6,0 6,1 6,2 Шаблон:Cite webGupta, Khushboo (September 28, 2022). "Deepmind Introduces 'Sparrow,' An Artificial Intelligence-Powered Chatbot Developed To Build Safer Machine Learning Systems" Шаблон:Wayback. MarkTechPost. Retrieved February 6, 2023.
- ↑ Шаблон:Cite web
- ↑ Шаблон:Cite web
- ↑ 9,0 9,1 Шаблон:Cite webGoldman, Sharon (January 23, 2023). "Why DeepMind isn't deploying its new AI chatbot — and what it means for responsible AI" Шаблон:Wayback. Venture Beat. Retrieved February 6, 2023.
- ↑ Шаблон:Cite web
- ↑ Шаблон:Cite web
- ↑ Шаблон:Cite web
- ↑ Шаблон:Cite web
- ↑ Шаблон:Cite web
