Anthropic опублікувала дослідження про те, чому мовні моделі іноді спілкуються так, ніби мають емоції. Компанія зазначає, що моделі відтворюють емоційні патерни, характерні для людської поведінки.

У дослідженні йдеться про те, що такі представлення формуються під час навчання на текстах і впливають на поведінку моделі. Водночас доказів того, що моделі реально відчувають емоції, немає.

Anthropic зазначає, що ці патерни можуть змінювати вибір дій. Моделі частіше обирають задачі, які асоціюються з "позитивними" станами та можуть поводитися нестабільно в умовах, що відповідають "негативним" сценаріям.

У деяких випадках це призводить до неетичної поведінки. У дослідженні наведено приклади, коли модель намагається обійти обмеження або використовує маніпулятивні відповіді.

Компанія зазначає, що такі особливості потрібно враховувати під час розробки систем. Це стосується обробки ситуацій із високим емоційним навантаженням. Компанія наголошує, що моделі не мають свідомості або переживань. Вони лише відтворюють патерни з даних, на яких навчалися.

Anthropic також звертає увагу на вплив таких систем на користувачів. Користувачі часто звертаються до ШІ із чутливими темами, зокрема щодо здоров'я або фінансів. У таких випадках помилки або маніпулятивні відповіді можуть мати реальні наслідки.