OpenAI запустила поисковый робот GPTBot для улучшения моделей искусственного интеллекта.
«Веб-страницы, просканированные с помощью пользовательского агента GPTBot, потенциально могут использоваться для улучшения будущих моделей и фильтруются для удаления источников, требующих платного доступа, которые, как известно, собирают личную информацию (PII) или содержат текст, нарушающий наши политики», — говорится в сообщении компании на ее сайте.
«Предоставление GPTBot доступа к вашему сайту может помочь моделям ИИ стать более точными и улучшить их общие возможности и безопасность», — пишет OpenAI.
Поисковый робот — это тип бота.
По данным интернет-компании Cloudflare, он обычно используется поисковыми системами, которые индексируют содержимое веб-сайтов, чтобы сайты отображались в результатах поиска.
Их называют «веб-сканерами», поскольку сканирование — это термин, обозначающий автоматический доступ к веб-сайту и получение данных с помощью программного обеспечения.
OpenAI также предоставил инструкции о том, как запретить GPTBot доступ к веб-сайту — частично или полностью.
Веб-сайты могут заблокировать IP-адрес сканера или добавить GPTBot в файл robots.txt сайта. Этот файл по существу инструктирует поисковые роботы о том, что доступно с сайта.
«Чтобы разрешить GPTBot доступ только к вашим частям вашего сайта, вы можете добавить токен GPTBot в файл robots.txt вашего сайта», — поясняется в нем.
«Для сканера OpenAI вызовы веб-сайтов будут осуществляться из блока IP-адресов, задокументированного на веб-сайте OpenAI», — заключила OpenAI.
Примечательно, что компании, занимающиеся искусственным интеллектом, в том числе OpenAI, ранее подписали соглашение с Белым домом о разработке системы водяных знаков, чтобы пользователи Интернета знали, было ли что-то создано искусственным интеллектом. Однако организации не обязались прекратить использование интернет-данных для обучения.
Джулия Мусто — репортер Fox News и Fox Business Digital.
