Без четкого ТЗ результат известен или наш опыт общения с ChatGPT

Итак, мы попросили ChatGPT подобрать 10-15 старейших активных доменов в зоне .SU, на которых есть работающие сайты с кратким описанием сферы их деятельности. И вот каким был ответ:

Хм, видимо задание было недостаточно четким - мы попросили переделать, указав, что нужны домены в зоне .SU, а не .RU или .BY. Ответ был таким:

ChatGPT упорно не хотел выполнять условие про зону .SU - в списке снова было много доменов в других зонах. Мы еще раз попросили список только по зоне .SU.

Мы не теряли надежды и попросили ChatGPT сосредоточиться, указав, что в списке не должно быть доменов ни в каких зонах, кроме .SU.

Наконец-то, мы получили то, что было необходимо. Ну, по крайней мере на первый взгляд. Однако, позже мы решили исключить из подборки региональные домены второго уровня, чтобы добавить больше «коммерческих» доменных имен, и попросили ChatGPT подобрать еще десяток доменов старых активных доменов .SU с работающими сайтами.

На удивление все домены казались подходящими под нужные критерии… пока мы не проверили их с помощью сервиса Whois. Оказалось, что часть доменов свободна, а другая зарегистрирована в прошлом (2022) году. Мы указали на все ошибки, на что ChatGPT ответил:

К сожалению, данные снова оказались недостоверными - домены были либо свободны, либо перерегистрированы год-два назад. Мы повторили запрос к ChatGPT.

И… снова-здорово, в списке не оказалось ни одного домена в нужной нам зоне .SU. Честно сказать, в этот момент у нас чуть не опустились руки, но помогло упрямство. Мы попросили ChatGPT подобрать 20 активных существующих доменов в зоне .SU, зарегистрированных до 2000 года включительно, на которых есть работающие сайты, и представить список в формате «домен - год регистрации - тематика сайта».

Наверное, все дело в том, что ChatGPT просто не любит зону .SU (или нас). Мы добавили уточнения и попросили список доменов второго уровня, только в зоне .SU, активных и существующих, зарегистрированных до 2000 года включительно, на которых есть работающие сайты.

Не опять а снова - половину списка составили домены в зоне .RU.

Все бы хорошо, но год регистрации многих доменов снова не совпадал с заявленным ChatGPT. На это он дал довольно странный ответ, ссылаясь на политику конфиденциальности данных:

Мы успокоили ChatGPT, сказав, что данные владельцев доменов не требуются и речь идет только лишь о годе регистрации домена, который указывается для всех без исключения доменных имен, независимо от того, как давно они зарегистрированы.

Увы, увы, увы… Мы постарались объяснить ошибку «на пальцах»: указывается год первичной регистрации доменов, однако, часть из них была освобождена и зарегистрирована повторно. Соответственно, в сервисе Whois указывается дата последней регистрации, т.е. активной. Нам же нужны домены с непрерывным возрастом, которые были зарегистрированы до 2000 года в зоне .SU и с тех пор не освобождались, а регулярно продлевались и работают по сей день, на которых есть работающие сайты.

На этом этапе нам показалось, что ChatGPT с нами шутит, потому что в списке снова было очень много .RU-доменов и имен третьего уровня. На этой попытке, 14-й по счету, ChatGPT даже завис и смог выдать ответ лишь со второго раза.

Несмотря на обнадеживающую последнюю фразу, суть ответа оставляла желать лучшего. Мы решили попробовать написать все нужные критерии списком - может быть так для ChatGPT будет понятнее? Нужен список из 20 доменов по критериям:

1. Зарегистрированных только в зоне .SU;
2. Только второго уровня;
3. Зарегистрированных до 2000 года включительно;
4. Только с непрерывным возрастом, которые не освобождались с момента первичной регистрации и не регистрировались повторно;
5. Привязанные к активным на сегодняшний день сайтам.

Это была маленькая победа - все подобранные домены были зарегистрированы в зоне .SU! Почему маленькая? Потому что остальные ошибки остались - часть доменов была перерегистрирована, а к другой части не привязаны сайты. И это еще не говоря о том, что мы решили отказаться от региональных доменных имен… После 15 неудачных попыток мы все же сдались и решили провести анализ вручную, вооружившись списком зарегистрированных доменов в зоне .SU и сервисом Whois.

Почему же ChatGPT не смог качественно помочь нам? Возможно, все дело в том, что его база знаний ограничивается 2021 годом, и он «плавает» при запросе более свежих данных. А может быть, проблема заключалась в общении на русском языке, с которым ChatGPT еще недостаточно «дружит» или же в неудачно выбранных нами формулировках. Мы не стали проводить аналогичный эксперимент со сменой языка общения на английский, и решили считать этот опыт доказательством превосходства человека над ИИ, а значит, положительным!