"Он работает только с той информацией, которую ему дали и всё"
Да но в качестве информации ему дали именно интернет. Т.е. он умеет "гуглить" тот интернет, который сохранил у себя в памяти при обучении. Иногда он приводит совершенно правильные ссылки на страницы. Пускай это не "оперативная информация" а данные за 2021.
На самом деле вопрос не в этом. Даже если ему дать доступ в интернет, скорее всего он ответил бы так же. Просто у него нет задачи мне помочь и что-то для меня найти - а только сымитировать ответ очень похожий на человеческую речь. Я просто не понимаю как при таком подходе можно доверять ему писать код - он же будет просто имитировать что-то похожее на код...

А вы пробовали следовать своим советам? А то chatgpt обучили на данных из интернета и он по сути именно гуглит ответы, просто свежей информации не имеет.