IEEEXtreme — 24-ех часовое соревнование по программированию, в котором участникам предлагается решать разнообразные задачки. Недавно был проведен эксперимент, в котором нейросеть
ChatGPT принимала участие в соревновании, причем тестировали три языка:
Java,
C++ и
Python. Результат печальный: в среднем человек оказывается в
3-5 раз более успешным, а на advanced уровне эффективность ChatGPT падает
в 23 раза. При этом разница между 4 и 3.5 версией нейросети практически отсутствует.
Восстание машин отменяется?
