Статья боковой панель

Опубликована
30 Сентябрь 2023
Файлы
PDF
Статистика
Прочитано : 2102 Число скачиваний : 490

Основная статья Содержание

Аннотация

«Революция ChatGPT», которая произошла в 2023, резко сократила прогнозные оценки экспертов сроков, отделяющих нас от создания искусственного интеллекта, ни в чем интеллектуально не уступающего никому из людей (AGI). При этом, как это ни парадоксально, но существующие методы тестирования пока не способны хоть с какой-то достоверностью диагностировать достижение ИИ-системами уровня AGI. В настоящей работе обсуждается вопрос преодоления проблемы несовершенства современных способов тестирования ИИ-систем. В частности, излагается гипотеза о принципиальной невозможности решения проблемы обнаружения AGI, как с помощью психометрических тестов, так и методов оценки способности машин имитировать ответы людей, из-за так называемой «ловушки Гудхарта» для AGI. Рассмотрен ряд предложений по обходу «ловушки Гудхарта» для AGI способами, предлагаемыми в новейших исследовательских работах, с учетом первых результатов произошедшей «революции ChatGPT». В последней части статьи сформулирована связка из трех эвристических гипотез, позволяющих, в случае их верности, кардинально решить проблему «ловушки Гудхарта» для AGI и тем самым стать геймченджером на пути создания AGI.

Ключевые слова

интеллект искусственный интеллект AGI тестирование ИИ закон Гудхарта тест Тьюринга проблема метрик психометрия

Детали статьи

Об авторе

Сергей Владимирович Карелов

К.т.н., независимый исследователь и популяризатор науки, ведущий авторского канала «Малоизвестное интересное»

Как цитировать
[1]
Карелов, С.В. 2023. «Ловушка Гудхарта» для AGI: проблема сравнительного анализа искусственного интеллекта и интеллекта человека. Учёные записки Института психологии РАН. 3, 3(9) (сен. 2023), 5–23.
Скачать ссылку
Endnote/Zotero/Mendeley (RIS)
BibTeX

Литература

  1. Blackiston D., Kriegman S., Bongard J., Levin M. Biological Robots: Perspectives on an Emerging Interdisciplinary Field // Soft Robotics. 2023. Pp. 674-686. https://www.liebertpub.com/doi/full/10.1089/soro.2022.0142
  2. Gordijn D., Have H. ChatGPT: evolution or revolution? // Medicine, Health Care and Philosophy. 2023. V. 26. Pp. 1-2.https://link.springer.com/article/10.1007/s11019-023-10136-0
  3. Gottfredson L. Mainstream science on intelligence: An Editorial With 52 Signatories, History, and Bibliography // Intelligence. V.24. Issue 1. 1997, Pp. 13-23. http://www1.udel.edu/educ/ gottfredson/reprints/1997mainstream.pdf
  4. Hayes P., Ford K. Turing Test Considered Harmful // IJCAI'95: Proceedings of the 14th international joint conference on Artificial intelligence. 1995. V.1. Pp.972-977.
  5. https://dl.acm.org/doi/10.5555/1625855.1625981
  6. Hutson M. Rules to keep AI in check: nations carve different paths for tech regulation // Nature. 2023. V.620. Pp. 260-263. https://www.nature.com/articles/d41586-023-02491-y
  7. Jefferson G. The Mind of Mechanical Man // British Medical Journal. 1949. V.1. Pp.4616. https://doi.org/10.1136/bmj.1.4616.1105
  8. Sejnowski T.J. Large Language Models and the Reverse Turing Test // Neural Computation. 2023. V.35. Issue 3. Pp. 309-342. https://doi.org/10.1162/neco_a_01563
  9. Sterzer P. Die Illusion der Vernunft: Warum wir von unseren Überzeugungen nicht zu überzeugt sein sollten / Neuestes aus Hirnforschung und Psychologie. Ullstein, Berlin. 2022. https://www.amazon.de/Die-Illusion-Vernunft-%C3%9Cberzeugungen-Hirnforschung/dp/355020132X
  10. Turing A.M. Computing Machinery and Intelligence // Mind. 1950. V. LIX. Issue 236. Pp.433-460. https://doi.org/10.1093/mind/LIX.236.433
  11. Интернет ресурсы:
  12. Карелов С. Аффорданс – ключевое свойство интеллектуального агента // Малоизвестное интересное. 2021. https://dzen.ru/a/ YYzplIlQGSDExDYc
  13. Карелов С. Невычислимая тень будущего // Малоизвестное интересное. 2021. https://dzen.ru/a/YZTzizvaBzV1UFII
  14. Карелов С. Открыта теория относительности интеллекта: биологического и машинного // Малоизвестное интересное. 2021. https://dzen.ru/a/YYkdZ6xat1ZwQZjG
  15. Карелов С. Серендипность – чудо увидеть цель в море случайностей // Малоизвестное интересное. 2021. https://dzen.ru/a/YadVB3jkREoIOaZL
  16. Карелов С. Фиаско 2023. Характер сосуществования двух типов разума, зависит от их взаимопонимания // Малоизвестное интересное. 2023. https://dzen.ru/media/the_world_is_not_easy/fiasko-2023-6486f59dbfaf86243ed3c4b4
  17. Эпштейн М. Искусственный и человеческий интеллекты: новый эксперимент по их сопоставлению // Сноб. 2023. https://snob.ru/profile/27356/blog/3059715/
  18. AI pioneer Yoshua Bengio: Governments must move fast to «protect the public» // Financial Times. 2023. https://www.ft.com/content/ b4baa678-b389-4acf-9438-24ccbcd4f201
  19. AI tests into top 1% for original creative thinking // Science Daily. 2023. https://www.sciencedaily.com/releases/2023/07/230705154051.htm
  20. AI21 Labs concludes largest Turing Test experiment to date // Проект AI21 Labs. 2023. https://www.ai21.com/blog/human-or-not-results?utm_source=superhuman.beehiiv. com&utm_medium=newsletter&utm_campaign=ai21-labs-concludes-largest-turing-test-experiment-to-date
  21. Artificial Intelligence Law, Model Law v. 1.0. // Digi China Project. 2023. https://digichina.stanford.edu/work/translation-artificial-intelligence-law-model-law-v-1-0-expert-suggestion-draft-aug-2023/
  22. Barrett C., Boyd B., Burzstein E., Carlini N. et al. Identifying and Mitigating the Security Risks of Generative AI. 2023. https://arxiv.org/pdf/2308.14840.pdf
  23. Benizri I., Evers A., Mercer S.T., Jessani A. A Comparative Perspective on AI Regulation // Lawfare. 2023. https://www.lawfaremedia.org/article/a-comparative-perspective-on-ai-regulation
  24. Bongard J., Levin M. There’s Plenty of Room Right Here: Biological Systems as Evolved, Overloaded, Multi-Scale Machines // Biomimetics. 2023. V.8. Pp.110. https://doi.org/10.3390/biomimetics8010110
  25. Bremmer I., Suleyman M. The AI Power Paradox // Foreign Affairs. 2023. https://www.foreignaffairs.com/world/artificial-intelligence-power-paradox
  26. Bubeck S., Chandrasekaran V., Eldan R, Gehrke J., Horvitz E., Kamar E. et al. Sparks of Artificial General Intelligence: Early experiments with GPT-4 // Cornell University. 2023. https://arxiv.org/abs/2303.12712
  27. Butlin P., Long R., Elmoznino E. Consciousness in Artifcial Intelligence: Insights from the Science of Consciousness. 2023. https://arxiv.org/abs/2308.08708
  28. Chollet F. On the measure of intelligence. 2019. https://arxiv.org/abs/1911.01547
  29. Fitzgerald McK., Boddy A., Baum S.D. A Survey of Artificial General Intelligence Projects for Ethics, Risk, and Policy // Global Catastrophic Risk Institute Working Paper. 2020. https://gcrinstitute.org/papers/055_agi-2020.pdf
  30. Goncalves B. Can machines think? The controversy that led to the Turing test // AI & SOCIETY. 2022. DOI: 10.1007/s00146-021-01318-6
  31. Goncalves B. Irony with a Point: Alan Turing and His Intelligent Machine Utopia // Philosophy&Technology. 2023. https://doi.org/10.1007/s13347-023-00650-7
  32. Goodhart's law // Wikipedia. https://en.wikipedia.org/wiki/Goodhart%27s_law
  33. Guterres A. Artificial Intelligence: Opportunities and Risks for International Peace and Security // UN Security Council. 2023. 9381st Meeting. https://media.un.org/en/asset/k1j/ k1ji81po8p?fbclid=IwAR1Zq6X7baQzlnpVBhgzPfWwOLtRfUHv61uz35wnBZJE93lsGQdl257RbDk
  34. HAI-AI Index Workshop on Measurement in AI Policy: Opportunities and Challenges // Stanford University. Human-Centered Artificial Intelligence. 2019. https://hai.stanford.edu/hai-ai-index-workshop-measurement-ai-policy-opportunities-and-challenges-0
  35. Heaven W.D. Geoffrey Hinton tells us why he’s now scared of the tech he helped build // MIT Technology Review. 2023. https://www.technologyreview.com/2023/05/02/1072528/geoffrey-hinton-google-why-scared-ai/
  36. Hochberg M.E. A Theory of Intelligences: Concepts, Models, Implications. 2023. https://arxiv.org/abs/2308.12411
  37. ICLR 2022. From Cells to Societies - Collective Learning across Scales workshop. https://sites.google.com/view/collective-learning
  38. Is ChatGPT the Start of the AI Revolution? // Bloomberg. 2022. https://www.bloomberg.com /opinion/articles/2022-12-09/is-chatgpt-the-start-of-the-ai-revolution
  39. Jiang G., Xu M.. Evaluating and Inducing Personality in Pre-trained Language Models. 2023. https://arxiv.org/pdf/2206.07550.pdf
  40. John Y., Braganza O. Dead rats, dopamine, performance metrics, and peacock tails: proxy failure is an inherent risk in goal-oriented systems // Behavioral and Brain Sciences, 2023. https://doi.org/10.1017/S0140525X23002753
  41. Legg S. Machine super intelligence // Doctoral Dissertation submitted to the Faculty of Informatics of the University of Lugano in partial fulfillment of the requirements for the degree of Doctor of Philosophy. 2008. https://www.vetta.org/documents/Machine_Super_Intelligence.pdf
  42. Legg S., Hutter M. Universal intelligence: A definition of machine intelligence // Minds and machines (2007). https://arxiv.org/abs/0712.3329
  43. McCoy J.P., Ullman T.D. A Minimal Turing Test // The Journal of Experimental Social Psychology. 2018. V.79. Pp.1-8. https://doi.org/10.1016/j.jesp.2018.05.007
  44. Mishra S., Clark J., Perrault C.R. Measurement in AI Policy: Opportunities and Challenges. 2020. https://arxiv.org/abs/2009.09071
  45. Pause Giant AI Experiments: An Open Letter // Future of Life Institute. 2023. https://futureoflife.org/open-letter/pause-giant-ai-experiments/
  46. Pellert M., Lechner C., Wagner C., Rammstedt B., Strohmaier M. AI Psychometrics: Assessing the psychological profles of large language models through psychometric inventories. 2023. https://psyarxiv.com/jv5dt/
  47. Planning for AGI and beyond // OpenAI. 2023. https://openai.com/blog/planning-for-agi-and-beyond
  48. Shontell A. ChatGPT shows that the A.I. revolution has arrived // Fortune. 2023.
  49. https://fortune.com/2023/01/25/chatgpt-ai-revolution-february-march-2023-issue/
  50. Statement on AI Risk // Center for AI Safety. 2023. https://www.safe.ai/statement-on-ai-risk
  51. Thomas R.L., Uminsky D. Reliance on Metrics is a Fundamental Challenge for AI. 2019. https://doi.org/10.48550/arXiv.2002.08512
  52. Turing test // Wikipedia. https://en.wikipedia.org/wiki/Turing_test#CITEREFTuring1950
  53. West D.M. Senate hearing highlights AI harms and need for tougher regulation // The Brookings Institution. 2023. https://www.brookings.edu/articles/senate-hearing-highlights-ai-harms-and-need-for-tougher-regulation/
  54. Xu G., Liu J., Yan M., Xu H. et al. Values: Measuring the Values of Chinese Large Language Models from Safety to Responsibility. 2023. https://doi.org/10.48550/arXiv. 2307.09705
  55. Видео ресурсы:
  56. Cody T., Hahm C., Goertzel B. Test and evaluation first principles for general learning systems. 2023. AGI-23 Workshop. https://www.youtube.com/watch?v=Hfai7Plzg4M

Наиболее читаемые статьи этого автора (авторов)