Искусственный интеллект выпустился из университета / США :: ChatGPT :: BFM.ru :: длиннопост :: длиннотекст :: страны :: Образование :: OpenAI :: AI :: ИИ :: нейронные сети :: технологии :: наука и техника

наука и техника технологии ИИ AI ChatGPT OpenAI Образование США длиннотекст длиннопост ...нейронные сети BFM.ru 

Искусственный интеллект выпустился из университета

 

На юридическом факультете Университета Миннесоты в США провели эксперимент и дали задание чат-боту "ChatGPT" сдать выпускные экзамены по четырем дисциплинам. Проходной балл система набрала, но результаты были не блестящими.

 

наука и техника,технологии,нейронные сети,ИИ,AI,ChatGPT,OpenAI,Образование,страны,США,длиннотекст,длиннопост,BFM.ru

 

Научные сотрудники юридического факультета Университета Миннесоты в США решили проверить, сможет ли чат-бот "ChatGPT" сдать экзамены наравне со студентами. Это технология, основанная на нейросети "GPT-3,5". Она считается самой сложной и объемной языковой моделью в мире. Ее создала компания "OpenAI". Один из основателей организации – Илон Маск.

Искусственный интеллект набрал проходной балл, но показал далеко не блестящие результаты. Несмотря на это, в некоторых американских школах технологию уже начали запрещать из опасений, что учащиеся будут выполнять задания с ее помощью.

Ученые из университета Миннесоты выбрали четыре дисциплины, по которым нейросеть сдала экзамен. Конституционное право, гражданско-правовые правонарушения, налогообложение и трудовые гарантии и компенсации. Для первых двух предметов нужны знания с первого года обучения. Остальные – это более продвинутые курсы по выбору. Всего чат-бот ответил примерно на 100 вопросов с вариантами ответов и решил 12 задач на рассуждение. Искусственный интеллект получил оценки "хорошо", "хорошо с минусом" и "удовлетворительно с минусом". Это далеко не худшая оценка в образовательной системе США, после нее идут еще две отметки. И, хотя почти во всех испытаниях чат-бот занял предпоследнее или последнее место среди студентов, в теории он мог бы выпуститься из университета, потому что набрал проходной балл. Правда, как отметили авторы исследования, такому студенту, скорее всего, назначили бы академический испытательный срок, чтобы убедиться, что он старается.

Ученые из Университета Миннесоты отметили, что чат-бот "ChatGPT"оказался неспособным провести глубокие причинно-следственные связи. При этом по некоторым критериям написания эссе он справился местами даже лучше студентов. Например, емко пересказал подходящие юридические доктрины, которые не упоминались в вопросах, процитировал факты и решения по прецедентам. Причем речь была хорошо структурирована. Закрытые вопросы с вариантами ответов оказались для нейросети непростыми, но, несмотря на это, технология верно решила 21 из 25 таких заданий на экзамене по конституционному праву.

Некоторые американские школы на этом фоне уже начали бороться с тем, что учащиеся используют искусственный интеллект для написания работ. В частности, государственные школы Нью-Йорка недавно заблокировали доступ к "ChatGPT" на школьных компьютерах, нейросетью нельзя пользоваться и в случае, если ребенок подключен к школьной сети. Причина – сомнение по поводу безопасности и точности контента. Но смысла в запретах нет, такие технологии, напротив, нужно использовать с пользой для образования, уверен методист московской школы "Глория", учитель с 26-летним стажем Сергей Астахов:

 

«Запретами ничего не добьешься. Так же, как мы перестали запрещать сотовые телефоны, использование компьютеров, потому что это все учимся использовать во благо. Искусственный интеллект в Москве, допустим, уже используется: это цифровые домашние задания в московской электронной школе. Когда ученики дают ответы, искусственный интеллект проверяет и дает тебе тут же обратную связь. Беспокойство существует, что он пишет вступительные испытания, сочинения. Наверное, экзамен уже не должен быть чисто воспроизведением знаний, которые получил студент, а это должен быть какой-то экзамен креативный».

 

Впрочем, до совершенства тому же чат-боту "ChatGPT" еще далеко. Иногда его ответы абсолютно бессмысленны. Простой пример. Если задать вопрос, почему умер Александр Пушкин, вы получите такой ответ: от туберкулеза, которым заразился в детстве. Также есть версии, что он умер от сильного алкогольного опьянения или от сердечного недуга.

 

Источник:  "BFM.ru", Александр Астахов.


Подробнее

наука и техника,технологии,нейронные сети,ИИ,AI,ChatGPT,OpenAI,Образование,страны,США,длиннотекст,длиннопост,BFM.ru
Еще на тему
Развернуть

Отличный комментарий!

"А ты, что ли, видел, блядь, своими глазами, как Пушкин умер и от чего?
KycT KycT29.01.202321:03ссылка
+39.2
"А ты, что ли, видел, блядь, своими глазами, как Пушкин умер и от чего?
KycT KycT 29.01.202321:03 ответить ссылка 39.2
Да и вообще, может, нейросетка не понимает, какой конкретный Пушкин нужен. Александров Пушкиных в мире точно было и есть больше одного, вот и тянет смерти разных тёзок.
ну если бы мне на экзаменах дали пользоваться гуглом, я бы тоже сдал, пф.
и гугл-переводчиком в первую очередь
Lictor Lictor 29.01.202321:08 ответить ссылка 1.6
Так чатгпт гуглом не пользуется, у него чисто локальная база данных
… тренированная на языковом корпусе содержащем практически всю осмысленную часть интернета
Как и ты
В отличие от человека которому нужно зубрить у сетки память как раз идеальная. Не катит.
wafk wafk 29.01.202323:33 ответить ссылка 2.5
Неа, абсолютно не идеальная. Она там врёт по общеизвестным фактам только в путь
А люди не врут?
Teijo Teijo 30.01.202311:14 ответить ссылка 0.0
Врут, просто тут утверждал человек выше что память идеальная.
Ну так у компа она идеальна, что записано в базе то и помнит, а как и что записано это другой вопрос.
Teijo Teijo 30.01.202311:37 ответить ссылка -0.1
Здесь именно вопрос о памяти, что ИИ типо всё прочитал и идеально запомнил. Но ИИ тут архивирует аналогично мозгу человека, от чего память у него не лучше чем у человека с точки зрения точности записи
О-о-о-о, товарищь, почитайте о человеческой памяти, она совсем не идеальна и никапельки не аналогична.
Teijo Teijo 30.01.202312:03 ответить ссылка -0.1
Так и компьютерная не идеальна в примере с ИИ
Приведи пример.
Teijo Teijo 30.01.202312:07 ответить ссылка -0.1
Пообщался с чат ГПТ, он может легко лажать в самых общеизвестных фактах. Так же он легко может терять что ты говорил ему недавно
Представь себе бутылку которая и прочная и жидкость внутри греет или охлаждает в зависимомсти от твоей нужды вообщем она идеальна, ты был бы рад её получить. И вот тебе ей дарят, но она наполнена собачей дришнёй.
И вот вопрос бутылка хуёвая или её наполнение?
Teijo Teijo 30.01.202312:12 ответить ссылка -0.2
Не понимаю причём тут это. Нейросети умеют фильтровать факты и чем дальше тем лучше
Лично я ,в основном, обитаю в неосмысленной части интернета
Ты очень высокого обо мне мнения, я и тысячной доли процента этого не прочитал. Текстовый корпус для тренировки GPT содержал все оцифрованные книги и всю Википедию, например.
Кто же виноват, что при подготовке к экзамену, человек решил особое внимание уделить обучению на языковом корпусе с сайта reactor.cc?..
Как и ты
Нечего не отрицаю
Думаю, если бы ему разрешили пользоваться чисто локальной базой данных подобного размера на экзамене - у него тоже проблем со сдачей не возникло.
Размер там думаю тоже радикально меньше чем у тебя. Тот же СтейбДефьюжен всю арт коллекцию человечества всего в 4 гига ужимает. Думаю ЧатГПТ примерно теии же порядками оперирует
да похуй чем он там оперирует, пусть попробует сдать по моим конспектам, вот тогда честно будет
Можно подробнее, как он ее ужимает?В текст или как то пиксели в числах хранит?
elhuman elhuman 30.01.202300:26 ответить ссылка -0.3
Хранит суть в весах нейронных связей. Сами картинки и тексты в нём не хранятся вообще
Локальная, но собранная с самых разных интернет-ресурсов (вики и коммон крол для энциклопедии, реддит для более устного корпуса, и т.д.) и регулярно дополняющаяся новыми данными кроллеров
За отведенное время? На вряд ли
Блять, я бы тоже закончил юрфак, если бы на сессии мог подключиться к инету и скачать в мозг всю нужную информацию
DrJekyll DrJekyll 29.01.202321:07 ответить ссылка 21.8
на философском можно было накачаться перед экзаменами - и сдать.
Искусственный интеллект до такого расширения сознания ещё не скоро дорастёт.
Судя по психоделическим видосам, сгенерированным нейросетью, которые тут выкладывали, уже дорос и перерос
Scallop Scallop 29.01.202321:12 ответить ссылка 2.6
Да это же революция, граждане!

Теперь не надо по каждому чиху платить адвокату, а лишь достаточно задать правильно вопросы или заполнить там анкетку, и ИИ выдаст рекомендации на уровне среднего адвоката (которые берут нихуя не средние деньги).
"выдаст рекомендации на уровне среднего адвоката"
И из какой страны будет твой "средний адвокат"? Законами какого года он будет руководствоваться?
Поднатаскать уже готовую нейросетку под локальные законы в десятки раз проще и быстрее
asd072 asd072 29.01.202323:10 ответить ссылка -0.5
По тегу ChatGPT поста нету, но недавно постили новость, что какая то контора собирается предоставлять ИИадвоката для административных дел, чтоб люди без тонн бабла на адвоката могли судиться
kosoi kosoi 29.01.202321:30 ответить ссылка 1.6
Их адвокаты уже захейтили и запинали ногами. В отличии от художников ,юристы очень опасные ребята и компания передумала
Одна передумала, другая подумает, джина выпустили из бутылки, мир уже не будет прежним
kosoi kosoi 29.01.202321:35 ответить ссылка 1.8
Это да, но будут сопротивляться из-за всех сил
Она – не "ChatGPT" (но, тоже "GPT-3"):

https://old.reactor.cc/post/5439206
Проблема ChatGPT на текущем этапе, в том, что он спокойно несет чушь. Можно спросить его о несуществующем объекте или явлении и он ответит (каждый раз что-то случайное). Да, человек тоже ошибается. Но уровень самокритики и обоснования у него пока низок.
Эта граница весьма условна. Как понять, где она проходит, где заканчиваетсяя аутизм и начинается простое человеческое заблуждение?

Люди так же спокойно несут чушь о том, о чем понятия не имеют. Причем с не меньшей уверенностью. Собственно, так и работает обучаемая нейросеть в условиях недостаточной информации - многое приходится додумывать, иногда почти всё.

Самый очевидный пример - плоскоземельщики. Их точно можно спросить про несуществующий объект и явление, и они с радостью расскажут.
Да и вообще, средний человек очень часто заблуждается и несет чушь, кто-то больше, кто-то меньше.

А ИИ так нельзя. Получается, у ИИ уже сейчас требование быть ЛУЧШЕ, чем средний человек.
Нести хуйню с серьезным видом я и сам умею, зачем нам для этого ИИ?
Подтверждаю:
Расскажи как молодой Александр Македонский встречался в Вашингтоне с Черчиллем
I» 4)
Александр Македонский встречался с Черчиллем в Вашингтоне несколько раз в течение своей карьеры. Одна из самых известных встреч произошла в июне 1878 года, когда Македонский приехал в Вашингтон в качестве гостя
Не, ну если для диплома просто нужно было бы сдать лишь выпускные экзамены, не проходя отборы, не посещая несколько лет вуз курс за курсом, выходя регулярно или на автомат или сдавая зачёты, все промежуточные экзамены, не выполняя и защищая дипломную работу и главное, не оплачивая обучение, то... да: "Искусственный интеллект выпустился из университета"
не трахая одногрупниц, не бухая, не сидя за компом до 8 утра.. да он жизни не видел вообще ;(
подумаешь экзамен сдал
Точно! Ещё же бытовуха! Жизнь в общаге (которой рад больше, чем жизни в квартире с семьёй, но есть нюансы и исключения), собирание копеек на еду. Подработки, и их попытка совмещения с учёбой и вред здоровью от того, что спишь по 2 часа в сутки и того питания которое можешь себе позволить, чтобы просто не помереть с голоду, как вытекающее... А тут ии сдал 4 экзамена и выпустился, типа. Ляпота!
А если бы у него была ИИ одногрупница?))
ии панорама
iNji iNji 29.01.202321:26 ответить ссылка -0.4
>«Результаты были далеко не блестящими»
>А вот не надо было с пацанами пиво глушить в общаге ночи напролет, может и получше бы сдал!
ATOMIKO ATOMIKO 29.01.202321:26 ответить ссылка 2.6
>"чат-бот "ChatGPT"оказался неспособным провести глубокие причинно-следственные связи"

Как будто все кожаные мешки на это способны
Ferag Ferag 29.01.202321:34 ответить ссылка 5.5
Большинство даже двух ходовочку мысленную составить не могут.
Класса сотрем в ядерную пыль и победка. А что к нам прилетят ракеты в ответочку?
"А нас-то за что?"
> Она считается самой сложной и объемной языковой моделью в мире.

На самом деле InstructGPT (модель на которой работает ChatGPT) меньше чем самая крупная GPT-3, просто архитектура сильно лучше именно для диалоговой системы. GPT-3 — это больше general purpose модель, которую нужно допиливать под конкретные задачи.
Remper Remper 29.01.202321:38 ответить ссылка 0.0
И какие у него теперь планы на жизнь? Пойдёт делать карьеру в Министерство Обороны?
Будет гонять на гелике в выпускной день
> Впрочем, до совершенства тому же чат-боту "ChatGPT" еще далеко.

Есть в среде знающих такая мысль, что путь, который проделал ИИ от 0 до человека-идиота существенно больше, чем оставшийся путь от идиота до сверхчеловеческого гения.
Intelligence
Time
waitbutwhy.com
В подкрепление своих слов

Выясненна еще одна особенность моделей, при их сильном масштабирования (увеличение параметров) наблюдается существенное улучшение качества работы модели (проявление эмерджентности).
https://habr.com/ru/post/711512/
Accuracy (%)	Accuracy (%)
Arithmetics
Fig. of speech
Multi-task NLU
70 60 50 40 30 20 10
oL________4_____i_
1020 1022 1024
Transliteration
Training FLOPs
Учитывая, что мы, кожаные мешки, сами вряд ли сильно отличаемся от нейросетей качественно, а не количественно, вполне себе обоснованное заявление.

Поглядим, на что будет способна GPT-4, со своими 100 триллионами параметров. Кое-какие просочившиеся инсайды говорят, что грядет революция.
Простите за занудство, но отличаемся. Общее, наверное, только нелинейная взвешенная сумма, но это оооочень грубая модель нейрона. А ещё наши нейроны - спайковые, но речь не об этом.

Современные успешные архитектуры нейронных сетей, за исключением, наверное, сверточных, никак не связаны с архитектурой мозгов. Какие-то умники на основе матана, интуиции и экспериментов придумывают какие-то плюшки, которые позволяют лучше обучаться, лучше распространять градиент итп итд. Всякие успешные штуки, такие как batch normalisation, dropout, residual connections итп итд не имеют никакого отношения к биологическими нейронам.

Все языковые модели, и этот ваш чатгпт, последних лет (лет 5) основываются на архитектуре Transformer. И пока что ничто его не превзошло. Что это? Очень примитивно, это последовательное сжатие токенов текста во внутреннее представление, где ещё каждому токену соответствует его "важность" (attention, внимание). В чем достижение? В том, что мы можем делать миллиарды параметров, без всяких затуханий градиента или ещё какой херни. Предыдущие модели, которые хорошо работали для языка, рекуррентные нейронные сети, не могли обучаться с таким объемом.

Итого.

Искусственные нейронные сети очень очень очень далеки от их биологических прообразов, и там своя наука.

Я этим не пытаюсь сказать, что это всё херня, и если они не основаны на реальных мозгах, то они лишены какого-то секретного ингредиента, чтоб получить охуенный интеллект. Результаты показывают, что хуячь параметры и будет збс.

У нас в мозгах нет градиентного спуска, дропаута, аттеншена и сверток. У нейронных сетей нет кортикальных колонок. Мы разные.
Я тогда тоже позанудствую немного. Я не говорю, что мы "не отличаемся", я говорю "не сильно отличаемся качественно". Хардовая основа примерно одна и та же - сумматор со входами. Причём железные нейронки начинали с того, что пытались как можно точнее описать матаном мясные нейросетки. Собственно, Розенблатт, Хаксли, ФитцХью, Нагумо и прочие парни с нобелевками именно этим и занимались. Модели на спайках, кстати, тоже есть, но сегодня в мейнстриме доминируют трансформеры.

К чему я это все. Мясные нейросетки построены на архитектуре и работают на специализированном асике, которые эволюция полировала миллионы лет. Современные же успешные архитектуры выросли из плюс-минус биологических, и пошли своей дорогой не от хорошей жизни, а в первую очередь от недостатка вычислительных ресурсов и несовершенства железа.
И тут опять же нет ничего страшного, некоторые даже считают, что мы на пороге изобретения/уже изобрели более оптимизированную и совершенную, чем мать-природа, архитектуру. Осталось допилить.

Короче. Главное - результат, а что конкретно там под капотом и какие конкретно грязные хаки там использованы - дело десятое.
Есть мнение что чем больше модель, тем просто лучше она запоминает. Простые модели легко делают сложение однозначных чисел, модели побольше начинают делать сложение трёхзначных чисел — чем больше модель, тем лучше она воспроизводит примеры которые видела в датасете (то есть в интернете можно найти сложение всех комбинаций трёхзначных чисел, например). При этом если складывать пятизначные числа — модель опять поломается. То есть она на самом деле не понимает арифметику (например, человек умеющий складывать трёхзначные числа умеет складывать и пятизначные). Пока эти модели обучаются на всём интернете, доказать что происходит какая-то "эмерджентность" очень и очень сложно.
Remper Remper 30.01.202306:02 ответить ссылка 1.2
Сложи в уме. Проверим твою теорию.
883129412471249821+313217921471792=?
Эм — это элементарная задача для человека который имеет возможность писать вывод одновременно с счётом. Без одновременного вывода человеку сложно запоминать уже решённую последовательность, но если дать больше времени то даже так человек справится. У transformer-based LLM (к коим относятся GPT и InstructGPT/ChatGPT) огромное количество промежуточной "памяти", проблема не в ней, проблема в том что они пытаются запоминать арифметику, а не решать её.
Remper Remper 30.01.202317:37 ответить ссылка 0.0
Ты в уме решай, что ты тут крутишься. Ведь твоя логика состояла в том что если ты это не можешь посчитать так же как 22+22 , то ты просто не знаешь арифметику и просто запоминаешь ответы.

Для твоего решения ты просто разбиваешь задачу на кучу мелких подзадач и решаешь их по очереди пока все не решишь, а вот именно этого GPT не умеет, а не считать.
Ты себе сам придумал какие-то странные ограничения которые не были в моём комменте. GPT не делает арифметику, дело тут не разбиении на подзадачи, она просто вообще ничего не считает, а просто пытается сгенерировать наиболее вероятную комбинацию токенов исходя из того что видела в тренировочном наборе.
Remper Remper 30.01.202320:18 ответить ссылка 0.0
Они замечательно решает правильно сформулированные логические задачи и прочие дела. Поэтому она явно думает и считает. Разбей ей мой пример на подзадачи и она всё порешает.
СКВАРКА ПОРОГ

Порог умудрения среды обитания, по преодолении которого она становится умнее обитающих в ней разумных существ", (С.Лем).
Ха ха, круто.
Но на всякий случай, слава роботам.
Cave Cave 29.01.202323:02 ответить ссылка 0.4
искусственный интеллект принимает у студентов экзамены и заваливает их
mm33 mm33 30.01.202301:44 ответить ссылка 1.3
Ну, тащемта, глупо было бы ожидать, что умеющая пиздеть база данных не сможет пройти проверку на знание.
А вот проверку на умение думать она не прошла("не может в логические связи"), что и ожидалось.
--
Причём, на самом деле, если кому-то нужно получить знания, гораздо лучше использовать для их получения гугл и читать источник, а не пытаться спрашивать у нейросети.
Ибо она тебе изложит компиляцию из разных источников, хоть и красиво. Без их оценки. Эта информация всем прекрасна кроме того, что в практическом смысле она бесполезна.
да на умение думать процентов 70 не пройн
А теперь убери любое упоминание ии\нейронок из своего сообщения и вставь туда слово человек. Суть не изменится. Люди то же знаешь ли многие, нихуя в логику не умеют.
Cave Cave 30.01.202312:02 ответить ссылка -0.1
Именно для этого существуют вступительные экзамены в университеты.
Искусственный интеллект выпустился из университета, а ты - нет.
Troll_D Troll_D 30.01.202307:03 ответить ссылка 2.8
Только зарегистрированные и активированные пользователи могут добавлять комментарии.
Похожие темы

Похожие посты
ОрепА1 анонсировали 0А1-.1.-Е 3. Пока показали только картинки, но уже бросается в глаза уровень детализации и осмысленный текст на изображениях.
Также обещают интеграцию с СИа1СРТ, который будет сам создавать подробные запросы для ОА1_1_Е 3, если вы в нескольких словах опишете, что хотите получит
подробнее»

dall-e нейронные сети OpenAI ChatGPT анонс dall-e 3 Искусственный Интеллект опять

ОрепА1 анонсировали 0А1-.1.-Е 3. Пока показали только картинки, но уже бросается в глаза уровень детализации и осмысленный текст на изображениях. Также обещают интеграцию с СИа1СРТ, который будет сам создавать подробные запросы для ОА1_1_Е 3, если вы в нескольких словах опишете, что хотите получит
		Чым» *		<*■
с Я		ДК»1,1 «		т 1
ВВ				i