Конкурс больших моделей ИИ: от академических горячих тем до инженерных проблем
В прошлом месяце в области ИИ разразилась ожесточенная "война животных".
С одной стороны, это ламы Llama, которые благодаря своей открытой природе пользуются популярностью среди разработчиков. С другой стороны, это большая модель под названием Falcon. В мае, после выхода Falcon-40B, она обошла ламу и заняла первое место в рейтинге открытых LLM.
Этот рейтинг составлен сообществом открытых моделей и предоставляет стандарты для оценки возможностей LLM. В основном, рейтинг обновляется в порядке чередования Llama и Falcon. После выпуска Llama 2, семейство верблюдов временно вышло вперед; но в начале сентября Falcon выпустил версию 180B, снова достигнув более высокого ранга.
Интересно, что разработчиком "Сокола" является не технологическая компания, а исследовательский институт технологий и инноваций в столице Объединенных Арабских Эмиратов. Представители правительства заявили, что они участвуют в этом проекте, чтобы подорвать позиции основных игроков.
Сегодня область ИИ вступила в стадию расцвета. Сильные страны и компании создают свои большие языковые модели. В только лишь регионе Персидского залива есть не один игрок - в августе Саудовская Аравия только что приобрела более 3000 чипов H100 для обучения LLM для своих университетов.
Некоторые инвесторы жалуются: "Когда-то я не воспринимал инновации бизнес-моделей в интернете всерьез, думал, что нет никаких барьеров. Не ожидал, что стартапы в области жестких технологий и больших моделей все равно ведут к битве ста моделей..."
Как же так, что высокотехнологичный сектор, который считался сложным, стал трендом, в который могут участвовать все?
Восхождение Transformer
Американские стартапы, китайские технологические гиганты и нефтяные магнаты Ближнего Востока могут заняться большими моделями благодаря той знаменитой статье «Attention Is All You Need».
В 2017 году восемь компьютерных ученых опубликовали алгоритм Transformer в этой статье. Эта статья в настоящее время является третьей по количеству цитирований в истории ИИ, и появление Transformer стало катализатором текущего бума в области ИИ.
Современные большие модели, включая вызвавшую сенсацию по всему миру серию GPT, основаны на технологии Transformer.
До этого момента "обучение машины чтению" оставалось общепризнанной академической проблемой. В отличие от распознавания изображений, при чтении человек не только обращает внимание на текущие слова и фразы, но и сочетает их с контекстом для понимания. Ранние нейронные сети имели независимые входные данные и не могли понимать длинные тексты, что часто приводило к ошибкам в переводе.
В 2014 году ученый Гугл Илья Сацквиль впервые добился прорыва. Он использовал рекуррентные нейронные сети (RNN) для обработки естественного языка, значительно повысив производительность Гугл Переводчика. RNN предложила "рекурсивный дизайн", позволяя каждому нейрону одновременно получать текущий и предыдущий ввод, тем самым обладая способностью "учитывать контекст".
Появление RNN разжигало исследовательский энтузиазм в академической среде, но разработчики вскоре обнаружили в нем серьезные недостатки: данный алгоритм использует последовательные вычисления, хотя и решает проблему контекста, но имеет низкую эффективность работы и с трудом справляется с большим количеством параметров.
С 2015 года Ноам Шазир и еще восемь исследователей начали разработку альтернативы RNN, итогом чего стал Transformer. В отличие от RNN, Transformer имеет два основных новшества: первое – использование позиционного кодирования вместо циклической конструкции, что позволяет проводить параллельные вычисления, значительно повышая эффективность обучения и способствуя переходу AI в эпоху больших моделей; второе – дальнейшее усиление способности понимания контекста.
Трансформер одним махом решил несколько недостатков и постепенно стал основным решением в области обработки естественного языка (NLP). Он превратил большие модели из теоретических исследований в чисто инженерную задачу.
В 2019 году OpenAI разработал GPT-2 на основе Transformer, который потряс научное сообщество. Затем Google выпустил более мощный Meena, который, увеличив количество параметров и вычислительные мощности, превзошел GPT-2. Это глубоко потрясло автора Transformer Шазира, который написал меморандум "Meena поглощает мир".
После появления трансформеров скорость инноваций в базовых алгоритмах в академической среде значительно замедлилась. Инженерные факторы, такие как обработка данных, масштаб вычислительных мощностей и архитектура моделей, становятся ключевыми в соревнованиях по ИИ. Любая компания с определёнными техническими возможностями может разработать крупную модель.
Компьютерный ученый Эндрю Нг, выступая в Стэнфордском университете, отметил: "Искусственный интеллект - это набор инструментов, включая обучение с учителем, обучение без учителя, обучение с подкреплением и генеративный ИИ. Это универсальные технологии, подобные электричеству и интернету."
Хотя OpenAI по-прежнему является ориентиром для LLM, аналитические агентства считают, что преимущество GPT-4 заключается в инженерных решениях. Если он станет открытым, любой конкурент сможет быстро его скопировать. Этот аналитик ожидает, что другие крупные технологические компании вскоре смогут создать большие модели, сопоставимые по производительности с GPT-4.
Хрупкая оборонительная линия
Сегодня "битва ста моделей" уже не является преувеличением, а объективной реальностью.
Согласно отчетам, по состоянию на июль этого года, количество крупных моделей в стране достигло 130, что больше, чем в США, где их 114. Различных мифов и легенд уже недостаточно для именования отечественных технологических компаний.
Кроме Китая и США, некоторые более богатые страны также начали реализовывать принцип "одна страна - одна модель": Япония и ОАЭ уже имеют свои большие модели, а также Bhashini, разработанную правительством Индии, и HyperClova X, созданную южнокорейской интернет-компанией Naver.
Эта сцена словно возвращает нас в эпоху раннего Интернета, когда пузырь был на пике. Как уже упоминалось ранее, Transformer превратил большие модели в чисто инженерную задачу: если у кого-то есть деньги и видеокарта, остальное зависит от параметров. Однако низкий порог входа не означает, что каждый может стать гигантом эпохи ИИ.
Упомянутая в начале "битва животных" является典型案例: хотя Falcon обошел Llama в рейтинге, трудно сказать, насколько сильно это повлияло на Meta.
Как всем известно, компании открывают свои достижения, чтобы не только поделиться технологическими дивидендами, но и надеяться задействовать общественный разум. С учетом того, что различные сферы продолжают использовать и улучшать Llama, Meta может применять эти достижения в своих продуктах.
Для открытых больших моделей активное сообщество разработчиков является核心竞争力.
Meta еще в 2015 году при создании AI-лаборатории установила открытый подход; Закерберг начал с социальных медиа и лучше всего понимает, как "наладить хорошие отношения с общественностью".
В октябре Meta также организовала специальное мероприятие "AI-версия стимулирования создателей": разработчики, использующие Llama 2 для решения социальных проблем, таких как образование и окружающая среда, имеют возможность получить финансирование в размере 500 000 долларов.
Сегодня серия Llama от Meta стала ориентиром для открытых LLM. По состоянию на начало октября, в топ-10 открытых LLM, 8 из них разработаны на основе Llama 2. Только на этой платформе количество LLM, использующих лицензию Llama 2, превышает 1500.
Конечно, улучшить производительность, как у Falcon, тоже неплохо, но в настоящее время большинство LLM на рынке все еще значительно уступают GPT-4.
Например, недавно GPT-4 занял первое место в тестировании AgentBench с результатом 4,41 балла. AgentBench был разработан Университетом Цинхуа в сотрудничестве с несколькими престижными университетами США для оценки способности LLM к выводу и принятию решений в многомерной открытой среде. Тест охватывает 8 различных сценариев, включая операционные системы, базы данных, графы знаний, карточные игры и другие.
Результаты тестирования показывают, что второй по ранжиру Claude набрал всего 2.77 балла, разрыв все еще довольно заметен. Что касается тех громких открытых LLM, их результаты обычно около 1 балла, что составляет менее четверти от GPT-4.
Чтобы знать, GPT-4 был выпущен в марте этого года, и это результат более чем полугодичного отставания от международных конкурентов. Причиной этого разрыва является отличная команда ученых OpenAI и накопленный за длительное время опыт исследований в области LLM, что позволяет постоянно оставаться на передовой.
То есть, ключевое преимущество больших моделей заключается не в параметрах, а в экосистемном строительстве ( открытом исходном коде ) или чисто в способности к выводу ( закрытом исходном коде ).
С ростом активности сообщества с открытым исходным кодом производительность различных LLM может стать схожей, так как все используют похожие архитектуры моделей и наборы данных.
Еще одной более наглядной проблемой является то, что, кроме Midjourney, похоже, ни одна большая модель не может действительно приносить прибыль.
Где находятся точки стоимости
В августе этого года статья под заголовком "OpenAI может обанкротиться к концу 2024 года" привлекла внимание. Суть статьи можно почти выразить одной фразой: OpenAI слишком быстро сжигает деньги.
В статье упоминается, что с момента разработки ChatGPT убытки OpenAI быстро увеличиваются, в 2022 году они составили около 540 миллионов долларов, и компания может рассчитывать только на инвестиции Microsoft.
Хотя заголовок статьи преувеличен, он также отражает текущее состояние множества поставщиков крупных моделей: серьезный дисбаланс между затратами и доходами.
Слишком высокие затраты приводят к тому, что в настоящее время только NVIDIA зарабатывает большие деньги на AI, максимум еще и Broadcom.
По оценкам консалтинговой компании Omdia, Nvidia продала более 300 000 чипов H100 во втором квартале этого года. Это чип с высокой эффективностью для обучения ИИ, который активно покупают технологические компании и исследовательские учреждения по всему миру. Если сложить эти 300 000 чипов H100, их вес будет равен весу 4,5 самолетов Boeing 747.
Выручка Nvidia взлетела, увеличившись на 854% по сравнению с прошлым годом, что шокировало Уолл-стрит. В настоящее время H100 на вторичном рынке продается за 40-50 тысяч долларов, в то время как его материальные затраты составляют всего около 3000 долларов.
Высокие затраты на вычислительную мощность в какой-то мере стали препятствием для развития отрасли. Sequoia Capital ранее оценивала: глобальные технологические компании ежегодно будут тратить 200 миллиардов долларов на строительство инфраструктуры для больших моделей; в то же время, большие модели могут приносить не более 75 миллиардов долларов дохода в год, что создает как минимум 125 миллиардов долларов дефицита.
Кроме того, за исключением немногих исключений, таких как Midjourney, большинство программных компаний, вложившие огромные средства, так и не нашли четкой модели прибыли. Особенно исследования лидеров отрасли, таких как Microsoft и Adobe, идут с трудом.
Инструмент генерации кода AI GitHub Copilot, разработанный в сотрудничестве Microsoft и OpenAI, стоит 10 долларов в месяц, но из-за затрат на инфраструктуру Microsoft теряет 20 долларов на каждого пользователя, а у пользователей с высокой нагрузкой убытки могут достигать 80 долларов в месяц. Исходя из этого, можно предположить, что Microsoft 365 Copilot с ценой 30 долларов может приносить еще большие убытки.
Так же, как и Adobe, только что выпустившая инструмент Firefly AI, быстро запустила систему баллов, чтобы предотвратить чрезмерное использование пользователями, что может привести к убыткам компании. Как только пользователи превышают свои ежемесячные распределенные баллы, Adobe снижает скорость обслуживания.
Стоит отметить, что Microsoft и Adobe уже являются гигантами программного обеспечения с ясными бизнес-сценариями и большим количеством платных пользователей. В то время как у большинства моделей с множеством параметров, основным сценарием применения остается общение.
Нельзя отрицать, что если бы не OpenAI и ChatGPT, эта революция в области ИИ могла бы и не произойти; но в настоящее время ценность, создаваемая при обучении больших моделей, вероятно, все еще подлежит обсуждению.
Кроме того, с увеличением однородной конкуренции и ростом числа открытых моделей, простые поставщики больших моделей могут столкнуться с большими вызовами.
Успех iPhone 4 связан не с 45-нм процессором A4, а с тем, что он мог запускать такие приложения, как Plants vs. Zombies и Angry Birds.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
7 Лайков
Награда
7
5
Репост
Поделиться
комментарий
0/400
BearMarketNoodler
· 08-10 06:40
经典石油财富 разыгрывайте людей как лохов
Посмотреть ОригиналОтветить0
RumbleValidator
· 08-09 23:00
Данные тестирования стабильности не были опубликованы, что затрудняет проверку доверия.
Посмотреть ОригиналОтветить0
BanklessAtHeart
· 08-09 21:36
Партия промышленников в восторге. Открытый исходный код — это будущее. Рекомендуем инвестировать.
Соревнование больших моделей ИИ: от академических прорывов до лонгующей битвы
Конкурс больших моделей ИИ: от академических горячих тем до инженерных проблем
В прошлом месяце в области ИИ разразилась ожесточенная "война животных".
С одной стороны, это ламы Llama, которые благодаря своей открытой природе пользуются популярностью среди разработчиков. С другой стороны, это большая модель под названием Falcon. В мае, после выхода Falcon-40B, она обошла ламу и заняла первое место в рейтинге открытых LLM.
Этот рейтинг составлен сообществом открытых моделей и предоставляет стандарты для оценки возможностей LLM. В основном, рейтинг обновляется в порядке чередования Llama и Falcon. После выпуска Llama 2, семейство верблюдов временно вышло вперед; но в начале сентября Falcon выпустил версию 180B, снова достигнув более высокого ранга.
Интересно, что разработчиком "Сокола" является не технологическая компания, а исследовательский институт технологий и инноваций в столице Объединенных Арабских Эмиратов. Представители правительства заявили, что они участвуют в этом проекте, чтобы подорвать позиции основных игроков.
Сегодня область ИИ вступила в стадию расцвета. Сильные страны и компании создают свои большие языковые модели. В только лишь регионе Персидского залива есть не один игрок - в августе Саудовская Аравия только что приобрела более 3000 чипов H100 для обучения LLM для своих университетов.
Некоторые инвесторы жалуются: "Когда-то я не воспринимал инновации бизнес-моделей в интернете всерьез, думал, что нет никаких барьеров. Не ожидал, что стартапы в области жестких технологий и больших моделей все равно ведут к битве ста моделей..."
Как же так, что высокотехнологичный сектор, который считался сложным, стал трендом, в который могут участвовать все?
Восхождение Transformer
Американские стартапы, китайские технологические гиганты и нефтяные магнаты Ближнего Востока могут заняться большими моделями благодаря той знаменитой статье «Attention Is All You Need».
В 2017 году восемь компьютерных ученых опубликовали алгоритм Transformer в этой статье. Эта статья в настоящее время является третьей по количеству цитирований в истории ИИ, и появление Transformer стало катализатором текущего бума в области ИИ.
Современные большие модели, включая вызвавшую сенсацию по всему миру серию GPT, основаны на технологии Transformer.
До этого момента "обучение машины чтению" оставалось общепризнанной академической проблемой. В отличие от распознавания изображений, при чтении человек не только обращает внимание на текущие слова и фразы, но и сочетает их с контекстом для понимания. Ранние нейронные сети имели независимые входные данные и не могли понимать длинные тексты, что часто приводило к ошибкам в переводе.
В 2014 году ученый Гугл Илья Сацквиль впервые добился прорыва. Он использовал рекуррентные нейронные сети (RNN) для обработки естественного языка, значительно повысив производительность Гугл Переводчика. RNN предложила "рекурсивный дизайн", позволяя каждому нейрону одновременно получать текущий и предыдущий ввод, тем самым обладая способностью "учитывать контекст".
Появление RNN разжигало исследовательский энтузиазм в академической среде, но разработчики вскоре обнаружили в нем серьезные недостатки: данный алгоритм использует последовательные вычисления, хотя и решает проблему контекста, но имеет низкую эффективность работы и с трудом справляется с большим количеством параметров.
С 2015 года Ноам Шазир и еще восемь исследователей начали разработку альтернативы RNN, итогом чего стал Transformer. В отличие от RNN, Transformer имеет два основных новшества: первое – использование позиционного кодирования вместо циклической конструкции, что позволяет проводить параллельные вычисления, значительно повышая эффективность обучения и способствуя переходу AI в эпоху больших моделей; второе – дальнейшее усиление способности понимания контекста.
Трансформер одним махом решил несколько недостатков и постепенно стал основным решением в области обработки естественного языка (NLP). Он превратил большие модели из теоретических исследований в чисто инженерную задачу.
В 2019 году OpenAI разработал GPT-2 на основе Transformer, который потряс научное сообщество. Затем Google выпустил более мощный Meena, который, увеличив количество параметров и вычислительные мощности, превзошел GPT-2. Это глубоко потрясло автора Transformer Шазира, который написал меморандум "Meena поглощает мир".
После появления трансформеров скорость инноваций в базовых алгоритмах в академической среде значительно замедлилась. Инженерные факторы, такие как обработка данных, масштаб вычислительных мощностей и архитектура моделей, становятся ключевыми в соревнованиях по ИИ. Любая компания с определёнными техническими возможностями может разработать крупную модель.
Компьютерный ученый Эндрю Нг, выступая в Стэнфордском университете, отметил: "Искусственный интеллект - это набор инструментов, включая обучение с учителем, обучение без учителя, обучение с подкреплением и генеративный ИИ. Это универсальные технологии, подобные электричеству и интернету."
Хотя OpenAI по-прежнему является ориентиром для LLM, аналитические агентства считают, что преимущество GPT-4 заключается в инженерных решениях. Если он станет открытым, любой конкурент сможет быстро его скопировать. Этот аналитик ожидает, что другие крупные технологические компании вскоре смогут создать большие модели, сопоставимые по производительности с GPT-4.
Хрупкая оборонительная линия
Сегодня "битва ста моделей" уже не является преувеличением, а объективной реальностью.
Согласно отчетам, по состоянию на июль этого года, количество крупных моделей в стране достигло 130, что больше, чем в США, где их 114. Различных мифов и легенд уже недостаточно для именования отечественных технологических компаний.
Кроме Китая и США, некоторые более богатые страны также начали реализовывать принцип "одна страна - одна модель": Япония и ОАЭ уже имеют свои большие модели, а также Bhashini, разработанную правительством Индии, и HyperClova X, созданную южнокорейской интернет-компанией Naver.
Эта сцена словно возвращает нас в эпоху раннего Интернета, когда пузырь был на пике. Как уже упоминалось ранее, Transformer превратил большие модели в чисто инженерную задачу: если у кого-то есть деньги и видеокарта, остальное зависит от параметров. Однако низкий порог входа не означает, что каждый может стать гигантом эпохи ИИ.
Упомянутая в начале "битва животных" является典型案例: хотя Falcon обошел Llama в рейтинге, трудно сказать, насколько сильно это повлияло на Meta.
Как всем известно, компании открывают свои достижения, чтобы не только поделиться технологическими дивидендами, но и надеяться задействовать общественный разум. С учетом того, что различные сферы продолжают использовать и улучшать Llama, Meta может применять эти достижения в своих продуктах.
Для открытых больших моделей активное сообщество разработчиков является核心竞争力.
Meta еще в 2015 году при создании AI-лаборатории установила открытый подход; Закерберг начал с социальных медиа и лучше всего понимает, как "наладить хорошие отношения с общественностью".
В октябре Meta также организовала специальное мероприятие "AI-версия стимулирования создателей": разработчики, использующие Llama 2 для решения социальных проблем, таких как образование и окружающая среда, имеют возможность получить финансирование в размере 500 000 долларов.
Сегодня серия Llama от Meta стала ориентиром для открытых LLM. По состоянию на начало октября, в топ-10 открытых LLM, 8 из них разработаны на основе Llama 2. Только на этой платформе количество LLM, использующих лицензию Llama 2, превышает 1500.
Конечно, улучшить производительность, как у Falcon, тоже неплохо, но в настоящее время большинство LLM на рынке все еще значительно уступают GPT-4.
Например, недавно GPT-4 занял первое место в тестировании AgentBench с результатом 4,41 балла. AgentBench был разработан Университетом Цинхуа в сотрудничестве с несколькими престижными университетами США для оценки способности LLM к выводу и принятию решений в многомерной открытой среде. Тест охватывает 8 различных сценариев, включая операционные системы, базы данных, графы знаний, карточные игры и другие.
Результаты тестирования показывают, что второй по ранжиру Claude набрал всего 2.77 балла, разрыв все еще довольно заметен. Что касается тех громких открытых LLM, их результаты обычно около 1 балла, что составляет менее четверти от GPT-4.
Чтобы знать, GPT-4 был выпущен в марте этого года, и это результат более чем полугодичного отставания от международных конкурентов. Причиной этого разрыва является отличная команда ученых OpenAI и накопленный за длительное время опыт исследований в области LLM, что позволяет постоянно оставаться на передовой.
То есть, ключевое преимущество больших моделей заключается не в параметрах, а в экосистемном строительстве ( открытом исходном коде ) или чисто в способности к выводу ( закрытом исходном коде ).
С ростом активности сообщества с открытым исходным кодом производительность различных LLM может стать схожей, так как все используют похожие архитектуры моделей и наборы данных.
Еще одной более наглядной проблемой является то, что, кроме Midjourney, похоже, ни одна большая модель не может действительно приносить прибыль.
Где находятся точки стоимости
В августе этого года статья под заголовком "OpenAI может обанкротиться к концу 2024 года" привлекла внимание. Суть статьи можно почти выразить одной фразой: OpenAI слишком быстро сжигает деньги.
В статье упоминается, что с момента разработки ChatGPT убытки OpenAI быстро увеличиваются, в 2022 году они составили около 540 миллионов долларов, и компания может рассчитывать только на инвестиции Microsoft.
Хотя заголовок статьи преувеличен, он также отражает текущее состояние множества поставщиков крупных моделей: серьезный дисбаланс между затратами и доходами.
Слишком высокие затраты приводят к тому, что в настоящее время только NVIDIA зарабатывает большие деньги на AI, максимум еще и Broadcom.
По оценкам консалтинговой компании Omdia, Nvidia продала более 300 000 чипов H100 во втором квартале этого года. Это чип с высокой эффективностью для обучения ИИ, который активно покупают технологические компании и исследовательские учреждения по всему миру. Если сложить эти 300 000 чипов H100, их вес будет равен весу 4,5 самолетов Boeing 747.
Выручка Nvidia взлетела, увеличившись на 854% по сравнению с прошлым годом, что шокировало Уолл-стрит. В настоящее время H100 на вторичном рынке продается за 40-50 тысяч долларов, в то время как его материальные затраты составляют всего около 3000 долларов.
Высокие затраты на вычислительную мощность в какой-то мере стали препятствием для развития отрасли. Sequoia Capital ранее оценивала: глобальные технологические компании ежегодно будут тратить 200 миллиардов долларов на строительство инфраструктуры для больших моделей; в то же время, большие модели могут приносить не более 75 миллиардов долларов дохода в год, что создает как минимум 125 миллиардов долларов дефицита.
Кроме того, за исключением немногих исключений, таких как Midjourney, большинство программных компаний, вложившие огромные средства, так и не нашли четкой модели прибыли. Особенно исследования лидеров отрасли, таких как Microsoft и Adobe, идут с трудом.
Инструмент генерации кода AI GitHub Copilot, разработанный в сотрудничестве Microsoft и OpenAI, стоит 10 долларов в месяц, но из-за затрат на инфраструктуру Microsoft теряет 20 долларов на каждого пользователя, а у пользователей с высокой нагрузкой убытки могут достигать 80 долларов в месяц. Исходя из этого, можно предположить, что Microsoft 365 Copilot с ценой 30 долларов может приносить еще большие убытки.
Так же, как и Adobe, только что выпустившая инструмент Firefly AI, быстро запустила систему баллов, чтобы предотвратить чрезмерное использование пользователями, что может привести к убыткам компании. Как только пользователи превышают свои ежемесячные распределенные баллы, Adobe снижает скорость обслуживания.
Стоит отметить, что Microsoft и Adobe уже являются гигантами программного обеспечения с ясными бизнес-сценариями и большим количеством платных пользователей. В то время как у большинства моделей с множеством параметров, основным сценарием применения остается общение.
Нельзя отрицать, что если бы не OpenAI и ChatGPT, эта революция в области ИИ могла бы и не произойти; но в настоящее время ценность, создаваемая при обучении больших моделей, вероятно, все еще подлежит обсуждению.
Кроме того, с увеличением однородной конкуренции и ростом числа открытых моделей, простые поставщики больших моделей могут столкнуться с большими вызовами.
Успех iPhone 4 связан не с 45-нм процессором A4, а с тем, что он мог запускать такие приложения, как Plants vs. Zombies и Angry Birds.