Competição de Grandes Modelos de IA: Do Foco Acadêmico aos Desafios de Engenharia
No mês passado, houve uma intensa "guerra dos animais" no campo da IA.
De um lado está o Llama, um modelo de código aberto muito popular entre os desenvolvedores devido à sua natureza de código aberto. Do outro lado, temos o Falcon, um grande modelo. Em maio, após o lançamento do Falcon-40B, ele superou o Llama, alcançando o topo do ranking de LLMs de código aberto.
Este ranking é produzido pela comunidade de modelos de código aberto e fornece padrões para avaliar a capacidade de LLM. A classificação basicamente alterna entre Llama e Falcon. Após o lançamento do Llama 2, a família de lhamas ficou temporariamente à frente; mas no início de setembro, o Falcon lançou a versão 180B, alcançando novamente uma classificação mais alta.
Curiosamente, os desenvolvedores do "Falcão" não são uma empresa de tecnologia, mas sim um instituto de pesquisa em inovação tecnológica da capital dos Emirados Árabes Unidos. Fontes do governo afirmaram que eles estão envolvidos neste projeto para desafiar os jogadores principais.
Hoje, o campo da IA entrou numa fase de grande diversidade. Países e empresas com capacidade estão a desenvolver os seus próprios modelos de linguagem grandes. Apenas na região do Golfo, há mais de um jogador - em agosto, a Arábia Saudita acabou de comprar mais de 3000 chips H100 para universidades locais para treinar LLM.
Um investidor se queixou: "Naquela época, desdenhei da inovação do modelo de negócios da internet, achando que não havia barreiras. Não esperava que o empreendedorismo em grandes modelos de tecnologia ainda fosse uma batalha de cem modelos..."
Como é que a tecnologia de ponta, considerada de alta dificuldade, se tornou uma tendência em que todos podem participar?
A Ascensão do Transformer
As startups americanas, gigantes tecnológicos chineses e magnatas do petróleo do Oriente Médio podem se envolver em modelos de grande escala, tudo graças ao famoso artigo "Attention Is All You Need".
Em 2017, oito cientistas da computação publicaram o algoritmo Transformer neste artigo. Este artigo é atualmente a terceira obra mais citada na história da IA, e o surgimento do Transformer desencadeou esta onda de entusiasmo pela IA.
Os atuais grandes modelos, incluindo a série GPT que tem causado sensação em todo o mundo, são todos baseados na arquitetura Transformer.
Antes disso, "ensinar as máquinas a ler" sempre foi um problema acadêmico reconhecido. Diferente do reconhecimento de imagem, na leitura humana não se foca apenas nas palavras e frases atuais, mas também se considera o contexto para a compreensão. As entradas das primeiras redes neurais eram independentes entre si, incapazes de entender textos longos, o que frequentemente resultava em erros de tradução.
Em 2014, o cientista da Google Ilya Sutskever fez um avanço pela primeira vez. Ele utilizou redes neurais recorrentes (RNN) para processar linguagem natural, melhorando significativamente o desempenho do Google Tradutor. O RNN propôs um "design cíclico", permitindo que cada neurônio recebesse simultaneamente a entrada atual e a do momento anterior, adquirindo assim a capacidade de "combinar o contexto".
A aparição das RNNs acendeu o entusiasmo de pesquisa na academia, mas os desenvolvedores rapidamente descobriram que havia sérios defeitos: o algoritmo utiliza cálculos sequenciais, embora resolva o problema de contexto, a eficiência de execução é baixa, tornando difícil lidar com um grande número de parâmetros.
Desde 2015, Noam Shazeer e outros 8 pesquisadores começaram a desenvolver uma alternativa ao RNN, cujo resultado final é o Transformer. Em comparação com o RNN, o Transformer trouxe duas grandes inovações: a primeira foi substituir o design cíclico por codificação de posição, permitindo o cálculo em paralelo, aumentando significativamente a eficiência do treinamento e impulsionando a IA para a era dos grandes modelos; a segunda foi fortalecer ainda mais a capacidade de compreensão do contexto.
O Transformer resolveu de uma vez vários defeitos, evoluindo gradualmente para uma solução mainstream na área de NLP. Ele transformou grandes modelos de uma questão de pesquisa teórica para um problema puramente de engenharia.
Em 2019, a OpenAI desenvolveu o GPT-2 com base no Transformer, surpreendendo a academia. O Google imediatamente lançou o Meena, que superou o GPT-2 apenas aumentando os parâmetros e a capacidade de cálculo. Isso deixou Shazeer, um dos autores do Transformer, profundamente chocado, que escreveu um memorando intitulado "Meena devora o mundo".
Após o surgimento do Transformer, a velocidade de inovação dos algoritmos de base na academia diminuiu significativamente. Elementos de engenharia como engenharia de dados, escala de poder computacional e arquitetura de modelos tornaram-se cada vez mais cruciais na competição de IA. Qualquer empresa com um certo nível de capacidade técnica pode desenvolver grandes modelos.
O cientista da computação Andrew Ng, durante uma palestra na Universidade de Stanford, apontou: "A IA é um conjunto de ferramentas, incluindo aprendizado supervisionado, aprendizado não supervisionado, aprendizado por reforço e IA generativa. Todas essas são tecnologias gerais, semelhantes à eletricidade e à internet."
Embora a OpenAI continue a ser a referência em LLM, as instituições de análise acreditam que a principal vantagem do GPT-4 reside nas soluções de engenharia. Se for open source, qualquer concorrente poderá copiar rapidamente. Este analista prevê que outras grandes empresas de tecnologia em breve conseguirão criar grandes modelos com desempenho equivalente ao do GPT-4.
Muralha Frágil
Hoje, a "batalha das centenas de modelos" já não é uma expressão exagerada, mas uma realidade objetiva.
Relatórios relacionados mostram que, até julho deste ano, o número de grandes modelos no país já alcançou 130, superando os 114 dos Estados Unidos. Diversos mitos e lendas já não são suficientes para as empresas de tecnologia nacionais nomearem seus produtos.
Além da China e dos EUA, alguns países mais ricos também começaram a implementar "um país, um modelo": o Japão e os Emirados Árabes Unidos já têm seus próprios grandes modelos, além do Bhashini, liderado pelo governo indiano, e do HyperClova X, desenvolvido pela empresa sul-coreana Naver.
Este cenário parece levar-nos de volta à era das bolhas do início da internet. Como mencionado anteriormente, o Transformer transformou os grandes modelos em um mero problema de engenharia; desde que alguém tenha dinheiro e uma placa gráfica, o resto fica a cargo dos parâmetros. No entanto, embora a barreira de entrada não seja alta, isso não significa que todos possam se tornar gigantes na era da IA.
O "Animal Battle" mencionado no início é um caso típico: embora o Falcon tenha superado o Llama no ranking, é difícil dizer qual foi o impacto real sobre a Meta.
É do conhecimento geral que as empresas abrem suas conquistas não apenas para compartilhar os benefícios da tecnologia, mas também para mobilizar a inteligência social. À medida que diversos setores continuam a usar e aprimorar o Llama, a Meta pode aplicar essas conquistas em seus próprios produtos.
Para grandes modelos de código aberto, uma comunidade de desenvolvedores ativa é a verdadeira vantagem competitiva.
A Meta estabeleceu uma rota de código aberto quando criou o laboratório de IA em 2015; Zuckerberg começou com redes sociais e conhece melhor a arte de "manter boas relações com o público".
Em outubro, a Meta também realizou uma atividade chamada "Incentivo a Criadores em AI": desenvolvedores que usam o Llama 2 para resolver problemas sociais como educação e meio ambiente têm a oportunidade de receber um financiamento de 500 mil dólares.
Hoje, a série Llama da Meta tornou-se um marco para LLMs de código aberto. Até o início de outubro, 8 dos 10 principais LLMs de um ranking de código aberto eram baseados no Llama 2. Apenas nesta plataforma, existem mais de 1500 LLMs que utilizam o protocolo de código aberto do Llama 2.
Claro, melhorar o desempenho como o Falcon também não é uma má ideia, mas atualmente a maioria dos LLMs no mercado ainda apresenta uma diferença significativa em relação ao GPT-4.
Por exemplo, recentemente, o GPT-4 obteve a primeira posição no teste AgentBench com uma pontuação de 4,41. O AgentBench foi lançado pela Universidade de Tsinghua em parceria com várias universidades renomadas dos Estados Unidos, para avaliar a capacidade de raciocínio e decisão de LLM em ambientes abertos multidimensionais. O conteúdo do teste abrange 8 cenários diferentes, incluindo sistemas operacionais, bancos de dados, gráficos de conhecimento, e batalhas de cartas.
Os resultados dos testes mostram que o segundo colocado, Claude, obteve apenas 2,77 pontos, com uma diferença ainda bastante evidente. Quanto aos LLMs de código aberto que têm gerado muito alvoroço, a maioria obteve cerca de 1 ponto, não chegando a um quarto do GPT-4.
É importante saber que o GPT-4 foi lançado em março deste ano, e isso é o resultado de mais de meio ano de concorrência global. A diferença é causada pela excelente equipe de cientistas da OpenAI e pela experiência acumulada em pesquisa de LLM, o que lhes permite manter-se sempre à frente.
Ou seja, a principal vantagem dos grandes modelos não são os parâmetros, mas sim a construção de ecossistemas ( código aberto ) ou pura capacidade de inferência ( código fechado ).
Com a crescente atividade da comunidade de código aberto, o desempenho de vários LLM pode tender a se igualar, uma vez que todos estão utilizando arquiteturas de modelos e conjuntos de dados semelhantes.
Outro problema mais intuitivo é: além do Midjourney, parece que nenhum outro grande modelo conseguiu realmente ser lucrativo.
Onde está o ponto de âncora do valor
Em agosto deste ano, um artigo intitulado "OpenAI pode falir até ao final de 2024" chamou a atenção. O tema do artigo pode ser resumido em uma frase: a velocidade com que a OpenAI está queimando dinheiro é demasiado rápida.
O texto menciona que, desde o desenvolvimento do ChatGPT, as perdas da OpenAI aumentaram rapidamente, com um prejuízo de cerca de 540 milhões de dólares apenas em 2022, dependendo apenas do investimento da Microsoft para se sustentar.
Embora o título do artigo seja exagerado, ele também revela a situação de muitos fornecedores de grandes modelos: um sério desequilíbrio entre custos e receitas.
Custos excessivos fazem com que atualmente apenas a NVIDIA ganhe muito dinheiro com IA, no máximo somando a Broadcom.
De acordo com a consultora Omdia, a NVIDIA vendeu mais de 300.000 placas H100 no segundo trimestre deste ano. Este é um chip com uma eficiência de treino de IA extremamente alta, e empresas de tecnologia e instituições de pesquisa em todo o mundo estão a comprá-las avidamente. Se empilhássemos essas 300.000 H100, o peso seria equivalente a 4,5 aviões Boeing 747.
A performance da NVIDIA disparou, com uma receita que aumentou 854% em relação ao ano anterior, surpreendendo Wall Street. Atualmente, o H100 está sendo comercializado no mercado de segunda mão por 40.000 a 50.000 dólares, enquanto seu custo de material é de apenas cerca de 3.000 dólares.
Os altos custos de computação tornaram-se, de certa forma, um obstáculo ao desenvolvimento da indústria. A Sequoia Capital estimou que as empresas de tecnologia em todo o mundo gastarão anualmente 200 mil milhões de dólares na construção de infraestrutura para grandes modelos; em comparação, grandes modelos podem gerar no máximo 75 mil milhões de dólares em receita por ano, havendo uma lacuna de pelo menos 125 mil milhões de dólares.
Além disso, à exceção de poucos casos como o Midjourney, a maioria das empresas de software ainda não encontrou um modelo de lucro claro após investir grandes quantias. Especialmente as explorações dos líderes do setor, a Microsoft e a Adobe, têm sido um pouco vacilantes.
A ferramenta de geração de código AI GitHub Copilot, desenvolvida em parceria entre a Microsoft e a OpenAI, custa 10 dólares por mês, mas devido aos custos operacionais, a Microsoft perde 20 dólares por usuário. Usuários intensivos podem fazer a Microsoft perder 80 dólares por mês. Com base nisso, estima-se que o Microsoft 365 Copilot, que tem um preço de 30 dólares, possa ter um prejuízo ainda maior.
Da mesma forma, a Adobe, que acabou de lançar a ferramenta Firefly AI, rapidamente lançou um sistema de pontos para evitar que os usuários o utilizem em excesso, o que poderia levar a perdas para a empresa. Assim que os usuários ultrapassarem a alocação mensal de pontos, a Adobe reduzirá a velocidade do serviço.
É importante saber que a Microsoft e a Adobe já são gigantes do software com cenários de negócios claros e uma grande quantidade de usuários pagantes. Por outro lado, a maioria dos modelos com parâmetros acumulados ainda tem como principal aplicação o chat.
É inegável que, se não fosse pelo surgimento do OpenAI e do ChatGPT, essa revolução da IA provavelmente não teria acontecido; mas, no momento, o valor criado pelo treinamento de grandes modelos ainda pode ser discutido.
Além disso, com o aumento da concorrência homogeneizada e o número crescente de modelos de código aberto, os fornecedores de grandes modelos puros podem enfrentar desafios maiores.
O sucesso do iPhone 4 não se deve ao processador A4 de 45nm, mas sim ao fato de poder jogar aplicações como Plantas vs. Zumbis e Angry Birds.
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
7 Curtidas
Recompensa
7
5
Repostar
Compartilhar
Comentário
0/400
BearMarketNoodler
· 08-10 06:40
clássica faca de fazer as pessoas de parvas de petróleo
Ver originalResponder0
RumbleValidator
· 08-09 23:00
Os dados de teste de estabilidade não foram divulgados, tornando difícil verificar a credibilidade.
Ver originalResponder0
BanklessAtHeart
· 08-09 21:36
Partido Industrial em êxtase, Código aberto é o futuro. Sugiro investir.
Competição de grandes modelos de IA: de avanços acadêmicos a uma batalha mais longa.
Competição de Grandes Modelos de IA: Do Foco Acadêmico aos Desafios de Engenharia
No mês passado, houve uma intensa "guerra dos animais" no campo da IA.
De um lado está o Llama, um modelo de código aberto muito popular entre os desenvolvedores devido à sua natureza de código aberto. Do outro lado, temos o Falcon, um grande modelo. Em maio, após o lançamento do Falcon-40B, ele superou o Llama, alcançando o topo do ranking de LLMs de código aberto.
Este ranking é produzido pela comunidade de modelos de código aberto e fornece padrões para avaliar a capacidade de LLM. A classificação basicamente alterna entre Llama e Falcon. Após o lançamento do Llama 2, a família de lhamas ficou temporariamente à frente; mas no início de setembro, o Falcon lançou a versão 180B, alcançando novamente uma classificação mais alta.
Curiosamente, os desenvolvedores do "Falcão" não são uma empresa de tecnologia, mas sim um instituto de pesquisa em inovação tecnológica da capital dos Emirados Árabes Unidos. Fontes do governo afirmaram que eles estão envolvidos neste projeto para desafiar os jogadores principais.
Hoje, o campo da IA entrou numa fase de grande diversidade. Países e empresas com capacidade estão a desenvolver os seus próprios modelos de linguagem grandes. Apenas na região do Golfo, há mais de um jogador - em agosto, a Arábia Saudita acabou de comprar mais de 3000 chips H100 para universidades locais para treinar LLM.
Um investidor se queixou: "Naquela época, desdenhei da inovação do modelo de negócios da internet, achando que não havia barreiras. Não esperava que o empreendedorismo em grandes modelos de tecnologia ainda fosse uma batalha de cem modelos..."
Como é que a tecnologia de ponta, considerada de alta dificuldade, se tornou uma tendência em que todos podem participar?
A Ascensão do Transformer
As startups americanas, gigantes tecnológicos chineses e magnatas do petróleo do Oriente Médio podem se envolver em modelos de grande escala, tudo graças ao famoso artigo "Attention Is All You Need".
Em 2017, oito cientistas da computação publicaram o algoritmo Transformer neste artigo. Este artigo é atualmente a terceira obra mais citada na história da IA, e o surgimento do Transformer desencadeou esta onda de entusiasmo pela IA.
Os atuais grandes modelos, incluindo a série GPT que tem causado sensação em todo o mundo, são todos baseados na arquitetura Transformer.
Antes disso, "ensinar as máquinas a ler" sempre foi um problema acadêmico reconhecido. Diferente do reconhecimento de imagem, na leitura humana não se foca apenas nas palavras e frases atuais, mas também se considera o contexto para a compreensão. As entradas das primeiras redes neurais eram independentes entre si, incapazes de entender textos longos, o que frequentemente resultava em erros de tradução.
Em 2014, o cientista da Google Ilya Sutskever fez um avanço pela primeira vez. Ele utilizou redes neurais recorrentes (RNN) para processar linguagem natural, melhorando significativamente o desempenho do Google Tradutor. O RNN propôs um "design cíclico", permitindo que cada neurônio recebesse simultaneamente a entrada atual e a do momento anterior, adquirindo assim a capacidade de "combinar o contexto".
A aparição das RNNs acendeu o entusiasmo de pesquisa na academia, mas os desenvolvedores rapidamente descobriram que havia sérios defeitos: o algoritmo utiliza cálculos sequenciais, embora resolva o problema de contexto, a eficiência de execução é baixa, tornando difícil lidar com um grande número de parâmetros.
Desde 2015, Noam Shazeer e outros 8 pesquisadores começaram a desenvolver uma alternativa ao RNN, cujo resultado final é o Transformer. Em comparação com o RNN, o Transformer trouxe duas grandes inovações: a primeira foi substituir o design cíclico por codificação de posição, permitindo o cálculo em paralelo, aumentando significativamente a eficiência do treinamento e impulsionando a IA para a era dos grandes modelos; a segunda foi fortalecer ainda mais a capacidade de compreensão do contexto.
O Transformer resolveu de uma vez vários defeitos, evoluindo gradualmente para uma solução mainstream na área de NLP. Ele transformou grandes modelos de uma questão de pesquisa teórica para um problema puramente de engenharia.
Em 2019, a OpenAI desenvolveu o GPT-2 com base no Transformer, surpreendendo a academia. O Google imediatamente lançou o Meena, que superou o GPT-2 apenas aumentando os parâmetros e a capacidade de cálculo. Isso deixou Shazeer, um dos autores do Transformer, profundamente chocado, que escreveu um memorando intitulado "Meena devora o mundo".
Após o surgimento do Transformer, a velocidade de inovação dos algoritmos de base na academia diminuiu significativamente. Elementos de engenharia como engenharia de dados, escala de poder computacional e arquitetura de modelos tornaram-se cada vez mais cruciais na competição de IA. Qualquer empresa com um certo nível de capacidade técnica pode desenvolver grandes modelos.
O cientista da computação Andrew Ng, durante uma palestra na Universidade de Stanford, apontou: "A IA é um conjunto de ferramentas, incluindo aprendizado supervisionado, aprendizado não supervisionado, aprendizado por reforço e IA generativa. Todas essas são tecnologias gerais, semelhantes à eletricidade e à internet."
Embora a OpenAI continue a ser a referência em LLM, as instituições de análise acreditam que a principal vantagem do GPT-4 reside nas soluções de engenharia. Se for open source, qualquer concorrente poderá copiar rapidamente. Este analista prevê que outras grandes empresas de tecnologia em breve conseguirão criar grandes modelos com desempenho equivalente ao do GPT-4.
Muralha Frágil
Hoje, a "batalha das centenas de modelos" já não é uma expressão exagerada, mas uma realidade objetiva.
Relatórios relacionados mostram que, até julho deste ano, o número de grandes modelos no país já alcançou 130, superando os 114 dos Estados Unidos. Diversos mitos e lendas já não são suficientes para as empresas de tecnologia nacionais nomearem seus produtos.
Além da China e dos EUA, alguns países mais ricos também começaram a implementar "um país, um modelo": o Japão e os Emirados Árabes Unidos já têm seus próprios grandes modelos, além do Bhashini, liderado pelo governo indiano, e do HyperClova X, desenvolvido pela empresa sul-coreana Naver.
Este cenário parece levar-nos de volta à era das bolhas do início da internet. Como mencionado anteriormente, o Transformer transformou os grandes modelos em um mero problema de engenharia; desde que alguém tenha dinheiro e uma placa gráfica, o resto fica a cargo dos parâmetros. No entanto, embora a barreira de entrada não seja alta, isso não significa que todos possam se tornar gigantes na era da IA.
O "Animal Battle" mencionado no início é um caso típico: embora o Falcon tenha superado o Llama no ranking, é difícil dizer qual foi o impacto real sobre a Meta.
É do conhecimento geral que as empresas abrem suas conquistas não apenas para compartilhar os benefícios da tecnologia, mas também para mobilizar a inteligência social. À medida que diversos setores continuam a usar e aprimorar o Llama, a Meta pode aplicar essas conquistas em seus próprios produtos.
Para grandes modelos de código aberto, uma comunidade de desenvolvedores ativa é a verdadeira vantagem competitiva.
A Meta estabeleceu uma rota de código aberto quando criou o laboratório de IA em 2015; Zuckerberg começou com redes sociais e conhece melhor a arte de "manter boas relações com o público".
Em outubro, a Meta também realizou uma atividade chamada "Incentivo a Criadores em AI": desenvolvedores que usam o Llama 2 para resolver problemas sociais como educação e meio ambiente têm a oportunidade de receber um financiamento de 500 mil dólares.
Hoje, a série Llama da Meta tornou-se um marco para LLMs de código aberto. Até o início de outubro, 8 dos 10 principais LLMs de um ranking de código aberto eram baseados no Llama 2. Apenas nesta plataforma, existem mais de 1500 LLMs que utilizam o protocolo de código aberto do Llama 2.
Claro, melhorar o desempenho como o Falcon também não é uma má ideia, mas atualmente a maioria dos LLMs no mercado ainda apresenta uma diferença significativa em relação ao GPT-4.
Por exemplo, recentemente, o GPT-4 obteve a primeira posição no teste AgentBench com uma pontuação de 4,41. O AgentBench foi lançado pela Universidade de Tsinghua em parceria com várias universidades renomadas dos Estados Unidos, para avaliar a capacidade de raciocínio e decisão de LLM em ambientes abertos multidimensionais. O conteúdo do teste abrange 8 cenários diferentes, incluindo sistemas operacionais, bancos de dados, gráficos de conhecimento, e batalhas de cartas.
Os resultados dos testes mostram que o segundo colocado, Claude, obteve apenas 2,77 pontos, com uma diferença ainda bastante evidente. Quanto aos LLMs de código aberto que têm gerado muito alvoroço, a maioria obteve cerca de 1 ponto, não chegando a um quarto do GPT-4.
É importante saber que o GPT-4 foi lançado em março deste ano, e isso é o resultado de mais de meio ano de concorrência global. A diferença é causada pela excelente equipe de cientistas da OpenAI e pela experiência acumulada em pesquisa de LLM, o que lhes permite manter-se sempre à frente.
Ou seja, a principal vantagem dos grandes modelos não são os parâmetros, mas sim a construção de ecossistemas ( código aberto ) ou pura capacidade de inferência ( código fechado ).
Com a crescente atividade da comunidade de código aberto, o desempenho de vários LLM pode tender a se igualar, uma vez que todos estão utilizando arquiteturas de modelos e conjuntos de dados semelhantes.
Outro problema mais intuitivo é: além do Midjourney, parece que nenhum outro grande modelo conseguiu realmente ser lucrativo.
Onde está o ponto de âncora do valor
Em agosto deste ano, um artigo intitulado "OpenAI pode falir até ao final de 2024" chamou a atenção. O tema do artigo pode ser resumido em uma frase: a velocidade com que a OpenAI está queimando dinheiro é demasiado rápida.
O texto menciona que, desde o desenvolvimento do ChatGPT, as perdas da OpenAI aumentaram rapidamente, com um prejuízo de cerca de 540 milhões de dólares apenas em 2022, dependendo apenas do investimento da Microsoft para se sustentar.
Embora o título do artigo seja exagerado, ele também revela a situação de muitos fornecedores de grandes modelos: um sério desequilíbrio entre custos e receitas.
Custos excessivos fazem com que atualmente apenas a NVIDIA ganhe muito dinheiro com IA, no máximo somando a Broadcom.
De acordo com a consultora Omdia, a NVIDIA vendeu mais de 300.000 placas H100 no segundo trimestre deste ano. Este é um chip com uma eficiência de treino de IA extremamente alta, e empresas de tecnologia e instituições de pesquisa em todo o mundo estão a comprá-las avidamente. Se empilhássemos essas 300.000 H100, o peso seria equivalente a 4,5 aviões Boeing 747.
A performance da NVIDIA disparou, com uma receita que aumentou 854% em relação ao ano anterior, surpreendendo Wall Street. Atualmente, o H100 está sendo comercializado no mercado de segunda mão por 40.000 a 50.000 dólares, enquanto seu custo de material é de apenas cerca de 3.000 dólares.
Os altos custos de computação tornaram-se, de certa forma, um obstáculo ao desenvolvimento da indústria. A Sequoia Capital estimou que as empresas de tecnologia em todo o mundo gastarão anualmente 200 mil milhões de dólares na construção de infraestrutura para grandes modelos; em comparação, grandes modelos podem gerar no máximo 75 mil milhões de dólares em receita por ano, havendo uma lacuna de pelo menos 125 mil milhões de dólares.
Além disso, à exceção de poucos casos como o Midjourney, a maioria das empresas de software ainda não encontrou um modelo de lucro claro após investir grandes quantias. Especialmente as explorações dos líderes do setor, a Microsoft e a Adobe, têm sido um pouco vacilantes.
A ferramenta de geração de código AI GitHub Copilot, desenvolvida em parceria entre a Microsoft e a OpenAI, custa 10 dólares por mês, mas devido aos custos operacionais, a Microsoft perde 20 dólares por usuário. Usuários intensivos podem fazer a Microsoft perder 80 dólares por mês. Com base nisso, estima-se que o Microsoft 365 Copilot, que tem um preço de 30 dólares, possa ter um prejuízo ainda maior.
Da mesma forma, a Adobe, que acabou de lançar a ferramenta Firefly AI, rapidamente lançou um sistema de pontos para evitar que os usuários o utilizem em excesso, o que poderia levar a perdas para a empresa. Assim que os usuários ultrapassarem a alocação mensal de pontos, a Adobe reduzirá a velocidade do serviço.
É importante saber que a Microsoft e a Adobe já são gigantes do software com cenários de negócios claros e uma grande quantidade de usuários pagantes. Por outro lado, a maioria dos modelos com parâmetros acumulados ainda tem como principal aplicação o chat.
É inegável que, se não fosse pelo surgimento do OpenAI e do ChatGPT, essa revolução da IA provavelmente não teria acontecido; mas, no momento, o valor criado pelo treinamento de grandes modelos ainda pode ser discutido.
Além disso, com o aumento da concorrência homogeneizada e o número crescente de modelos de código aberto, os fornecedores de grandes modelos puros podem enfrentar desafios maiores.
O sucesso do iPhone 4 não se deve ao processador A4 de 45nm, mas sim ao fato de poder jogar aplicações como Plantas vs. Zumbis e Angry Birds.