مسابقة النماذج الكبيرة للذكاء الاصطناعي: من النقاط الساخنة الأكاديمية إلى المشكلات الهندسية
في الشهر الماضي، اندلعت "حرب الحيوانات" شرسة في مجال الذكاء الاصطناعي.
على جانب واحد يوجد لاما Llama، التي تحظى بشعبية كبيرة بين المطورين بفضل خصائصها مفتوحة المصدر. وعلى الجانب الآخر يوجد النموذج الكبير المسمى فالكون Falcon. في مايو، بعد ظهور Falcon-40B، تصدر قائمة LLM مفتوحة المصدر متفوقًا على لاما.
تم إنشاء هذا الترتيب من قبل مجتمع نماذج المصدر المفتوح، ويقدم معايير لتقييم قدرات LLM. الترتيب في الأساس يتناوب بين Llama و Falcon. بعد إطلاق Llama 2، تفوقت عائلة اللاما مؤقتًا؛ لكن في أوائل سبتمبر، أصدرت Falcon الإصدار 180B وحققت مرة أخرى ترتيبًا أعلى.
من المثير للاهتمام أن مطور "الصقر" ليس شركة تكنولوجيا، بل هو معهد للابتكار التكنولوجي في العاصمة الإماراتية. قال مسؤولون حكوميون إنهم يشاركون في هذا المشروع من أجل قلب موازين اللاعبين الرئيسيين.
اليوم، دخل مجال الذكاء الاصطناعي مرحلة ازدهار كبيرة. الدول والشركات القوية تعمل جميعها على تطوير نماذج لغوية ضخمة خاصة بها. فقط في منطقة الخليج يوجد أكثر من لاعب واحد - في أغسطس، اشترت المملكة العربية السعودية أكثر من 3000 شريحة H100 للجامعات المحلية لتدريب LLM.
أحد المستثمرين انتقد قائلاً: "في ذلك العام، لم نكن نعتقد أن نماذج الأعمال عبر الإنترنت لديها أي حواجز. لم نتوقع أن ريادة الأعمال في النماذج الكبيرة للتكنولوجيا الصلبة لا تزال تتنافس بشكل كبير..."
كيف أصبحت التكنولوجيا الصلبة التي يُدعى أنها صعبة المشاركة اتجاهاً يمكن للجميع الانخراط فيه؟
صعود المحولات
تشكر الشركات الناشئة الأمريكية، وعملاق التكنولوجيا الصيني، وأمراء النفط في الشرق الأوسط على قدرتهم على الانغماس في النماذج الكبيرة، تلك الورقة الشهيرة "Attention Is All You Need".
في عام 2017، أعلن ثمانية علماء حاسوب عن خوارزمية Transformer في هذه الورقة. هذه الورقة هي حالياً ثالث أكثر المراجع استشهاداً بها في تاريخ الذكاء الاصطناعي، وقد أدت ظهور Transformer إلى إشعال هذه الموجة الحالية من الذكاء الاصطناعي.
تستند النماذج الكبيرة الحالية، بما في ذلك سلسلة GPT التي أثارت ضجة عالمية، إلى أساس Transformer.
قبل ذلك، كانت "تعليم الآلات القراءة" تُعتبر مشكلة أكاديمية معترف بها. على عكس التعرف على الصور، يركز البشر أثناء القراءة ليس فقط على الكلمات والجمل الحالية، ولكن أيضًا على فهم السياق. كانت مدخلات الشبكات العصبية المبكرة مستقلة عن بعضها البعض، ولم تكن قادرة على فهم النصوص الطويلة، مما أدى إلى ظهور أخطاء في الترجمة.
في عام 2014، حقق عالم جوجل إليا ساتسكيفيل اختراقًا لأول مرة. استخدم الشبكات العصبية الدائرية (RNN) لمعالجة اللغة الطبيعية، مما أدى إلى تحسين كبير في أداء ترجمة جوجل. قدمت RNN "تصميمًا دائريًا"، مما جعل كل خلية عصبية تتلقى في الوقت نفسه مدخلات من اللحظة الحالية والسابقة، وبالتالي تمتلك القدرة على "دمج السياق".
أدى ظهور RNN إلى إشعال حماس البحث في الأوساط الأكاديمية، لكن المطورين سرعان ما اكتشفوا أنه يعاني من عيوب خطيرة: تستخدم هذه الخوارزمية حسابات متسلسلة، وعلى الرغم من أنها حلت مشكلة السياق، إلا أن كفاءتها التشغيلية منخفضة، مما يجعل من الصعب معالجة كميات كبيرة من المعلمات.
منذ عام 2015، بدأ نوام شازير وثمانية باحثين آخرين في تطوير بديل للشبكات العصبية المتكررة (RNN) ، وكانت النتيجة النهائية هي المحول (Transformer). مقارنةً بالشبكات العصبية المتكررة، يتمتع المحول بتحولين رئيسيين: الأول هو استبدال التصميم الدوري بترميز المواقع، مما يحقق حسابات متوازية ويزيد بشكل كبير من كفاءة التدريب، مما يدفع الذكاء الاصطناعي إلى عصر النماذج الكبيرة؛ والثاني هو تعزيز قدرة فهم السياق بشكل أكبر.
حوّل Transformer عدة عيوب إلى حل واحد، وتطور تدريجياً ليصبح الحل الرائد في مجال معالجة اللغة الطبيعية. لقد جعل النماذج الكبيرة من البحث النظري إلى مشكلة هندسية بحتة.
في عام 2019، طوّرت OpenAI نموذج GPT-2 بناءً على هيكل Transformer، مما أثار إعجاب الأوساط الأكاديمية. بعد ذلك، أطلقت Google نموذج Meena الذي يتمتع بأداء أقوى، متجاوزًا GPT-2 فقط عن طريق زيادة عدد المعاملات والقدرة الحسابية. أثار هذا دهشة شاذير، مؤلف Transformer، الذي كتب مذكرة بعنوان "Meena تلتهم العالم".
بعد ظهور Transformer، تباطأ معدل الابتكار في خوارزميات القاع في الأوساط الأكاديمية بشكل كبير. أصبحت عناصر الهندسة مثل هندسة البيانات، وحجم القوة الحسابية، وبنية النموذج، عوامل رئيسية في المنافسة في مجال الذكاء الاصطناعي. يمكن لأي شركة تمتلك مستوى معين من القوة التقنية تطوير نموذج كبير.
أشار عالم الكمبيوتر أندرو نج خلال خطابه في جامعة ستانفورد إلى: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت إشراف، التعلم بدون إشراف، التعلم المعزز، والذكاء الاصطناعي التوليدي. كل هذه تقنيات عامة، تشبه الكهرباء والإنترنت."
على الرغم من أن OpenAI لا تزال تعتبر معيارًا في نماذج اللغة الكبيرة (LLM)، إلا أن وكالات التحليل ترى أن ميزة GPT-4 تكمن بشكل رئيسي في حلول الهندسة. إذا تم فتح المصدر، يمكن لأي منافس نسخها بسرعة. يتوقع المحلل أن شركات التكنولوجيا الكبرى الأخرى ستتمكن قريبًا من تطوير نماذج كبيرة تعادل أداء GPT-4.
خندق ضعيف
اليوم، لم تعد "معركة المئة نموذج" مجرد عبارة مبالغ فيها، بل أصبحت واقعاً موضوعياً.
تشير التقارير ذات الصلة إلى أنه حتى يوليو من هذا العام، وصل عدد النماذج الكبيرة المحلية إلى 130، متجاوزًا 114 نموذجًا في الولايات المتحدة. لم تعد الأساطير المختلفة كافية لتسمية الشركات التكنولوجية المحلية.
بخلاف الولايات المتحدة والصين، حققت بعض الدول الأكثر ثراءً أيضًا "نموذج دولة واحدة": حيث تمتلك اليابان والإمارات نموذجًا كبيرًا خاصًا بهما، بالإضافة إلى Bhashini الذي تقوده الحكومة الهندية وHyperClova X الذي أنشأته شركة الإنترنت الكورية Naver.
يبدو أن هذا المشهد يعود إلى عصر الفقاعة في أوائل الإنترنت. كما ذُكر سابقًا، جعلت تقنية Transformer النموذج الكبير مجرد مشكلة هندسية، طالما أن هناك من لديه المال وبطاقات الرسوميات، فإن ما تبقى يُترك للمعلمات. لكن رغم أن عتبة الدخول ليست عالية، فهذا لا يعني أن الجميع يمكنهم أن يصبحوا عمالقة في عصر الذكاء الاصطناعي.
العبارة المذكورة في البداية "حرب الحيوانات" هي مثال نموذجي: على الرغم من أن Falcon قد تفوق في الترتيب على Llama، إلا أنه من الصعب القول إنه أثر بشكل كبير على Meta.
من المعروف أن الشركات تفتح مصادر إنجازاتها، ليس فقط لمشاركة فوائد التكنولوجيا، ولكن أيضًا لتشجيع الذكاء الاجتماعي. مع استمرار مختلف القطاعات في استخدام وتحسين Llama، يمكن لشركة ميتا تطبيق هذه الإنجازات في منتجاتها الخاصة.
بالنسبة لنموذج المصدر المفتوح الكبير، فإن مجتمع المطورين النشط هو القوة التنافسية الأساسية.
أنشأت ميتا مختبر الذكاء الاصطناعي في عام 2015 ووضعت مسارًا مفتوحًا؛ بدأ زوكربيرغ من خلال وسائل التواصل الاجتماعي، ويفهم بشكل أعمق "كيفية تحسين العلاقات مع الجماهير".
في أكتوبر، نظمت ميتا نشاط "تحفيز المبدعين بنسخة الذكاء الاصطناعي": المطورون الذين يستخدمون Llama 2 لحل المشكلات الاجتماعية مثل التعليم والبيئة لديهم فرصة للحصول على تمويل بقيمة 500,000 دولار.
اليوم، أصبحت سلسلة Llama من Meta بمثابة معيار لموديلات اللغة المفتوحة المصدر. اعتبارًا من أوائل أكتوبر، كان من بين أفضل 10 نماذج لغة مفتوحة المصدر، 8 منها مطورة على أساس Llama 2. فقط على هذه المنصة، هناك أكثر من 1500 نموذج لغة مفتوحة المصدر يستخدم بروتوكول Llama 2.
بالطبع، من الممكن تحسين الأداء مثل Falcon، لكن معظم نماذج LLM في السوق لا تزال تعاني من فجوة واضحة مقارنة بـ GPT-4.
على سبيل المثال، في وقت سابق، احتل GPT-4 المركز الأول في اختبار AgentBench بنتيجة 4.41. تم إطلاق AgentBench من قبل جامعة تسينغهوا وعدد من الجامعات الأمريكية الشهيرة، ويستخدم لتقييم قدرة LLM على التفكير واتخاذ القرار في بيئات مفتوحة متعددة الأبعاد، ويغطي محتوى الاختبار ثمانية مشاهد مختلفة، بما في ذلك أنظمة التشغيل، وقواعد البيانات، ورسم الخرائط المعرفية، ومعارك البطاقات.
أظهرت نتائج الاختبار أن المركز الثاني Claude حصل فقط على 2.77 نقطة، ولا يزال الفارق واضحًا. أما بالنسبة لتلك النماذج المفتوحة المصدر ذات الضجيج الكبير، فإن درجاتها تتراوح غالبًا حول 1 نقطة، أي أقل من ربع درجة GPT-4.
من المعروف أن GPT-4 تم إصداره في مارس من هذا العام، وهذا هو نتيجة جهود عالمية استمرت لأكثر من نصف عام. السبب في هذه الفجوة هو الفريق العلمي المتميز في OpenAI والخبرة الطويلة التي تم جمعها في أبحاث LLM، مما يجعلهم قادرين على الحفاظ على الريادة.
بعبارة أخرى، فإن الميزة الأساسية للنموذج الكبير ليست المعلمات، بل بناء النظام البيئي ( مفتوح المصدر ) أو القدرة البحتة على الاستدلال ( مغلق المصدر ).
مع تزايد نشاط مجتمع المصادر المفتوحة، قد تتقارب أداءات LLM المختلفة، لأن الجميع يستخدمون هياكل نماذج ومجموعات بيانات مماثلة.
مشكلة أخرى أكثر وضوحًا هي: ما عدا Midjourney، يبدو أنه لا يوجد نموذج كبير آخر يمكن أن يحقق ربحًا حقيقيًا.
أين يكمن نقطة القيمة
في أغسطس من هذا العام، أثار مقال بعنوان "OpenAI قد تفلس بحلول نهاية عام 2024" اهتمامًا. يمكن تلخيص جوهر المقالة في جملة واحدة: إن سرعة إنفاق OpenAI مرتفعة جدًا.
أشير في النص إلى أنه منذ تطوير ChatGPT، توسعت خسائر OpenAI بسرعة، حيث خسرت حوالي 540 مليون دولار فقط في عام 2022، مما جعلها تعتمد على استثمارات مايكروسوفت للدعم.
على الرغم من أن عنوان المقال مبالغ فيه، إلا أنه يعبر عن وضع العديد من مزودي النماذج الكبيرة: هناك عدم توازن شديد بين التكاليف والإيرادات.
التكاليف المرتفعة تؤدي إلى أن الشركات الوحيدة التي تحقق أرباحًا كبيرة من الذكاء الاصطناعي حاليًا هي إنفيديا، وربما أيضًا برودكوم.
وفقًا لشركة الاستشارات Omdia، تقدر أن إنفيديا قد باعت أكثر من 300,000 وحدة من H100 في الربع الثاني من هذا العام. هذه شريحة تتمتع بكفاءة عالية في تدريب الذكاء الاصطناعي، وتتنافس الشركات التكنولوجية العالمية والمؤسسات البحثية على شرائها. إذا تم تكديس 300,000 وحدة من H100، فإن وزنها يعادل وزن 4.5 طائرات بوينغ 747.
حققت إنفيديا أداءً مذهلاً، حيث زادت الإيرادات بنسبة 854% مقارنة بالعام الماضي، مما صدم وول ستريت. حالياً، يتم تداول H100 في السوق الثانوية بسعر يتراوح بين 40,000 إلى 50,000 دولار، بينما تكاليف المواد الخاصة به تبلغ حوالي 3,000 دولار.
أصبحت تكلفة قوة الحوسبة المرتفعة إلى حد ما عقبة أمام تطوير الصناعة. وقد قدرت شركة سيكويا كابيتال أن الشركات التكنولوجية العالمية ستنفق حوالي 200 مليار دولار سنويًا على بناء البنية التحتية للنماذج الكبيرة؛ بالمقابل، يمكن أن تولد النماذج الكبيرة إيرادات تصل إلى 75 مليار دولار سنويًا، مما يترك فجوة لا تقل عن 125 مليار دولار.
علاوة على ذلك، باستثناء بعض الاستثناءات مثل Midjourney، لم تتمكن معظم شركات البرمجيات من العثور على نموذج ربح واضح على الرغم من استثمارها مبالغ ضخمة. خاصة أن استكشاف قادة الصناعة مثل مايكروسوفت وأدوبي كان متعثراً بعض الشيء.
أداة توليد الشيفرة بالذكاء الاصطناعي GitHub Copilot التي طورتها مايكروسوفت بالتعاون مع OpenAI، رغم أن رسومها الشهرية تبلغ 10 دولارات، إلا أن مايكروسوفت تخسر 20 دولارًا لكل مستخدم بسبب تكاليف المرافق، والمستخدمون المكثفون قد يتسببون في خسارة مايكروسوفت 80 دولارًا شهريًا. بناءً على ذلك، من المحتمل أن تكون خسائر Microsoft 365 Copilot التي تبلغ رسومها 30 دولارًا أكبر.
في الوقت نفسه، أطلقت شركة أدوبي، التي أصدرت أداة Firefly AI، نظام النقاط بسرعة لمنع المستخدمين من الإفراط في الاستخدام مما يؤدي إلى خسائر للشركة. بمجرد أن يتجاوز المستخدم النقاط المخصصة شهريًا، ستقلل أدوبي من سرعة الخدمة.
من المعروف أن مايكروسوفت وأدوبي هما عمالقة البرمجيات ذوو مشاهد أعمال واضحة ولديهما عدد كبير من المستخدمين المدفوعين. في حين أن معظم النماذج الكبيرة التي تحتوي على عدد هائل من المعلمات، لا يزال أكبر تطبيق لها هو الدردشة.
لا يمكن إنكار أنه لولا ظهور OpenAI و ChatGPT، ربما لم تكن ثورة الذكاء الاصطناعي ستحدث على الإطلاق؛ لكن في الوقت الحالي، يبدو أن القيمة التي تم إنشاؤها من تدريب النماذج الكبيرة لا تزال محل نقاش.
علاوة على ذلك، مع تزايد حدة المنافسة المتماثلة، وزيادة عدد النماذج مفتوحة المصدر، قد يواجه مزودو النماذج الكبيرة تحديات أكبر.
لم يكن نجاح iPhone 4 ناتجًا عن معالج A4 بدقة 45 نانومتر، بل لأنه كان قادرًا على تشغيل تطبيقات مثل Plants vs. Zombies وAngry Birds.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 7
أعجبني
7
5
إعادة النشر
مشاركة
تعليق
0/400
BearMarketNoodler
· 08-10 06:40
الكلاسيكية الحصاد ثروة النفط خداع الناس لتحقيق الربح
شاهد النسخة الأصليةرد0
RumbleValidator
· 08-09 23:00
لم يتم إصدار بيانات اختبار الاستقرار، مما يجعل من الصعب التحقق من المصداقية.
شاهد النسخة الأصليةرد0
BanklessAtHeart
· 08-09 21:36
حزب الصناعة في حالة جنون الفرح مفتوح المصدر هو المستقبل نصيحة للانطلاق
مسابقة نماذج الذكاء الاصطناعي: من الاختراقات الأكاديمية إلى أطول المعارك
مسابقة النماذج الكبيرة للذكاء الاصطناعي: من النقاط الساخنة الأكاديمية إلى المشكلات الهندسية
في الشهر الماضي، اندلعت "حرب الحيوانات" شرسة في مجال الذكاء الاصطناعي.
على جانب واحد يوجد لاما Llama، التي تحظى بشعبية كبيرة بين المطورين بفضل خصائصها مفتوحة المصدر. وعلى الجانب الآخر يوجد النموذج الكبير المسمى فالكون Falcon. في مايو، بعد ظهور Falcon-40B، تصدر قائمة LLM مفتوحة المصدر متفوقًا على لاما.
تم إنشاء هذا الترتيب من قبل مجتمع نماذج المصدر المفتوح، ويقدم معايير لتقييم قدرات LLM. الترتيب في الأساس يتناوب بين Llama و Falcon. بعد إطلاق Llama 2، تفوقت عائلة اللاما مؤقتًا؛ لكن في أوائل سبتمبر، أصدرت Falcon الإصدار 180B وحققت مرة أخرى ترتيبًا أعلى.
من المثير للاهتمام أن مطور "الصقر" ليس شركة تكنولوجيا، بل هو معهد للابتكار التكنولوجي في العاصمة الإماراتية. قال مسؤولون حكوميون إنهم يشاركون في هذا المشروع من أجل قلب موازين اللاعبين الرئيسيين.
اليوم، دخل مجال الذكاء الاصطناعي مرحلة ازدهار كبيرة. الدول والشركات القوية تعمل جميعها على تطوير نماذج لغوية ضخمة خاصة بها. فقط في منطقة الخليج يوجد أكثر من لاعب واحد - في أغسطس، اشترت المملكة العربية السعودية أكثر من 3000 شريحة H100 للجامعات المحلية لتدريب LLM.
أحد المستثمرين انتقد قائلاً: "في ذلك العام، لم نكن نعتقد أن نماذج الأعمال عبر الإنترنت لديها أي حواجز. لم نتوقع أن ريادة الأعمال في النماذج الكبيرة للتكنولوجيا الصلبة لا تزال تتنافس بشكل كبير..."
كيف أصبحت التكنولوجيا الصلبة التي يُدعى أنها صعبة المشاركة اتجاهاً يمكن للجميع الانخراط فيه؟
صعود المحولات
تشكر الشركات الناشئة الأمريكية، وعملاق التكنولوجيا الصيني، وأمراء النفط في الشرق الأوسط على قدرتهم على الانغماس في النماذج الكبيرة، تلك الورقة الشهيرة "Attention Is All You Need".
في عام 2017، أعلن ثمانية علماء حاسوب عن خوارزمية Transformer في هذه الورقة. هذه الورقة هي حالياً ثالث أكثر المراجع استشهاداً بها في تاريخ الذكاء الاصطناعي، وقد أدت ظهور Transformer إلى إشعال هذه الموجة الحالية من الذكاء الاصطناعي.
تستند النماذج الكبيرة الحالية، بما في ذلك سلسلة GPT التي أثارت ضجة عالمية، إلى أساس Transformer.
قبل ذلك، كانت "تعليم الآلات القراءة" تُعتبر مشكلة أكاديمية معترف بها. على عكس التعرف على الصور، يركز البشر أثناء القراءة ليس فقط على الكلمات والجمل الحالية، ولكن أيضًا على فهم السياق. كانت مدخلات الشبكات العصبية المبكرة مستقلة عن بعضها البعض، ولم تكن قادرة على فهم النصوص الطويلة، مما أدى إلى ظهور أخطاء في الترجمة.
في عام 2014، حقق عالم جوجل إليا ساتسكيفيل اختراقًا لأول مرة. استخدم الشبكات العصبية الدائرية (RNN) لمعالجة اللغة الطبيعية، مما أدى إلى تحسين كبير في أداء ترجمة جوجل. قدمت RNN "تصميمًا دائريًا"، مما جعل كل خلية عصبية تتلقى في الوقت نفسه مدخلات من اللحظة الحالية والسابقة، وبالتالي تمتلك القدرة على "دمج السياق".
أدى ظهور RNN إلى إشعال حماس البحث في الأوساط الأكاديمية، لكن المطورين سرعان ما اكتشفوا أنه يعاني من عيوب خطيرة: تستخدم هذه الخوارزمية حسابات متسلسلة، وعلى الرغم من أنها حلت مشكلة السياق، إلا أن كفاءتها التشغيلية منخفضة، مما يجعل من الصعب معالجة كميات كبيرة من المعلمات.
منذ عام 2015، بدأ نوام شازير وثمانية باحثين آخرين في تطوير بديل للشبكات العصبية المتكررة (RNN) ، وكانت النتيجة النهائية هي المحول (Transformer). مقارنةً بالشبكات العصبية المتكررة، يتمتع المحول بتحولين رئيسيين: الأول هو استبدال التصميم الدوري بترميز المواقع، مما يحقق حسابات متوازية ويزيد بشكل كبير من كفاءة التدريب، مما يدفع الذكاء الاصطناعي إلى عصر النماذج الكبيرة؛ والثاني هو تعزيز قدرة فهم السياق بشكل أكبر.
حوّل Transformer عدة عيوب إلى حل واحد، وتطور تدريجياً ليصبح الحل الرائد في مجال معالجة اللغة الطبيعية. لقد جعل النماذج الكبيرة من البحث النظري إلى مشكلة هندسية بحتة.
في عام 2019، طوّرت OpenAI نموذج GPT-2 بناءً على هيكل Transformer، مما أثار إعجاب الأوساط الأكاديمية. بعد ذلك، أطلقت Google نموذج Meena الذي يتمتع بأداء أقوى، متجاوزًا GPT-2 فقط عن طريق زيادة عدد المعاملات والقدرة الحسابية. أثار هذا دهشة شاذير، مؤلف Transformer، الذي كتب مذكرة بعنوان "Meena تلتهم العالم".
بعد ظهور Transformer، تباطأ معدل الابتكار في خوارزميات القاع في الأوساط الأكاديمية بشكل كبير. أصبحت عناصر الهندسة مثل هندسة البيانات، وحجم القوة الحسابية، وبنية النموذج، عوامل رئيسية في المنافسة في مجال الذكاء الاصطناعي. يمكن لأي شركة تمتلك مستوى معين من القوة التقنية تطوير نموذج كبير.
أشار عالم الكمبيوتر أندرو نج خلال خطابه في جامعة ستانفورد إلى: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت إشراف، التعلم بدون إشراف، التعلم المعزز، والذكاء الاصطناعي التوليدي. كل هذه تقنيات عامة، تشبه الكهرباء والإنترنت."
على الرغم من أن OpenAI لا تزال تعتبر معيارًا في نماذج اللغة الكبيرة (LLM)، إلا أن وكالات التحليل ترى أن ميزة GPT-4 تكمن بشكل رئيسي في حلول الهندسة. إذا تم فتح المصدر، يمكن لأي منافس نسخها بسرعة. يتوقع المحلل أن شركات التكنولوجيا الكبرى الأخرى ستتمكن قريبًا من تطوير نماذج كبيرة تعادل أداء GPT-4.
خندق ضعيف
اليوم، لم تعد "معركة المئة نموذج" مجرد عبارة مبالغ فيها، بل أصبحت واقعاً موضوعياً.
تشير التقارير ذات الصلة إلى أنه حتى يوليو من هذا العام، وصل عدد النماذج الكبيرة المحلية إلى 130، متجاوزًا 114 نموذجًا في الولايات المتحدة. لم تعد الأساطير المختلفة كافية لتسمية الشركات التكنولوجية المحلية.
بخلاف الولايات المتحدة والصين، حققت بعض الدول الأكثر ثراءً أيضًا "نموذج دولة واحدة": حيث تمتلك اليابان والإمارات نموذجًا كبيرًا خاصًا بهما، بالإضافة إلى Bhashini الذي تقوده الحكومة الهندية وHyperClova X الذي أنشأته شركة الإنترنت الكورية Naver.
يبدو أن هذا المشهد يعود إلى عصر الفقاعة في أوائل الإنترنت. كما ذُكر سابقًا، جعلت تقنية Transformer النموذج الكبير مجرد مشكلة هندسية، طالما أن هناك من لديه المال وبطاقات الرسوميات، فإن ما تبقى يُترك للمعلمات. لكن رغم أن عتبة الدخول ليست عالية، فهذا لا يعني أن الجميع يمكنهم أن يصبحوا عمالقة في عصر الذكاء الاصطناعي.
العبارة المذكورة في البداية "حرب الحيوانات" هي مثال نموذجي: على الرغم من أن Falcon قد تفوق في الترتيب على Llama، إلا أنه من الصعب القول إنه أثر بشكل كبير على Meta.
من المعروف أن الشركات تفتح مصادر إنجازاتها، ليس فقط لمشاركة فوائد التكنولوجيا، ولكن أيضًا لتشجيع الذكاء الاجتماعي. مع استمرار مختلف القطاعات في استخدام وتحسين Llama، يمكن لشركة ميتا تطبيق هذه الإنجازات في منتجاتها الخاصة.
بالنسبة لنموذج المصدر المفتوح الكبير، فإن مجتمع المطورين النشط هو القوة التنافسية الأساسية.
أنشأت ميتا مختبر الذكاء الاصطناعي في عام 2015 ووضعت مسارًا مفتوحًا؛ بدأ زوكربيرغ من خلال وسائل التواصل الاجتماعي، ويفهم بشكل أعمق "كيفية تحسين العلاقات مع الجماهير".
في أكتوبر، نظمت ميتا نشاط "تحفيز المبدعين بنسخة الذكاء الاصطناعي": المطورون الذين يستخدمون Llama 2 لحل المشكلات الاجتماعية مثل التعليم والبيئة لديهم فرصة للحصول على تمويل بقيمة 500,000 دولار.
اليوم، أصبحت سلسلة Llama من Meta بمثابة معيار لموديلات اللغة المفتوحة المصدر. اعتبارًا من أوائل أكتوبر، كان من بين أفضل 10 نماذج لغة مفتوحة المصدر، 8 منها مطورة على أساس Llama 2. فقط على هذه المنصة، هناك أكثر من 1500 نموذج لغة مفتوحة المصدر يستخدم بروتوكول Llama 2.
بالطبع، من الممكن تحسين الأداء مثل Falcon، لكن معظم نماذج LLM في السوق لا تزال تعاني من فجوة واضحة مقارنة بـ GPT-4.
على سبيل المثال، في وقت سابق، احتل GPT-4 المركز الأول في اختبار AgentBench بنتيجة 4.41. تم إطلاق AgentBench من قبل جامعة تسينغهوا وعدد من الجامعات الأمريكية الشهيرة، ويستخدم لتقييم قدرة LLM على التفكير واتخاذ القرار في بيئات مفتوحة متعددة الأبعاد، ويغطي محتوى الاختبار ثمانية مشاهد مختلفة، بما في ذلك أنظمة التشغيل، وقواعد البيانات، ورسم الخرائط المعرفية، ومعارك البطاقات.
أظهرت نتائج الاختبار أن المركز الثاني Claude حصل فقط على 2.77 نقطة، ولا يزال الفارق واضحًا. أما بالنسبة لتلك النماذج المفتوحة المصدر ذات الضجيج الكبير، فإن درجاتها تتراوح غالبًا حول 1 نقطة، أي أقل من ربع درجة GPT-4.
من المعروف أن GPT-4 تم إصداره في مارس من هذا العام، وهذا هو نتيجة جهود عالمية استمرت لأكثر من نصف عام. السبب في هذه الفجوة هو الفريق العلمي المتميز في OpenAI والخبرة الطويلة التي تم جمعها في أبحاث LLM، مما يجعلهم قادرين على الحفاظ على الريادة.
بعبارة أخرى، فإن الميزة الأساسية للنموذج الكبير ليست المعلمات، بل بناء النظام البيئي ( مفتوح المصدر ) أو القدرة البحتة على الاستدلال ( مغلق المصدر ).
مع تزايد نشاط مجتمع المصادر المفتوحة، قد تتقارب أداءات LLM المختلفة، لأن الجميع يستخدمون هياكل نماذج ومجموعات بيانات مماثلة.
مشكلة أخرى أكثر وضوحًا هي: ما عدا Midjourney، يبدو أنه لا يوجد نموذج كبير آخر يمكن أن يحقق ربحًا حقيقيًا.
أين يكمن نقطة القيمة
في أغسطس من هذا العام، أثار مقال بعنوان "OpenAI قد تفلس بحلول نهاية عام 2024" اهتمامًا. يمكن تلخيص جوهر المقالة في جملة واحدة: إن سرعة إنفاق OpenAI مرتفعة جدًا.
أشير في النص إلى أنه منذ تطوير ChatGPT، توسعت خسائر OpenAI بسرعة، حيث خسرت حوالي 540 مليون دولار فقط في عام 2022، مما جعلها تعتمد على استثمارات مايكروسوفت للدعم.
على الرغم من أن عنوان المقال مبالغ فيه، إلا أنه يعبر عن وضع العديد من مزودي النماذج الكبيرة: هناك عدم توازن شديد بين التكاليف والإيرادات.
التكاليف المرتفعة تؤدي إلى أن الشركات الوحيدة التي تحقق أرباحًا كبيرة من الذكاء الاصطناعي حاليًا هي إنفيديا، وربما أيضًا برودكوم.
وفقًا لشركة الاستشارات Omdia، تقدر أن إنفيديا قد باعت أكثر من 300,000 وحدة من H100 في الربع الثاني من هذا العام. هذه شريحة تتمتع بكفاءة عالية في تدريب الذكاء الاصطناعي، وتتنافس الشركات التكنولوجية العالمية والمؤسسات البحثية على شرائها. إذا تم تكديس 300,000 وحدة من H100، فإن وزنها يعادل وزن 4.5 طائرات بوينغ 747.
حققت إنفيديا أداءً مذهلاً، حيث زادت الإيرادات بنسبة 854% مقارنة بالعام الماضي، مما صدم وول ستريت. حالياً، يتم تداول H100 في السوق الثانوية بسعر يتراوح بين 40,000 إلى 50,000 دولار، بينما تكاليف المواد الخاصة به تبلغ حوالي 3,000 دولار.
أصبحت تكلفة قوة الحوسبة المرتفعة إلى حد ما عقبة أمام تطوير الصناعة. وقد قدرت شركة سيكويا كابيتال أن الشركات التكنولوجية العالمية ستنفق حوالي 200 مليار دولار سنويًا على بناء البنية التحتية للنماذج الكبيرة؛ بالمقابل، يمكن أن تولد النماذج الكبيرة إيرادات تصل إلى 75 مليار دولار سنويًا، مما يترك فجوة لا تقل عن 125 مليار دولار.
علاوة على ذلك، باستثناء بعض الاستثناءات مثل Midjourney، لم تتمكن معظم شركات البرمجيات من العثور على نموذج ربح واضح على الرغم من استثمارها مبالغ ضخمة. خاصة أن استكشاف قادة الصناعة مثل مايكروسوفت وأدوبي كان متعثراً بعض الشيء.
أداة توليد الشيفرة بالذكاء الاصطناعي GitHub Copilot التي طورتها مايكروسوفت بالتعاون مع OpenAI، رغم أن رسومها الشهرية تبلغ 10 دولارات، إلا أن مايكروسوفت تخسر 20 دولارًا لكل مستخدم بسبب تكاليف المرافق، والمستخدمون المكثفون قد يتسببون في خسارة مايكروسوفت 80 دولارًا شهريًا. بناءً على ذلك، من المحتمل أن تكون خسائر Microsoft 365 Copilot التي تبلغ رسومها 30 دولارًا أكبر.
في الوقت نفسه، أطلقت شركة أدوبي، التي أصدرت أداة Firefly AI، نظام النقاط بسرعة لمنع المستخدمين من الإفراط في الاستخدام مما يؤدي إلى خسائر للشركة. بمجرد أن يتجاوز المستخدم النقاط المخصصة شهريًا، ستقلل أدوبي من سرعة الخدمة.
من المعروف أن مايكروسوفت وأدوبي هما عمالقة البرمجيات ذوو مشاهد أعمال واضحة ولديهما عدد كبير من المستخدمين المدفوعين. في حين أن معظم النماذج الكبيرة التي تحتوي على عدد هائل من المعلمات، لا يزال أكبر تطبيق لها هو الدردشة.
لا يمكن إنكار أنه لولا ظهور OpenAI و ChatGPT، ربما لم تكن ثورة الذكاء الاصطناعي ستحدث على الإطلاق؛ لكن في الوقت الحالي، يبدو أن القيمة التي تم إنشاؤها من تدريب النماذج الكبيرة لا تزال محل نقاش.
علاوة على ذلك، مع تزايد حدة المنافسة المتماثلة، وزيادة عدد النماذج مفتوحة المصدر، قد يواجه مزودو النماذج الكبيرة تحديات أكبر.
لم يكن نجاح iPhone 4 ناتجًا عن معالج A4 بدقة 45 نانومتر، بل لأنه كان قادرًا على تشغيل تطبيقات مثل Plants vs. Zombies وAngry Birds.