<mark id="oztn4"></mark>
0
| 本文作者： 劉潔 | 2024-08-14 10:36 |
在大模型革命的第一波浪潮中，許多初創公司和企業基于領先的閉源模型，如OpenAI的ChatGPT設計自己的商業模式。然而，隨著越來越多新的開源模型的出現，大模型從訓練轉向推理，基于大模型的商業模式也在悄然改變。
最近，在人工智能領域，一家名為Fireworks AI的公司迅速嶄露頭角。在今年7月的B輪融資中，該公司在紅杉資本的領投下籌集了5200萬美元，估值達到了5.22億美元。
作為一個SaaS平臺，Fireworks AI專注于提供生成式人工智能推理和高質量的調優服務。公司致力于為客戶打造速度快、成本合理且高度可定制的生成式人工智能（GenAI）解決方案，滿足不同客戶的獨特需求。
在獲得融資一個月后，Fireworks AI首席執行官喬琳做客紅杉資本的Training Data Podcast，從自己之前領導 Meta 的 PyTorch 團隊重建了整個堆棧、滿足商業客戶的復雜需求開始，講述了Fireworks對大模型時代如何幫助客戶進行優化、創造價值的思考。AI科技評論節選了部分內容并進行了解讀，Podcast全文見：https://www.sequoiacap.com/podcast/training-data-lin-qiao/
喬琳創立Fireworks的初衷源自于一個特別的想法：縮短AI模型訓練和推理時間，以此推動各種AI應用的繁榮發展。在training data podcast的對談中，她分享了一個重要信息：Fireworks能夠加速整個行業的產品上市周期，將其從五年壓縮到五周甚至五天。而這一切，都離不開Fireworks最核心的AI框架，PyTorch。
喬琳在Meta的PyTorch團隊的工作經歷讓她注意到，無論是通用AI模型還是其他類型，越來越多的模型都在PyTorch中構建和運行。她認為這是由于PyTorch的漏斗效應，使其從研究人員的工具逐漸轉變為模型創建和生產應用的主流框架。
簡單、可以擴展，這是PyTorch的設計邏輯，也是研究人員喜歡PyTorch的原因。PyTorch的設計哲學是簡化用戶體驗，隱藏后端復雜性。類似地，Fireworks保留其美觀簡單的前端并重建后端，為用戶提供更快的開箱即用體驗。
例如，當Fireworks聚焦于以高性能提供推理時，他們手寫了 CUDA 內核，實現了跨節點的分布式推理，以及跨 GPU 的聚合推理，將模型分成幾部分，并以不同的方式進行縮放。此外Fireworks還實現了語義緩存，在給定內容的情況下不必重新計算。此外還專門捕獲應用程序工作負載模式，然后將其構建到其推理堆棧中。
這一切組合成一個完整的系統，而不僅僅是一個庫，能夠自動調整以適應開發者或企業工作負載。從客戶角度看，Fireworks提供了一個平臺，讓客戶能夠訪問100多個模型，并幫助他們微調和定制模型以滿足特定需求。
那PyTorch在里面又起了什么作用呢？
Fireworks用PyTorch替換其他的現有框架，讓研究人員和開發者能夠輕松地將他們現有的工作遷移到PyTorch上，就像替換一個普通的代碼庫一樣。這樣一來，就能夠讓研究和生產環境都能統一在PyTorch上，簡化開發流程并提高效率。
這個看似簡單的的替換過程實際上比預期的要復雜得多，因為它涉及到了整個推理和訓練堆棧的重建，以及對數據加載、分布式推理和訓練擴展等方面的優化。這個過程最終花費了五年時間，并且支持每天超過五萬億次推理；而現在，用戶可以通過Fireworks的這套系統，將五年的經驗壓縮到五天中。
越來越多的開源項目讓商業活動使用AI模型的成本越來越低，但喬琳認為，和其他開源項目對比，Fireworks的優勢不僅僅在于針對客戶需求定制模型。
與開源項目相比，使用Fireworks的成本更低，這不僅僅體現在經濟成本上，還包括了開發成本。Fireworks提供的是一套現成的解決方案，它減少了在嘗試和優化不同模型上所花費的時間和精力。
此外，Fireworks還能提供更低延遲的推理速度，以更低的成本實現更多功能。根據Fireworks官方數據，Fireworks的RAG速度比Groq要高9倍；Fireworks SDXL的圖像生成速度比其他提供商的平均水平高6倍；Fireworks的推測解碼速度更是能夠達到驚人的1000個令牌/秒。
與開源原始模型相比，Fireworks能將成本降低五倍，甚至在進一步微調的情況下降低三十倍。以vLLM為例，FireAttention吞吐量比vLLM高15倍，Mixtral 8x7b的每枚代幣價格要比vLLM低4倍。
Fireworks還提供了極致簡化的自動化服務。Fireworks在后端進行了大量的自動化工作，包括自動調整復雜性和性能優化。這一點是許多僅提供基礎庫和工具的開源項目所不具備的。Fireworks構建了一個完整的系統，能夠自動根據開發者或企業的工作負載進行調整，實現更高的性能和更優的質量。這種自動化服務不僅簡化了開發過程，也提高了整體的效率和產出。
許多初創公司在探索創意產品與市場契合度時，傾向于從OpenAI起步。然而，隨著業務規模的擴展，他們迫切需要選擇性能更優、延遲更低的AI模型來適應產品市場的需求。在這一關鍵時刻，Fireworks AI能夠提供既經濟又性能出色的AI解決方案。
喬琳觀察到，在與客戶的互動中，與CTO的接觸日益頻繁，這反映出整個行業正朝著創新驅動型業務轉型的方向迅速發展。這一轉變的背后有兩個主要原因：
首先，行業領導層都注意到了生成式人工智能（Generative Artificial Intelligence，GenAI）浪潮正在重塑行業格局。新興的初創公司正在以驚人的速度涌現。如果現有企業創新速度不夠快，不能高效利用生成式人工智能，就會很快被市場淘汰。
其次，生成式人工智能降低了AI模型訓練門檻。傳統人工智能訓練中，一般只有大規模公司才能提供訓練模型需要的海量數據和資源。但生成式人工智能的出現讓人們可以在已有的基礎模型上進行構建，通過微調得到合適的模型。
在這一行業變革中，通用小模型因其靈活性越來越受到商業用戶的青睞。Fireworks提供了大量規模在7B-13B之間的開源模型，在降低成本的同時，使開發人員能夠專注于更小、更集中的數據集，更高效地處理部分特定的業務。
盡管OpenAI等公司研發出了可隨意使用的通用款人工智能，但在某些領域，通用模型缺乏業務邏輯，無法滿足特定業務需求。
Fireworks AI的模型微調服務正是為了解決這一市場痛點。Fireworks要求客戶或開發人員首先收集并標記業務數據，然后根據具體情況選擇合適的微調算法，調整參數和模型權重等。Fireworks在后端處理復雜的技術問題，而在前端為客戶提供一個簡單易用的界面，并留給客戶足夠的設計空間。通過這種方式，Fireworks使客戶能夠輕松地定制和優化AI模型，以滿足其特定的業務需求。
Fireworks AI的愿景是構建一個能夠提供全面知識訪問的簡單API。
目前，公司已經開發了一百多個模型，包括大型語言模型、圖像生成模型、音頻生成模型、視頻生成模型、嵌入式模型和多模態模型，實現了廣泛的基礎模型覆蓋，并針對延遲、吞吐量和每個Token的成本進行了優化。
盡管這些基礎模型集合了豐富的知識和訓練數據，但它們所涵蓋的信息仍然有限。許多實時數據無法被捕獲，而且大量信息隱藏在不公開的API之后，無法直接訪問。
為了克服這些限制，Fireworks致力于創建一個功能強大的API，它能夠精確地調用不同的模型和API，實現對全部知識的訪問。在此基礎上，Fireworks想建立一個可以訪問數百名專家的專家混合網絡，每個專家都很小但很靈活，能夠針對特定問題提供高質量的解決方案。
喬琳相信，隨著AI模型規模收益的放緩，行業將轉向更注重模型適用性的優化。Fireworks AI憑借其創新的技術和定制化服務，完全有能力引領這一行業轉變，為用戶帶來更高效、更精準的AI應用體驗。
Fireworks AI于2022年底在加州創立，喬琳是 Fireworks AI 的首席執行官兼聯合創始人，她本科和研究生畢業于復旦大學完成了計算機科學專業，并擁有加州大學圣塔芭芭拉分校計算機科學博士學位。
2015年，喬琳加入了Meta（原Facebook）。當時正值公司AI技術從CPU向GPU轉型的關鍵時期，需要從頭開始設計AI基礎設施。她帶領團隊研發了Caffe2等創新模型；并在后來的幾年時間里帶領由300 多名世界級優秀工程師組成的Meta PyTorch團隊，領導開發了PyTorch及其周圍的整個系統，喬琳也被譽為“PyTorch之母”。Meta PyTorch團隊的研發成果給Facebook 數據中心提供了有力支持，并廣泛應用于數十億移動設備和數百萬 AR/VR 設備。
喬琳從PyTorch上了解到了開發人員在AI開發競賽中時面臨的巨大障礙，找到穩定可靠的模型和架構和較低的模型總擁有成本。面對這處市場空白，喬琳選擇離開Meta開啟新的事業。她和Dmytro Dzhulgakov、Dmytro Ivchenko、James Reed、趙晨宇、Pawel Garbacki還有Benny Chen一起創立了Fireworks。這一批來自Meta PyTorch團隊和GCP團隊的精英在AI框架和AI基礎設施方面有著深厚的背景，也正是這些專業知識能夠讓他們把復雜的AI構建不斷簡化，在保證靈活穩定的基礎上降低AI的使用成本。
曾和喬琳在Meta同組研究AI Infra的賈揚清，也在去年創立了自己的人工智能公司，Lepton AI。Lepton AI和Fireworks屬于同一賽道上的競爭對手。AI開發簡化這個賽道考驗的是團隊的技術經驗，只有技術大牛才有底氣創立團隊加入競爭。雷峰網雷峰網(公眾號：雷峰網)
喬琳的Fireworks也是打出了很有底氣的口號，“用于構建可用于生產的復合 AI 系統的最快、最高效的推理引擎”。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
