Công ty Startup Etched, có trụ sở tại San Francisco, đã công bố rằng con chip AI Sohu của họ có hiệu năng mạnh gấp 20 lần so với H100 của Nvidia.
Công bố ngày 26/6, Sohu là một dạng mạch tích hợp dành riêng cho ứng dụng (ASIC). Theo Etched, chip đánh bại GPU H100 của Nvidia về khả năng suy luận trong mô hình ngôn ngữ lớn (LLM). Một hệ thống với 8 chip Sohu có thể đạt hiệu suất tương đương 160 H100.
Etched cho biết rằng các hệ thống tăng tốc AI hiện nay, dù là CPU hay GPU, đều được thiết kế để tương thích với nhiều kiến trúc AI khác nhau. Chúng hỗ trợ đa dạng các mô hình, bao gồm Mạng thần kinh tích chập (Convolution Neural Network), Mạng bộ nhớ ngắn hạn (Short-term Memory Network) và mô hình không gian trạng thái (State Space Model).
Do các mô hình này được tối ưu hóa cho các kiến trúc khác nhau, phần lớn sức mạnh tính toán của chip AI hiện tại được dành cho khả năng lập trình, theo lời giải thích của Etched.
Theo ước tính của Etched, GPU H100 của Nvidia chỉ sử dụng 3,3% số bóng bán dẫn cho nhiệm vụ chính, trong khi 96,7% còn lại được sử dụng cho các nhiệm vụ khác. Điều này cho thấy sự lãng phí đáng kể, mặc dù vẫn cần thiết trên các chip AI đa năng.
Để giải quyết vấn đề này, công ty khởi nghiệp đã đưa vào Kiến trúc AI biến áp (kiến trúc Transformer) trong Sohu, cho phép phân bổ nhiều bóng bán dẫn hơn cho tính toán trí tuệ nhân tạo trên chip. Thay vì tạo ra một chip có thể đáp ứng mọi kiến trúc AI đơn lẻ, họ tập trung vào việc tối ưu hóa sản phẩm để chạy một dạng mô hình AI cụ thể.
Thực tế, kiến trúc Transformer cũng là nền tảng của GPT (Generative Pre-trained Transformer), tương tự với Sora, Gemini, Stable Diffusion và Dall-E.
Gavin Uberti của Etched chia sẻ với Reuters về việc đặt cược vào kiến trúc Transformer: “Đây là canh bạc của chúng tôi. Nếu Transformer biến mất, công ty chúng tôi sẽ sụp đổ. Nhưng nếu nó tiếp tục tồn tại, chúng tôi có tiềm năng trở thành một trong những công ty lớn nhất mọi thời đại.”
Etched vẫn chưa công bố giá bán của con chip Sohu. Trong khi đó, đối thủ cạnh tranh H100 của Nvidia hiện có giá 40.000 USD.
Theo đánh giá của Tom’s Hardware, các trung tâm xử lý dữ liệu có tiềm năng tiết kiệm hàng tỷ USD chi phí đầu tư và vận hành nếu Sohu đáp ứng được kỳ vọng. Sản phẩm này thậm chí có thể thách thức vị thế dẫn đầu của Nvidia. Tuy nhiên, hiệu quả thực tế của con chip Etched chỉ có thể được chứng minh khi nó chính thức hoạt động.