Trong nhiều năm, TPU chủ yếu được biết đến như loại chip Google tự thiết kế để vận hành các dịch vụ và mô hình AI của mình. Nhưng với TPU 8tx và TPU 8i Max, hãng đang cho thấy tham vọng rộng hơn: đưa công nghệ này từ “vũ khí nội bộ” thành một lựa chọn hạ tầng cho doanh nghiệp, trong bối cảnh Nvidia vẫn thống trị phần lớn thị trường chip AI.
Hai TPU mới cho hai bài toán đang ngày càng cấp thiết
Google vừa mở rộng thế hệ TPU thứ tám bằng hai hệ thống mới là TPU 8tx và TPU 8i Max. Đây cũng là lần đầu hãng giới thiệu tới bốn hệ thống TPU trong cùng một năm, cho thấy cách Google đang chia nhỏ bài toán AI theo từng nhu cầu cụ thể thay vì cố dùng một loại chip cho mọi việc.
TPU, viết tắt của Tensor Processing Unit, là bộ tăng tốc AI do Google tự thiết kế. Nếu CPU được tạo ra để xử lý nhiều loại công việc khác nhau, TPU tập trung vào những phép tính thường xuyên xuất hiện trong machine learning. GPU của Nvidia cũng rất mạnh ở lĩnh vực này và có lợi thế lớn nhờ hệ sinh thái CUDA, nhưng Google đang đi theo hướng tự tối ưu đồng thời chip, bộ nhớ, mạng kết nối và phần mềm để phục vụ các mô hình AI của mình.
TPU 8tx được phát triển chủ yếu cho những môi trường cần bảo vệ dữ liệu nhạy cảm. Trong các hệ thống thông thường, dữ liệu có thể được mã hóa khi lưu trữ hoặc truyền qua mạng, nhưng đến thời điểm CPU hay bộ tăng tốc cần xử lý, thông tin thường phải được giải mã trong bộ nhớ. Đây là khoảng thời gian nhạy cảm với ngân hàng, bệnh viện, cơ quan nhà nước hoặc doanh nghiệp sở hữu dữ liệu quan trọng.
Google muốn giải quyết khoảng trống này bằng cách kết hợp TPU 8tx với cơ chế confidential computing, cho phép dữ liệu và trọng số model tiếp tục được bảo vệ ngay cả khi hệ thống đang thực hiện tính toán. Có thể hình dung đây như một “phòng xử lý kín”: dữ liệu đi vào, AI thực hiện công việc bên trong, nhưng các thành phần nằm ngoài môi trường tin cậy không dễ nhìn thấy nội dung đang được xử lý.
Cách tiếp cận này đặc biệt phù hợp với AI agent. Khác chatbot chỉ nhận câu hỏi rồi trả lời, một agent trong doanh nghiệp có thể phải đọc hợp đồng, kho mã nguồn, email nội bộ hoặc dữ liệu khách hàng để hoàn thành chuỗi công việc kéo dài. Khi AI được trao quyền truy cập sâu hơn, việc bảo vệ dữ liệu ngay trong quá trình xử lý trở thành một yêu cầu thực tế chứ không còn là vấn đề mang tính lý thuyết.
TPU 8i Max lại đi theo hướng khác. Thay vì tập trung vào bảo mật, hệ thống này xử lý bài toán bộ nhớ khi model phải làm việc với lượng ngữ cảnh rất lớn. Một agent lập trình có thể cần đọc cả kho mã nguồn; hệ thống nghiên cứu có thể phải phân tích hàng nghìn trang tài liệu hoặc hàng giờ video trong cùng một phiên làm việc. Trong những tình huống đó, sức mạnh tính toán đơn thuần không đủ nếu chip liên tục phải chờ dữ liệu từ bộ nhớ.
Đây là vấn đề thường được gọi là “memory wall”. Google khắc phục bằng cách đưa hai chip TPU 8i vào cùng một package trên TPU 8i Max, qua đó tăng gấp đôi năng lực tính toán, SRAM và băng thông HBM so với 8i. HBM, hay bộ nhớ băng thông cao, là một trong những thành phần quan trọng nhất của hệ thống AI hiện đại, giúp dữ liệu được đưa tới bộ xử lý nhanh hơn nhiều so với các loại bộ nhớ truyền thống.
Điểm đáng chú ý là cả 8tx và 8i Max không chỉ nhằm làm chip “nhanh hơn”. Google đang tối ưu chúng cho hai kiểu nhu cầu mà doanh nghiệp hiện quan tâm nhất: dữ liệu phải an toàn hơn và model phải xử lý lượng thông tin lớn hơn trong một lần làm việc.
Google muốn TPU trở thành đối trọng rõ ràng hơn với Nvidia
Điều đáng chú ý hơn hai mẫu chip mới là cách Google đang thay đổi vai trò của TPU.
TPU xuất hiện hơn một thập kỷ trước để phục vụ những tác vụ nội bộ như nhận dạng giọng nói, dịch ngôn ngữ và sau này là huấn luyện các mô hình AI lớn. Trong nhiều năm, công nghệ này chủ yếu nằm phía sau các sản phẩm Google nên ít được người dùng phổ thông chú ý.
Bức tranh hiện nay đã khác.
Google ngày càng đưa TPU ra ngoài phạm vi nội bộ và muốn biến nó thành lựa chọn hạ tầng cho các doanh nghiệp sử dụng Google Cloud. Hãng cho biết hệ sinh thái TPU hiện đã có gần 100 khách hàng bên ngoài, gồm các phòng nghiên cứu AI, công ty tài chính, nhà bán lẻ và trường đại học.
Một số khách hàng thậm chí có thể triển khai TPU ngay trong trung tâm dữ liệu riêng. Điều này đặc biệt quan trọng với những tổ chức không muốn dữ liệu rời khỏi cơ sở vì yêu cầu bảo mật hoặc quy định ngành.
Tuy nhiên, phần cứng chỉ là một nửa cuộc chơi.
Một trong những lợi thế lớn nhất của Nvidia không chỉ nằm ở GPU mà ở hệ sinh thái phần mềm đã được xây dựng trong nhiều năm. CUDA, PyTorch và hàng loạt thư viện khiến rất nhiều ứng dụng AI hiện nay mặc định được tối ưu cho GPU Nvidia.
Nếu chuyển sang một loại chip khác đồng nghĩa với việc phải viết lại quá nhiều code, doanh nghiệp sẽ không dễ thay đổi.
Google vì vậy đang cố giảm rào cản này bằng TorchTPU, cho phép code PyTorch và nhiều model từ Hugging Face có thể chạy trên TPU mà không cần viết lại toàn bộ. Hãng cũng hỗ trợ các công cụ inference mã nguồn mở như vLLM và SGLang, đồng thời đưa thêm các agent hỗ trợ tự động tối ưu workload.
Một công nghệ đáng chú ý khác là TPU Sync, được thiết kế để quản lý trạng thái model hiệu quả hơn giữa HBM, RAM máy chủ, bộ nhớ dùng chung và mạng trung tâm dữ liệu. Google cho biết trong một số workload, cơ chế này giúp giảm mạnh độ trễ khi chuyển KV cache và thời gian chờ token đầu tiên.
Đây là vấn đề quan trọng với các agent chạy dài hơi. Một agent có thể làm việc trong hàng giờ nhưng không phải lúc nào cũng hoạt động liên tục. Có lúc nó phải chờ API, cơ sở dữ liệu hoặc người dùng phản hồi. Nếu trạng thái model luôn bị giữ trong loại bộ nhớ HBM đắt tiền suốt thời gian đó, chi phí vận hành sẽ rất lớn.
Việc có thể tạm chuyển dữ liệu ít dùng sang vùng bộ nhớ rẻ hơn rồi đưa trở lại khi cần sẽ giúp giảm chi phí cho cả hệ thống.
Tuy nhiên, chưa nên hiểu rằng Google đang tiến tới “thay thế Nvidia”. Thực tế, Google Cloud vẫn đồng thời mở rộng hợp tác với Nvidia và tiếp tục cung cấp hạ tầng GPU bên cạnh TPU.
Mối quan hệ này vừa hợp tác vừa cạnh tranh.
Google cần GPU Nvidia để đáp ứng nhu cầu rộng của khách hàng, trong khi TPU giúp hãng có thêm lựa chọn tự chủ về phần cứng, chi phí và thiết kế hệ thống. Với khách hàng, đây lại là điều tích cực vì thị trường có thêm một phương án ngoài GPU truyền thống.
Cuộc cạnh tranh vì thế không nằm ở việc chip nào “thắng tuyệt đối”, mà ở việc nền tảng nào phù hợp hơn với từng workload.
Người dùng không mua TPU nhưng vẫn chịu tác động từ cuộc đua này
Phần lớn người dùng sẽ không bao giờ trực tiếp nhìn thấy TPU 8tx hay 8i Max. Nhưng những chip như vậy vẫn có thể ảnh hưởng rõ tới trải nghiệm AI hàng ngày.
Tác động đầu tiên là tốc độ. Một chatbot hay agent phản hồi nhanh hay chậm không chỉ phụ thuộc vào model thông minh đến đâu mà còn phụ thuộc rất lớn vào bộ xử lý, bộ nhớ và mạng phía sau.
Nếu hệ thống xử lý context dài hiệu quả hơn, AI có thể đọc nhiều tài liệu hơn, phân tích video dài hơn hoặc làm việc với kho mã nguồn lớn mà không khiến thời gian phản hồi tăng quá mạnh.
Tác động thứ hai là chi phí. Vận hành AI hiện rất đắt, đặc biệt với các model lớn và agent làm việc nhiều bước. Nếu Google hoặc các hãng khác tăng được hiệu quả tính toán trên mỗi watt điện và mỗi USD phần cứng, chi phí mỗi lượt sử dụng AI có thể giảm.
Điều này có thể giúp doanh nghiệp cung cấp hạn mức cao hơn, đưa thêm tính năng xuống các gói rẻ hơn hoặc duy trì những agent hoạt động dài hơn mà không làm chi phí tăng quá nhanh.
Bảo mật là yếu tố thứ ba. TPU 8tx cho thấy các nhà cung cấp hạ tầng đang chuyển trọng tâm từ câu hỏi “AI mạnh đến đâu” sang “AI xử lý dữ liệu nhạy cảm an toàn đến mức nào”.
Với ngân hàng, bệnh viện, cơ quan nhà nước hoặc doanh nghiệp lớn, đây có thể là điều kiện quan trọng hơn cả benchmark.
Một model rất mạnh nhưng buộc dữ liệu quan trọng phải đi qua môi trường mà tổ chức không kiểm soát sẽ khó được triển khai rộng. Ngược lại, nếu dữ liệu được bảo vệ ngay trong quá trình tính toán, AI có cơ hội đi sâu hơn vào các quy trình thực tế.
Quan trọng hơn, sự xuất hiện của ngày càng nhiều bộ tăng tốc AI cũng tạo thêm cạnh tranh trong một thị trường đang phụ thuộc rất lớn vào Nvidia. Google có TPU, Amazon phát triển Trainium, Microsoft có Maia, trong khi nhiều hãng khác cũng đang tự thiết kế chip riêng.
Điều đó cho thấy ngành AI đang tiến tới giai đoạn chuyên biệt hóa mạnh hơn.
Thay vì một loại chip làm tất cả, các hệ thống có thể được tối ưu riêng cho huấn luyện model, suy luận thời gian thực, xử lý context dài, bảo mật hoặc các agent chạy liên tục.
Google đang thể hiện khá rõ hướng đi này trong TPU thế hệ tám. 8t phục vụ huấn luyện lớn, 8i tập trung suy luận, 8tx hướng tới dữ liệu nhạy cảm còn 8i Max giải quyết bài toán context và bộ nhớ.
Vì vậy, ý nghĩa của TPU 8tx và 8i Max không nằm ở việc Google vừa tung thêm hai mẫu chip.
Điều đáng chú ý hơn là Google đang chuyển TPU từ công cụ đứng phía sau Gemini thành một nền tảng hạ tầng mà doanh nghiệp có thể lựa chọn trực tiếp.
Nếu hướng đi này thành công, cuộc đua chip AI sẽ không chỉ xoay quanh câu hỏi “chip nào nhanh nhất”, mà còn là hệ thống nào chạy agent rẻ hơn, xử lý được nhiều dữ liệu hơn, dùng ít điện hơn và bảo vệ thông tin tốt hơn.
Đó mới là mặt trận thực sự giữa Google, Nvidia và các nhà cung cấp hạ tầng AI trong những năm tới.
