Mục lục
Nvidia vừa công bố ứng dụng Chat With RTX, một chatbot AI hoạt động trên máy tính cá nhân, có khả năng cung cấp các chức năng tương tự như ChatGPT và bổ sung nhiều tính năng hơn nữa. Để sử dụng chatbot AI mới của Nvidia, người dùng chỉ cần sở hữu GPU Nvidia RTX.
Nvidia Chat with RTX là gì?
Nvidia Chat With RTX là một ứng dụng trí tuệ nhân tạo cho phép bạn triển khai mô hình ngôn ngữ lớn LLM trên máy tính cá nhân của mình. Điều này cho phép bạn tận dụng chatbot AI này ở chế độ ngoại tuyến bất kỳ lúc nào bạn mong muốn, thay vì phải truy cập internet như các chatbot AI khác.
Ứng dụng Chat With RXT sử dụng công nghệ TensorRT-LLM để tăng cường hiệu suất của RTX và Mistral 7B LLM thông qua việc lượng tử hóa, đảm bảo khả năng phản hồi nhanh chóng và chất lượng không thua kém so với các chatbot AI trực tuyến khác. Ngoài ra, ứng dụng này cung cấp tính năng Retrieval-Augmented Generation (RAG), cho phép chatbot truy cập vào tệp của bạn và tạo ra câu trả lời cá nhân hóa dựa trên dữ liệu được cung cấp. Điều này giúp bạn điều chỉnh chatbot để cung cấp trải nghiệm phù hợp với cá nhân của mình.
Để sử dụng Chat With RTX, bạn chỉ cần tải xuống và cài đặt ứng dụng như bất kỳ phần mềm nào khác. Tuy nhiên, chatbot AI này yêu cầu một số thông số kỹ thuật tối thiểu để cài đặt và hoạt động một cách hiệu quả.
- GPU RTX 30-Series hoặc 40-Series
- RAM 16GB
- Dung lượng bộ nhớ trống 100GB
- Windows 11
Cách sử dụng Nvidia Chat With RTX
Mặc dù bạn có thể sử dụng Chat With RTX của Nvidia như một chatbot AI trực tuyến thông thường, tuy nhiên, bạn nên xem xét tính năng RAG của nó. Tính năng này cho phép bạn điều chỉnh đầu ra của nó dựa trên các tệp mà quý vị cung cấp quyền truy cập.
Bước 1: Tạo thư mục RAG
Để bắt đầu sử dụng RAG trên Chat With RTX, hãy tạo một thư mục mới để lưu trữ các file bạn muốn AI phân tích.
Sau khi tạo, đặt các file dữ liệu của bạn vào thư mục. Dữ liệu bạn lưu trữ có thể bao gồm nhiều chủ đề và loại file cá nhân như tài liệu, file PDF, văn bản và video. Tuy nhiên, bạn nên giới hạn số lượng file đặt trong thư mục này để không ảnh hưởng đến hiệu suất. Nhiều dữ liệu hơn để tìm kiếm có nghĩa là Chat With RTX sẽ mất nhiều thời gian hơn để trả lời các câu hỏi cụ thể (nhưng điều này cũng phụ thuộc vào phần cứng).
Bây giờ, cơ sở dữ liệu của bạn đã sẵn sàng, bạn có thể thiết lập Chat With RTX và bắt đầu sử dụng cơ sở dữ liệu đó để trả lời các câu hỏi của mình.
Bước 2: Thiết lập môi trường
Trong Dataset, đảm bảo rằng tùy chọn Folder Path được chọn. Bây giờ, hãy nhấp vào biểu tượng chỉnh sửa (biểu tượng cây bút) và chọn thư mục chứa tất cả các file bạn muốn Chat With RTX đọc. Bạn cũng có thể thay đổi mô hình AI nếu có các tùy chọn khác (hiện nay chỉ có Mistral 7B và có thể sẽ được cập nhật trong tương lai).
Bước 3: Đặt câu hỏi với Chat with RTX!
Có một số cách để truy vấn Chat With RTX. Đầu tiên là sử dụng nó như một chatbot AI thông thường. AI này có khả năng RAG nên bạn cũng có thể sử dụng nó làm trợ lý AI cá nhân.
Có nhiều phương pháp mà bạn có thể áp dụng RAG của Chat With RTX để tạo lợi thế cho bản thân. Ví dụ, bạn có thể sử dụng công cụ này để tổng hợp thông tin từ các tài liệu pháp lý, tạo mã liên quan đến dự án phần mềm mà bạn đang phát triển, nhận diện các điểm nổi bật trong một video mà bạn không có thời gian xem và nhiều ứng dụng khác.
Bước 4: Các Tính Năng Mở Rộng
Ngoài thư mục dữ liệu cục bộ, bạn có thể sử dụng Chat With RTX để phân tích video YouTube. Để làm như vậy, trong Dataset, hãy thay đổi Folder Path thành YouTube URL, sau đó hãy sao chép URL YouTube bạn muốn phân tích và dán bên dưới menu drop-down.
Phân tích video YouTube của Chat With RTX khá tốt và cung cấp thông tin chính xác, vì vậy nó có thể hữu ích cho việc nghiên cứu, phân tích nhanh, v.v…