Tổng quan Inference

LLM inference cho môi trường production, gồm cả mô hình hàng đầu và mô hình mã nguồn mở, không cần gói thuê bao. Có hai cách sử dụng:

1. Trả theo lượt dùng, gọi bất kỳ endpoint mô hình nào và tất toán mỗi request bằng USDC qua x402. Không tài khoản, không API key. Xem Trả theo lượt dùng.
2. API tương thích OpenAI, chạy trên số dư token trả trước thông qua một API /v1 chuẩn theo định dạng OpenAI. Nạp bằng USDC, sau đó dùng cho mọi mô hình. Xem API tương thích OpenAI.

Việc tất toán diễn ra trên Solana qua x402. Inference có xác minh/TEE khả dụng trên một số mô hình chọn lọc, được chứng thực on-chain.

Danh mục mô hình đầy đủ (Claude, GPT, Gemini, NVIDIA NIM, inference có xác minh/TEE, cùng các mô hình mã nguồn mở) nằm trong nhóm tài nguyên LLM. Xem Dịch vụ AI. Marketplace bao gồm nhiều nhà cung cấp.