服務(wù)內(nèi)容全部包含:
大語(yǔ)言模型并發(fā)部署,docker容器化部署,網(wǎng)頁(yè)點(diǎn)擊操作,在用戶(hù)提供服務(wù)器的情況下可以遠(yuǎn)程部署,可長(zhǎng)期穩(wěn)定運(yùn)行,支持多種開(kāi)源模型。
服務(wù)優(yōu)勢(shì):
大語(yǔ)言模型并發(fā)部署,docker容器化部署,網(wǎng)頁(yè)點(diǎn)擊操作,在用戶(hù)提供服務(wù)器的情況下可以遠(yuǎn)程部署,可長(zhǎng)期穩(wěn)定運(yùn)行,支持多種開(kāi)源模型。
服務(wù)前需客戶(hù)提供的信息:
1.部署服務(wù)器需要GPU,系統(tǒng)環(huán)境為centos或者ubuntu,能遠(yuǎn)程ssh連接,GPU的大小會(huì)嚴(yán)重影響大語(yǔ)言模型的性能,建議16G以上,V100或者30系列以上顯卡
其他:
1.部署服務(wù)器需要GPU,系統(tǒng)環(huán)境為centos或者ubuntu,能遠(yuǎn)程ssh連接,GPU的大小會(huì)嚴(yán)重影響大語(yǔ)言模型的性能,建議16G以上,V100或者30系列以上顯卡
問(wèn)答系統(tǒng)與聊天智能知識(shí)服務(wù)知識(shí)庫(kù)