分类:react

用Fastapi和React实现http流式响应

2024/5/29 · Admin

随着ChatGPT等AI大语言模型的普及,人们对于流式响应也越来越理解和认可。本质上讲,流式响应就是服务器处理一点就返回一点,由于LLM处理起来相对慢一些(即使有海量的服务器资源),为了避免用户等待太长时间,就把数据逐步返回。