小模型智能不是特别高,有很多任务搞不定,比如说编码,智能体任务。
但是大家千万不要以为小模型智能不高,就没有用。
事实上,各种大厂的产品,后面都大量的用了小模型。
为什么呢?
因为有很多任务对于智能的要求就不是很高。
小模型的智能虽然不高,但是已经足够完成很多任务,非常稳定。
这种情况下,就应该把这些任务给小模型处理。
这样速度很快,而且算力成本很低。
以翻译为例,大多数翻译用的都是小模型,就足够了。
我们曾经做过一个翻译的智能体,几万字,十几万字的翻译,用大模型就非常慢。
这个太影响体验了。
我们换上小模型后,速度飞快,质量也不错。
如图1,翻译了欧.亨利的《警察与赞美诗》,大家看看效果如何?
所以,阿里做这个生态,还是很有意义的。
至于说哪些任务适合小模型,那就要进行测试了。
其实做大模型评测的博主,把这个能说清楚,就挺有价值的。
下面是unsloth的量化模型:
www.modelscope.cn/models/unsloth/Qwen3.5-9B-GGUF