求职 LLM/Agent开发 在这个论坛能赚点外快吗

[EternalBlue]

精通Agent开发，熟练大模型微调(CPT,SFT,DPO,GRPO)
基座Qwen3.5-4B 经过量化后可以在边缘设备，无gpu环境部署运行。
接上rag，使用llama.cpp或vllm兼容openAI格式接口，可以对接任何需要大模型后端的插件，之前需要氪金买deepseekAPI或智谱API的钱都可以省下来了。
或者给自己的服务器打造一个专家级客服，让大模型精通你服务器的每一个插件配置，技术细节，副本设计。

或者有更多前无古人的创意想法

联系我
QQ:2875002651

 

[Daoyu]

目前市面上的大模型参数都在万亿级别，四十亿的参数是不是太少了

 

[EternalBlue]

目前市面上的大模型参数都在万亿级别，四十亿的参数是不是太少了

的确，但万亿参数的模型都需要出API的钱，且具备的知识大多是通识。

4B模型虽然通识能力大幅弱于商业的万亿参数模型，但经过中训练和后训练 将特定的知识让小参数模型学习，
再接入rag系统，可以让小参数模型成为一个领域的专家。而对于mc服务器领域，通常不需要万亿参数模型的通识能力，绝大多数玩家和服主的问题是插件怎么配置，副本掉落什么物品，这类问题通识大模型并不能很好的解答，至少需要接入rag。经过领域知识注入的小参数量模型结合rag系统 与通识大模型在细分领域相比具有显著的优势。
不仅不用出API的钱，而且回答更精确

4B模型未经过量化的显存占用高达9G，经过Q4量化后显存可以压到3-4G，且4B模型对于较少语录 更不容易欠拟合，对于服主群体的要求就降低为少量训练集+cpu环境即可部署。这是8B或更多参数量模型所无法达成的。

在4B以下 还有Qwen3.5 0.8B和Qwen3.5 2B，2B还未实验过，但0.8B经过实测，能力过于低下，基本的指令遵循都无法保证。

总之，4B参数的模型是我认为各个方面都足够甜点，处于黄金平衡点的模型。

当然，如果有gpu环境和大量语录(比如整个mcmod的所有mod资料)进行中训练后训练，用35B模型当基座结合rag系统应该可以回答整个mc mod领域的问题，到时候可以再用这个模型宣传专为mc领域训练的专家模型然后卖合适价格的API