QCon全球软件开发大会（2023上海站）参会记录
刚刚结束了2023年QCon全球软件开发大会（上海站）的两天行程（2023/12/28-2023/12/29），此次大会以Generative AI，特别是LLM为主题，聚焦深度讨论。
首日的日程亮点颇多，我重点关注了主会场的云端架构设计，特别是主讲人基于亚马逊案例深入解析的7个成本优先技术架构准则，为我提供了实用的思考角度。其中，他对大而实的技术策略有了新的认识，分享的实例让我获益匪浅。
而在技术含量最高的讲座中，关于大语言模型的低比特计算，BigDL的推广成为亮点。通过Intel xPU支持的开源库，LLM模型如Llama-2能在普通PC上高效运行。尽管BigDL主要为PyTorch模型优化，但GPU资源紧张时，BigDL不失为一个值得尝试的解决方案。然而，会议并未提供详细的时间效率数据，但从视频感受，基本聊天需求可以满足。
阿里巴巴分享的LLM训练和推理加速实践，特别是开源项目Megatron-LLaMA，展示了他们在千亿参数模型上的技术积累，这些内容对于金融智能应用的研发实战具有重要价值。
多重随机标签