腾讯发布多模态音乐生成模型M2UGen
🌐 开源意义: DreamTalk的开源将为语音合成技术的发展提供新的动力，吸引更多开发者和研究人员参与，拓展项目功能和改进技术。
例如，使用LLM对大量被盗数据进行排序，找出敲诈公司时需要提及的最重要数据。或者使用聊天机器人进行初步的赎金谈判。
起初，它似乎很有希望。它提供了清晰的架构，选择了正确的框架，甚至将代码整齐地结构化。但兴奋是短暂的，因为它生成的代码不够好，我无法使应用程序启动。
它不仅可以从图片中提取信息并回答问题，还可以将图片转化为JSON格式。LLaVA还可以识别验证码、识别图中的物体品种等，展现出了强大的多模态能力。在性能上接近GPT-4的情况下，LLaVA具有更高的成本效益，训练只需要8个A100即可在1天内完成。