最近用大模型的几点感想~

今天同事丢来一张图片格式的思维导图，需要参考它的结构写一个大模型建设方案。图里有些内容跟实际情况对不上，想修改却找不到源文件。这时候，不妨试试上一篇文章提到的方法——把图片丢给GPT-4o，让它识别并生成markdown格式的文本，再用Xmind自动生成。结果如下：

整体准确度还不错，结构化提取也比较到位。

读规划图

识别效果很好，连层级关系都拉出来了。

猜谜语

老婆逛商场时，发现中国黄金门口摆了个看图猜谜语的活动，于是发来图片让猜。自然还是想到GPT-4o，丢给它一看：

分析结果看起来头头是道，反正自己是一个都没猜出来。有知道的读者不妨分享一下。

以上都是利用大模型的视觉能力——相当于给模型装了一双眼睛。

AI写作

前段时间又接到一个任务：写大模型应用场景设计思路。整体听下来还是拍脑袋的活儿，没什么意思。按宝玉老师的分类，普通人日常写作分三种：日常沟通、公文和创作。公文类就是各种报告、总结、文档等，套话多、格式固定，但费时费力。现在绝大部分公文都可以借助AI来协作完成。

这个设计思路也属于公文类。老套路：整理好提示词，反复尝试几次，同时丢给不同的大模型。

通义的回答如上。基于它改一改，基本就能用了。

几点思考

随着大语言模型逐步向多模态大模型转变，模型拥有更多模态的能力，应用场景自然会越来越多。

不过，目前AI写作、AI数据分析仍存在局限性。普通人想用好AI写作，必须结合自己的数据——光丢几篇文章和提示词，很难让大模型写出真正贴合需求的内容。举个例子，工作这么多年，电脑里积累了海量文件，但这些文件不方便上传到联网的大模型。如果笔记本或手机本地部署了大模型，直接访问这些文件，把整台电脑变成知识库，随着使用不断更新，成为“第二大脑”。写东西时，本地模型直接读取本地文件，生成的内容就会更像自己写的，同时又不会上传到互联网大厂的服务器上。

像Notion这种笔记软件已经有了AI写作功能，但只能访问笔记内的数据。如果能从操作系统层面直接访问本地文件，那就更理想了。受硬件限制，目前AI PC部署的大模型能力还比较有限，好消息是小参数量的模型越来越强，苹果等公司也在做探索。AI PC和AI智能手机，应该能激发一波新的购买需求。