3月14日，科大讯飞公布了最近接受国寿资产等多家机构的采访既要。调研信息中，科大讯飞就公司ChatGPT具备的优势，以及教育业务、C端业务与数字政府业务的发展作了交流。

其中科大讯飞就投资者最为关系的公司的 ChatGPT技术算法优势回复到，公司ChatGPT技术算法具备四大优势，分别为：

1、依托科大讯飞唯一一家承建认知智能全国重点实验室，在 Transformer 深度神经网络算法方面拥有丰富经验，已广泛应用于科大讯飞的语音识别、图文识别、机器翻译等任务并达到国际领先水平，2022 年在认知智能 技术领域累计获得13项世界冠军；

2、2022 年 7 月，创新提出了大模型与知识融合统一的理解框架 X-Reasoner，有望弥补大模型的模糊记忆技术短板；

开源了超过 40 个通用领域、6 个大类的系列中文预训练语言模型，星标 数位列同类中文预训练语言模型第一并远超第二名；

基于多尺度层级预训练、有监督强化聚类表征、多预训练任务联合优化 框架等创新点，实现了使用业界公开模型 1/20 的参数量识别效果提升 20-30%。

教育业务方面，科大讯飞称：1、科大讯飞区域因材施教项目是全国唯一一家有实际案例、实际数据 效果验证的厂商，重大项目实现了 100%规模化教学质量提升；基于良好的应用 成效，已经逐步延伸到二期、三期项目，呈现出向周边区域辐射效果； 2、G 端业务的规模化应用及其良好的应用成效，进一步形成了良好的 GBC 联动效应； 3、讯飞 AI 学习机真正拥有因材施教、个性化分析的 AI 能力，真正能够减 负并增效，市场份额和品牌知名度持续提升，NPS 值持续保持第一。

C端业务方面，科大讯飞称公司面向消费者的智能硬件产品持续丰富，市场占有率不断提升：其中包括：

1）讯飞智能录音笔持续领跑智能录音笔行业。618、双十一期间，已连续 四年获得京东&天猫双平台录音笔品类销售额第一，用户遍布全球日、韩、东南 亚、北美、欧洲、澳洲等 180 个国家和地区；

2）讯飞翻译机在国内市场份额稳居第一，在电商大促 618 和双 11 中连续 六年获得京东＆天猫双平台销售额冠军，双平台市场份额均达到 75%以上；

3）智能办公本产品体系逐步完善，连续两年斩获 618、双十一京东/天猫双 平台电纸书类目品牌及单品销售额冠军；

4）科大讯飞智能助听器在 618 的线上销售中获得京东和天猫双平台助听器 品类新品的销售冠军，双十一当天荣获天猫行业单品销售额冠军，产品获得了市 场及消费者认可；

5）科大讯飞 AI 学习机、讯飞听见等产品将成为类 chat gpt 技术率先落地 的产品，预计于 2023 年 5 月6日进行产品级发布。

数字政府业务方面，科大讯飞总结了三大成果：

1、形成了良好的应用示范：讯飞长期服务于安徽省、杭州市等地的政 务服务，助力其在省级政府和重点城市政务服务能力评估中连续五年位居第一方 阵； 2、数字政府业务从省内逐步走向省外：已在上海金山、天津滨海、吉林长 春、辽宁沈阳、甘肃兰州、广西南宁山东聊城、河南漯河、陕西铜川、内蒙乌 海等全国市场广泛落地； 3、数字政府建设模式加快走向一体化、集约化，数字安徽项目打造全国标 杆和样板，省、市、区县、乡、村五级联动，为下一步数据要素开发利用奠定基础。

值得一提的是，受益于Open AI的概念红利，科大讯飞股价两月内大涨超过31%，目前股价超过48元，总市值接近1200亿元。

真·ChatGPT平替：无需显卡，MacBook、树莓派就能运行LLaMA

机器之心报道

编辑：小舟

Meta 发布的开源系列模型 LLaMA，将在开源社区的共同努力下发挥出极大的价值。

Meta 在上个月末发布了一系列开源大模型 ――LLaMA（Large Language Model Meta AI），参数量从 70 亿到 650 亿不等。由于模型参数量较少，只需单张显卡即可运行，LLaMA 因此被称为 ChatGPT 的平替。发布以来，已有多位开发者尝试在自己的设备上运行 LLaMA 模型，并分享经验。

虽然相比于 ChatGPT 等需要大量算力资源的超大规模的语言模型，单张显卡的要求已经很低了，但还能更低！最近有开发者实现了在 MacBook 上运行 LLaMA，还有开发者成功在 4GB RAM 的树莓派上运行了 【【微信】】。

这些都得益于一个名为 llama.cpp 的新项目，该项目在 GitHub 上线三天，狂揽 4.6k star。

项目地址：https://github.com/ggerganov/llama.cpp

Georgi Gerganov 是资深的开源社区开发者，曾为 OpenAI 的 Whisper 自动语音识别模型开发 whisper.cpp。

这次，llama.cpp 项目的目标是在 MacBook 上使用 4-bit 量化成功运行 LLaMA 模型，具体包括：

没有依赖项的普通 C/C++ 实现；

Apple silicon first-class citizen―― 通过 Arm Neon 和 Accelerate 框架；

AVX2 支持 x86 架构；

混合 F16 / F32 精度；

4-bit 量化支持；

在 CPU 上运行。

llama.cpp 让开发者在没有 GPU 的条件下也能运行 LLaMA 模型。项目发布后，很快就有开发者尝试在 MacBook 上运行 LLaMA，并成功在 64GB M2 MacBook Pro 上运行了 【【微信】】 和 LLaMA 13B。

在 M2 MacBook 上运行 LLaMA 的方法：https://til.simonwillison.net/llms/llama-7b-m2

如果 M2 芯片 MacBook 这个条件还是有点高，没关系，M1 芯片的 MacBook 也可以。另一位开发者分享了借助 llama.cpp 在 M1 Mac 上运行 LLaMA 模型的方法。

在 M1 Mac 上运行 LLaMA 的方法：https://dev.l1x.be/posts/2023/03/12/using-llama-with-m1-mac/

除了在 MacBook 上运行，还有开发者借助 llama.cpp 在 4GB RAM Raspberry Pi 4 上成功运行了 【【微信】】 模型。Meta 首席 AI 科学家、图灵奖得主 Yann LeCun 也点赞转发了。

以上是 3 个在普通硬件设备上成功运行 LLaMA 模型的例子，几位开发者都是借助 llama.cpp 实现的，可见 llama.cpp 项目的实用与强大。我们来具体看一下 llama.cpp 的使用方法。

以 7B 模型为例，运行 LLaMA 的大体步骤如下：

# build this repogit clone https://github.com/ggerganov/llama.【【微信】】.cppmake# obtain the original LLaMA model weights and place them in https://www.thepaper.cn/modelsls https://www.thepaper.cn/models65B 30B 13B 7B tokenizer_checklist.chk tokenizer.model# install Python dependenciespython3 -m pip install torch numpy sentencepiece# con【【微信】】 FP16 formatpython3 convert-pth-to-ggml.py models/7B/ 1# 【【微信】】bitshttps://www.thepaper.cn/【【微信】】.sh 7B# run the inferencehttps://www.thepaper.cn/main -m https://www.thepaper.cn/models/7B/ggml-model-q4_0.【【微信】】

运行更大的 LLaMA 模型，需要设备有足够的存储空间来储存中间文件。

如果想获得像 ChatGPT 一样的交互体验，开发者只需要以 - i 作为参数来启动交互模式。

https://www.thepaper.cn/main -m https://www.thepaper.cn/models/13B/ggml-model-q4_0.【【微信】】penalty 1.0 --color -i -r "User:" \ -p "Transcript of a dialog, where the User interacts with an Assistant named Bob. Bob is helpful, kind, honest, good at writing, and ne【【微信】】ser's re【【微信】】 with precision.

User: Hello, Bob.Bob: Hello. How may I help you today?User: Please tell me the largest city in Europe.Bob: Sure. The largest city in Europe is Moscow, the capital of Russia.User:"

使用 --color 区分用户输入和生成文本之后，显示效果如下：

一番操作下来，开发者就能在自己的简单设备上运行 LLaMA 模型，获得类 ChatGPT 的开发体验。以下是项目作者 Georgi Gerganov 给出的 【【微信】】 模型详细运行示例：

make -j && https://www.thepaper.cn/main -m https://www.thepaper.cn/models/7B/ggml-model-q4_0.bin -p "【【微信】】e done in 10 simple steps:" -t 8 -n 512I llama.cpp build info:I UNAME_S: DarwinI UNAME_P: armI UNAME_M: arm64I CFLAGS: -I. -O3 -DNDEBUG -std=c11 -fPIC -pthread -DGGML_USE_ACCELERATEI CXXFLAGS: -I. -Ihttps://www.thepaper.cn/examples -O3 -DNDEBUG -std=c++11 -fPIC -pthreadI LDFLAGS: -framework AccelerateI CC: Apple clang 【【微信】】.0.0 (clang-1400.0.29.202)I CXX: Apple clang 【【微信】】.0.0 (clang-1400.0.29.202)make: Nothing to be done for `default'.main: seed=1678486056【【微信】】: loading model from 'https://www.thepaper.cn/models/7B/ggml-model-q4_0.bin' - 【【微信】】 ...【【微信】】: n_vocab=32000【【微信】】: n_ctx=512【【微信】】: n_embd=4096【【微信】】: n_mult=256【【微信】】: n_head=32【【微信】】: n_layer=32【【微信】】: n_rot=128【【微信】】: f16=2【【微信】】: n_ff=11008【【微信】】: ggml ctx size=4529.34 MB【【微信】】: memory_size=512.00 MB, n_mem=16384【【微信】】: .................................... done【【微信】】: model size=4017.27 MB / num tensors=291main: prompt: '【【微信】】e done in 10 simple steps:'main: number of tokens in prompt=151 -> '' 8893 -> 'Build'292 -> 'ing'263 -> ' a'4700 -> ' website'508 -> ' can'367 -> ' be'2309 -> ' done'297 -> ' in'29871 -> ' '29896 -> '1'29900 -> '0'2560 -> ' simple'6576 -> ' steps'29901 -> ':'sampling parameters: temp=0.800000, top_k=40, top_p=0.950000【【微信】】e done in 10 simple steps:1) Select a domain name and web hosting plan2) Complete a sitemap3) List your products4) Write product descriptions5) Create a user account6) Build the template7) Start building the website8) Ad【【微信】】) Provide email support10) Submit the website to search enginesA website is a collection of web pages that are formatted with HTML. HTML is the code that defines what the website looks like and how it behaves.【【微信】】ed into a template or a format. Once this is done, it is displayed on the user's browser.The web pages are stored in a web server. 【【微信】】lled a host. When the website is accessed, it is retrie【【微信】】isplayed on the user's computer.A website is known as a website when it is hosted. This means that it is displayed on a host. The host is usually a web server.【【微信】】ed on different browsers. The browsers are basically the software that renders the website on the user's screen.A website can also be 【【微信】】ices such as desktops, tablets and smartphones.Hence, to ha【【微信】】n a browser, the website must be hosted.A domain name is an address of a website. It is the name of the website.The website is known as a website when it is hosted. This means that it is displayed on a host. The host is usually a web server.【【微信】】ed on different browsers. The browsers are basically the software that renders the website on the user’s screen.A website can also be 【【微信】】ices such as desktops, tablets and smartphones. Hence, to ha【【微信】】n a browser, the website must be hosted.A domain name is an address of a website. It is the name of the website.A website is an address of a website. It is a collection of web pages that are formatted with HTML. HTML is the code that defines what the website looks like and how it behaves.【【微信】】ed into a template or a format. Once this is done, it is displayed on the user’s browser.A website is known as a website when it is hostedmain: mem per token=14434244 【【微信】】: load time=1332.48 msmain: sample time=1081.40 msmain: predict time=31378.77 ms / 61.41 ms per tokenmain: total time=34036.74 ms

原标题：《真・ChatGPT平替：无需显卡，MacBook、树莓派就能运行LLaMA》

阅读原文