看什么春晚，起来嘿，干活了

xdni336 - T50-56

QUOTE:

Nanano 发表于 2025-1-31 13:15
今年AMD的AI 395 MAX 理论也有128G统一内存，分96G显存可以一试

我也是非常期待这个cpu， 但是现在推出的ai 9 370, 都是主板集成内存， 只有32G， 都要快6000. 如果扩到128G， 代价也不会太低。macbook pro 主要是ollama 在上面运行， 真的做到内存显存一体， 体验非常好。

sunll001

刚刚使用 T14P，64G U9 185H，4050 6GB  能够跑32B的，但是系统很慢，资源直接80%。但是现在Intel NI一直都参与计算。好像没啥用。

xdni336 - T50-56

QUOTE:

sunll001 发表于 2025-1-31 16:43
刚刚使用 T14P，64G U9 185H，4050 6GB  能够跑32B的，但是系统很慢，资源直接80%。但是现在Intel NI一直都 ...

显卡内存太低了，起码得4070的12G， 才能跑8B, 32B得用64GB得MBP， 或者2块4090的PC来跑， 也可以用80GB显存的H100来跑。

and250

QUOTE:

xdni336 发表于 2025-1-31 07:27
18G  跑8B 没问题，很流畅， 一般个人用到的场景都有了。 我一直想买个128G m4max, 跑32B和70B， 只是手 ...

M4跑8B大概多快啊？一个6000token的问题半分钟还是几秒钟？windows机器如果没独立显卡的话8B会掉到每秒十几token，一个问题超过五分钟，即使128G内存也没用

and250

QUOTE:

xdni336 发表于 2025-1-31 07:32
要显卡才能快啊， CPU 做GPU, NPU的事情太慢了。

Windows笔记本上的5系显卡在deepseek看来跟集显一样完全不认

xdni336 - T50-56

QUOTE:

and250 发表于 2025-1-31 22:20
Windows笔记本上的5系显卡在deepseek看来跟集显一样完全不认

不是不认， 你要装nvideo设置程序， 把ollama或者类似的工具设为显卡优先。

我是用macbook pro, 跑deepseek 8b 和14b 都没问题， 这是8b下写一篇过年文章的性能
total duration:       25.973440709s
load duration:        35.5095ms
prompt eval count:    18 token(s)
prompt eval duration: 301ms
prompt eval rate:     59.80 tokens/s
eval count:           754 token(s)
eval duration:        25.635s
eval rate:            29.41 tokens/s

and250

QUOTE:

xdni336 发表于 2025-1-31 23:01
不是不认， 你要装nvideo设置程序， 把ollama或者类似的工具设为显卡优先。

我是用macbook pro, 跑deeps ...

主要还是这个十四年前的低端独显太弱了吧，毕竟还不如现在最弱一百刀上网本的集显，性能只有现在4060的 0.5 %？

8b只能60 token/S的话那感觉也就是现在CPU直接跑的三倍，好像也挺慢的，比目前的入门级独显比如4060速度低80%？但14b估计两者差不多，因为windows一旦出了显存就完蛋

xdni336 - T50-56

QUOTE:

and250 发表于 2025-2-1 05:56
主要还是这个十四年前的低端独显太弱了吧，毕竟还不如现在最弱一百刀上网本的集显，性能只有现在4060的 0. ...

也许你要求有点高，毕竟不是专业显卡 H100之类的， 你看看RTX 4070运行deepseek-r1 8b的表现， 这种测试不是专业的，每次都不一样，就当娱乐一下：


total duration:       19.6593597s
load duration:        22.8464ms
prompt eval count:    9 token(s)
prompt eval duration: 365.56ms
prompt eval rate:     24.62 tokens/s
eval count:           1212 token(s)
eval duration:        19.269085s
eval rate:            62.90 tokens/s

xdni336 - T50-56

QUOTE:

and250 发表于 2025-2-1 05:56
主要还是这个十四年前的低端独显太弱了吧，毕竟还不如现在最弱一百刀上网本的集显，性能只有现在4060的 0. ...

另外：
我那个Mbp的cpu上代入门版，如果换成新的M4 pro/max,数字要好看的多， 不会低于4070/4080.

刘易斯

厉害了

lxprote

QUOTE:

xdni336 发表于 2025-1-31 18:18
显卡内存太低了，起码得4070的12G， 才能跑8B, 32B得用64GB得MBP， 或者2块4090的PC来跑， 也可以用80GB显 ...

我M3 Pro 16G内存，23年的机器跑14b，倒还算流畅，就是准确率太差，感觉模型信息太少以及老旧，实用性不强

xdni336 - T50-56

QUOTE:

lxprote 发表于 2025-2-3 15:35
我M3 Pro 16G内存，23年的机器跑14b，倒还算流畅，就是准确率太差，感觉模型信息太少以及老旧，实用性不 ...

数据量太少了， 14b也就10G左右的数据量， 作为一个离线百科全书就只能玩玩， 实用还得用online的。

国内有一些公司不允许上外网， 买个128G的m4 max,  用来离线运行70b的大模型， 对开发就有意义了。