设为首页收藏本站
切换到窄版

 找回密码
 注册
快捷导航
专门网»论坛 › 笔记本技术 › ThinkPad新区 › 看什么春晚，起来嘿，干活了
12下一页
返回列表 发新帖
查看: 852|回复: 52

看什么春晚，起来嘿，干活了

  [复制链接] |自动提醒
阅读字号:
  • 大
  • 中
  • 小
kelvin1946

255

回帖

7

积分

6199

资产值

高级会员 Rank: 2Rank: 2

注册时间
2024-1-5
月全勤勋章
发表于 2025-1-28 23:19:40| 字数 182| - 中国–河北–承德 电信 | 显示全部楼层 |阅读模式
春晚当背景音乐，把DeepSeek本地部署了一下，125H，64G内存，跑R1-14B模型有点慢，如果很看重你问的问题，速度也不是不能接受。对DeepSeek的数学推理还是蛮期待的。
顺便让DS给51nb做了首诗

《鹧鸪天·贺51nb新岁》
玄铁凝光贺岁声，红樱破雾指征程。星河漫卷键盘雪，云海频传击键鹰。
研妙理，筑坚城，廿年风雨键纹青。新元更启思维界，坛友同敲共济灯。
回复 支持1 反对

使用道具 举报

terry_1222

325

回帖

6

积分

2141

资产值

高级会员 Rank: 2Rank: 2

注册时间
2005-8-28
发表于 2025-1-28 23:40:24| 字数 49| - 中国–上海–上海 电信 来自iOS客户端 | 显示全部楼层
14b 集显不行啊，我155H都跑7b都觉得慢。。这个吃显卡厉害。主力机16G的3080 跑8b飞快^
回复 支持 反对

使用道具 举报

kelvin1946

255

回帖

7

积分

6199

资产值

高级会员 Rank: 2Rank: 2

注册时间
2024-1-5
月全勤勋章
 楼主| 发表于 2025-1-29 00:21:47| 字数 175| - 中国–河北–承德 电信 | 显示全部楼层
QUOTE:
terry_1222 发表于 2025-1-28 23:40
14b 集显不行啊，我155H都跑7b都觉得慢。。这个吃显卡厉害。主力机16G的3080 跑8b飞快^ ...

又折腾了一会，给了个数学题，洋洋洒洒的推理了好几页，等了我几分钟。不过CPU和GPU使用量都60%左右，好像是有些参数可以调的。算了，还是web吧。有个稍微差不多的独立显卡就好了。
回复 支持 反对

使用道具 举报

时光清浅

2941

回帖

59

积分

4万

资产值

钻石会员 Rank: 3Rank: 3Rank: 3

注册时间
2019-2-27
月全勤勋章
发表于 2025-1-29 02:07:39| 字数 56| - 中国–江苏 联通 来自iOS客户端 | 显示全部楼层
目前大数据模型我觉得 Mac的 M 系列芯片优势比较大，我在 M1的 MacBook pro 上部署了一下，体验感还是蛮不错的
Y9000K 12800HX+3070Ti/R9000X 14.5 7840HS+4060/X220 2430M+IPS/ precision 7560 11850H+T1200/T25手搓 7500U+940MX/MBP 13 M1 16+1T
回复 支持 反对

使用道具 举报

terry_1222

325

回帖

6

积分

2141

资产值

高级会员 Rank: 2Rank: 2

注册时间
2005-8-28
发表于 2025-1-29 02:28:12| 字数 219| - 中国–上海–上海 电信 | 显示全部楼层
QUOTE:
kelvin1946 发表于 2025-1-29 00:21
又折腾了一会，给了个数学题，洋洋洒洒的推理了好几页，等了我几分钟。不过CPU和GPU使用量都60%左右，好 ...

单显卡，16G显存以内独显，不要跑8b以上模型，不然太慢了。

我的俩台机器：x12024跑deepseek intel的NPU都不工作，全靠CPU。。。跑7b明显有延迟和等待，16G独显3080的跑8b，极其丝滑流畅，全靠cpu+gpu 16g显存和内存在那里推理。
主力1：T15G-G2，i9-11950H，64G，3080-16G，6T，4K。主力2：X1-Carbon2024, Ultra7 155H, 32G, 2T, 2.8K，120hz, 编织纹。
备用：T15P-G2，i7-11800H，32G，1650-4G，2T，4K。工作：X13-G4，i5-1345U，16G，海力士512G，1900*1200。
已退役（2004-2023年）：IBM 标T43，X31，T430S，X280。
回复 支持 反对 1

使用道具 举报

kelvin1946

255

回帖

7

积分

6199

资产值

高级会员 Rank: 2Rank: 2

注册时间
2024-1-5
月全勤勋章
 楼主| 发表于 2025-1-29 02:39:22| 字数 141| - 中国–河北–承德 电信 | 显示全部楼层
QUOTE:
时光清浅 发表于 2025-1-29 02:07
目前大数据模型我觉得 Mac的 M 系列芯片优势比较大，我在 M1的 MacBook pro 上部署了一下，体验感还是蛮不 ...

外网一堆人用（或者计划买）M4或者mini跑本地模型，确实效果不错。美科技股就苹果还坚挺，某种程度上也说明了这点。
回复 支持 反对

使用道具 举报

kelvin1946

255

回帖

7

积分

6199

资产值

高级会员 Rank: 2Rank: 2

注册时间
2024-1-5
月全勤勋章
 楼主| 发表于 2025-1-29 02:41:00| 字数 133| - 中国–河北–承德 电信 | 显示全部楼层
QUOTE:
terry_1222 发表于 2025-1-29 02:28
单显卡，16G显存以内独显，不要跑8b以上模型，不然太慢了。

我的俩台机器：x12024跑deepseek intel的NPU ...

是，我就乖乖用web了。也不是专业搞这个的。NPU确实不动，我这也同样。
回复 支持 反对

使用道具 举报

Nanano

192

回帖

6

积分

9247

资产值

高级会员 Rank: 2Rank: 2

注册时间
2022-4-5
月全勤勋章
发表于 2025-1-29 03:57:36| 字数 87| - 美国 LARUS | 显示全部楼层
T15g运行1.5B模型速度能达到140token每秒，8B速度55token，32B模型直接腰斩到5token每秒
问了点弱智吧经典问题，8B和32B的分析都不错，32B更好

点评

and250
回复@kelvin1946 : 算了一下token，6G rtx3000的7740跑1.5B有2000每秒，8b有200每秒，70b就十几……但集显下面8b就十几，根本没法用  发表于 2025-1-31 03:10
kelvin1946
T15g牛掰！  发表于 2025-1-29 09:51
T15g gen2 I7-11850H(ES) RTX3070 64+1T×3
X13 gen2 I7-1165G7 32+1T+256
X270  I5-7200U 32+256（给家人了）
P70 I7-6700HQ M3000M  40G  512+512+500（已出）
回复 支持 反对

使用道具 举报

bjnb

1万

回帖

142

积分

7万

资产值

至尊会员II Rank: 4Rank: 4Rank: 4Rank: 4

注册时间
2006-8-7
银牌荣誉勋章(注册10年以上会员)月全勤勋章铜牌荣誉勋章(注册8年以上会员)年全勤勋章2023年全勤勋章2024
发表于 2025-1-29 08:00:41| 字数 4| - 中国–吉林–松原 联通 来自iOS客户端 | 显示全部楼层
牛掰例题
X31 2672 5KC PM1.7G 320G 1G+2631
A31P 2653 R8U P42.4G  40G+40G+320SATA 1.25G
回复 支持 反对

使用道具 举报

kk667

291

回帖

6

积分

4702

资产值

高级会员 Rank: 2Rank: 2

注册时间
2006-8-9
发表于 2025-1-29 08:05:02| 字数 4| - 中国–香港–新界–荃湾区 Hytron_Network_Services | 显示全部楼层
新春 快乐

点评

kelvin1946
新年快乐  发表于 2025-1-29 09:23
回复 支持 反对

使用道具 举报

and250

643

回帖

11

积分

2016

资产值

黄金会员 Rank: 3Rank: 3Rank: 3

注册时间
2020-11-24
发表于 2025-1-29 09:57:56| 字数 191| - 美国–纽约州–拿骚–牡蛎湾 Cablevision系统控股公司 | 显示全部楼层
QUOTE:
kelvin1946 发表于 2025-1-29 02:39
外网一堆人用（或者计划买）M4或者mini跑本地模型，确实效果不错。美科技股就苹果还坚挺，某种程度上也说 ...

苹果集显相对于intel集显的最大优势是跟内存结合的更好？还是说那个GPU比intel/amd家的强太多？

有点好奇如果intel笔记本有cpu和集显而且集显可以使用64G显存，这时候是走cpu快还是集显快？

点评

kelvin1946
其他的就不太清楚了，不是专门搞这个的  发表于 2025-1-29 16:27
kelvin1946
似乎是M4这种机器的内存布局不太一样，适合用现成的模型跑结果，而不是训练。  发表于 2025-1-29 16:21
回复 支持 反对

使用道具 举报

ssc505684708

5535

回帖

78

积分

1万

资产值

至尊会员I Rank: 4Rank: 4Rank: 4Rank: 4

注册时间
2012-12-1
铜牌荣誉勋章(注册8年以上会员)银牌荣誉勋章(注册10年以上会员)
发表于 2025-1-29 10:56:18| 字数 122| - 中国–香港 | 显示全部楼层
QUOTE:
kelvin1946 发表于 2025-1-29 02:39
外网一堆人用（或者计划买）M4或者mini跑本地模型，确实效果不错。美科技股就苹果还坚挺，某种程度上也说 ...

苹果坚挺的原因难道不是apple intelligence本身就不行嘛



本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？注册

x

点评

kelvin1946
啊哈哈，也是哈。  发表于 2025-1-29 16:21
Every ThinkPad is unique due to a mix and match of parts.

别问，问就是sk8855默秒全 ;]

About me: a stubborn craftsman.
回复 支持 反对

使用道具 举报

malie0

1394

回帖

32

积分

1万

资产值

钻石会员 Rank: 3Rank: 3Rank: 3

注册时间
2011-11-26
发表于 2025-1-29 13:55:48| 字数 19| - 捷克 | 显示全部楼层
本地部署的意义是什么？哪里找数据喂给它
回复 支持 反对

使用道具 举报

kelvin1946

255

回帖

7

积分

6199

资产值

高级会员 Rank: 2Rank: 2

注册时间
2024-1-5
月全勤勋章
 楼主| 发表于 2025-1-29 16:24:40| 字数 114| - 中国–河北–承德 电信 | 显示全部楼层
QUOTE:
malie0 发表于 2025-1-29 13:55
本地部署的意义是什么？哪里找数据喂给它

没有数据喂给它。就是跑现有模型，不做训练。有些比较看重隐私的情况，比如客户销售数据，个人家庭相册这种信息大部分人是不愿意跑在云上的。
回复 支持 反对

使用道具 举报

terry_1222

325

回帖

6

积分

2141

资产值

高级会员 Rank: 2Rank: 2

注册时间
2005-8-28
发表于 2025-1-29 16:47:59| 字数 23| - 中国–上海–上海 电信 | 显示全部楼层
还有 万一哪天不能用了，就知道为啥要本地了。。。
主力1：T15G-G2，i9-11950H，64G，3080-16G，6T，4K。主力2：X1-Carbon2024, Ultra7 155H, 32G, 2T, 2.8K，120hz, 编织纹。
备用：T15P-G2，i7-11800H，32G，1650-4G，2T，4K。工作：X13-G4，i5-1345U，16G，海力士512G，1900*1200。
已退役（2004-2023年）：IBM 标T43，X31，T430S，X280。
回复 支持 反对

使用道具 举报

terry_1222

325

回帖

6

积分

2141

资产值

高级会员 Rank: 2Rank: 2

注册时间
2005-8-28
发表于 2025-1-29 16:49:34| 字数 128| - 中国–上海–上海 电信 | 显示全部楼层
QUOTE:
Nanano 发表于 2025-1-29 03:57
T15g运行1.5B模型速度能达到140token每秒，8B速度55token，32B模型直接腰斩到5token每秒
问了点弱智吧经典 ...

我也上32B了，可以接受，很不错。70B听说无法跑起来。。。
主力1：T15G-G2，i9-11950H，64G，3080-16G，6T，4K。主力2：X1-Carbon2024, Ultra7 155H, 32G, 2T, 2.8K，120hz, 编织纹。
备用：T15P-G2，i7-11800H，32G，1650-4G，2T，4K。工作：X13-G4，i5-1345U，16G，海力士512G，1900*1200。
已退役（2004-2023年）：IBM 标T43，X31，T430S，X280。
回复 支持 反对

使用道具 举报

ShoucanTC

149

回帖

8

积分

920

资产值

黄金会员 Rank: 3Rank: 3Rank: 3

注册时间
2024-3-12
发表于 2025-1-29 18:05:42| 字数 7| - 中国–江苏–南京 电信 | 显示全部楼层
还有人看春晚嘛
T15g Gen2 RTX3080
回复 支持 反对

使用道具 举报

taoch2007

2239

回帖

44

积分

1万

资产值

钻石会员 Rank: 3Rank: 3Rank: 3

注册时间
2019-2-18
月全勤勋章
发表于 2025-1-29 18:12:56| 字数 108| - 中国–江苏–南京 电信 | 显示全部楼层
现在还有人看春晚吗。。。
不知道各地年味都咋样
我们南京这里基本上一点年味都没了，以前都有不少放炮的，现在放炮的基本上都听不到了，都是些小朋友放的小炮仗玩的
昨天我家也是差不多7点就收摊了，单纯吃了顿好的。电视都吃灰好久了
07年高中生，51二代  T23 1.2Ghz||T43-14.1SVGA 1.86Ghz||T60-14.1SVGA X1400||T60p-15UXGA-AFFS T7200 V5200||T60p-15UXGA T7200 V5200||T61-14.1 SXGA+ NVS140M
X61t-XGA-笔触||X61t-XGA-笔触手触||X230 i5-3320M||X230 i5-3210M||T440p i5-4200M BOE 背光键盘||W520 i7-2920XM Q2000 友达V4 NMB键盘（显卡已挂）||W530 3840QM K2000M 友达V4（彻底挂）
P15 Gen2 i5-11500H RTX3080||T14 Gen4 i5-1350P 触摸屏
回复 支持 反对

使用道具 举报

kelvin1946

255

回帖

7

积分

6199

资产值

高级会员 Rank: 2Rank: 2

注册时间
2024-1-5
月全勤勋章
 楼主| 发表于 2025-1-29 21:46:38| 字数 135| - 中国–河北–承德 电信 | 显示全部楼层
QUOTE:
ShoucanTC 发表于 2025-1-29 18:05
还有人看春晚嘛

春晚必须得看啊，我就算不认真看也要弄成背景音，遇到感兴趣的撇一眼。一年中最特殊的一天，非要打游戏，刷视频刷剧度过也不是不行，但春晚还是有很多高水平节目不容错过的，比如今年的几个国舞就都很顶啊。
回复 支持 反对

使用道具 举报

ul408

4759

回帖

48

积分

1万

资产值

钻石会员 Rank: 3Rank: 3Rank: 3

注册时间
2004-8-30
发表于 2025-1-30 10:41:17| 字数 25| - 中国–山西–太原 联通 | 显示全部楼层
本地的部署如何配置？不知道X1C 2025会不会好点

点评

kelvin1946
bilibili上有教程，最好有外接显卡或者RTXX0X0独立显卡，不然会很慢。  发表于 2025-1-30 10:55
X1C:2021+2025
Toughbook：SX2+SZ6+SR4
回复 支持 反对

使用道具 举报

jaxinoman

18

回帖

2

积分

1130

资产值

中级会员 Rank: 2Rank: 2

注册时间
2022-1-4
发表于 2025-1-30 10:59:16| 字数 77| - 日本–东京都 Linode | 显示全部楼层
我是在台式机上面部署的70b，就问了些弱智问题，我的4090显存都占满了，但内存没动用，速度一般。我看到网上有人用装了768GB内存的服务器跑671b的。
回复 支持 反对

使用道具 举报

and250

643

回帖

11

积分

2016

资产值

黄金会员 Rank: 3Rank: 3Rank: 3

注册时间
2020-11-24
发表于 2025-1-30 11:50:56| 字数 178| - 美国–纽约州–拿骚–牡蛎湾 Cablevision系统控股公司 | 显示全部楼层
本帖最后由 and250 于 2025-1-30 11:55 编辑
QUOTE:
jaxinoman 发表于 2025-1-30 10:59
我是在台式机上面部署的70b，就问了些弱智问题，我的4090显存都占满了，但内存没动用，速度一般。我看到网 ...

只有4GB显存的笔记本慢到死，占用了39GB的内存毫无卵用，看来这玩意儿在windows内存里基本跑不动，不知道苹果能好多少

回复 支持 反对

使用道具 举报

coray

1312

回帖

25

积分

5949

资产值

白金会员 Rank: 3Rank: 3Rank: 3

注册时间
2010-1-24
铜牌荣誉勋章(注册8年以上会员)银牌荣誉勋章(注册10年以上会员)月全勤勋章
发表于 2025-1-30 12:39:48| 字数 12| - 中国–江苏–无锡 电信 来自iOS客户端 | 显示全部楼层
m4pro跑14b很流畅
回复 支持 反对

使用道具 举报

xdni336 - T50-56

1万

回帖

266

积分

10万

资产值

至尊会员III Rank: 4Rank: 4Rank: 4Rank: 4

注册时间
2003-3-19
铜牌荣誉勋章(注册8年以上会员)银牌荣誉勋章(注册10年以上会员)月全勤勋章年全勤勋章2022铜牌荣誉勋章(注册8年以上会员)银牌荣誉勋章(注册10年以上会员)金牌荣誉勋章(注册20年以上会员)年全勤勋章2023年全勤勋章2024
发表于 2025-1-30 13:17:22| 字数 65| - 中国–香港 腾讯云 | 显示全部楼层
macbook pro 2023 p ollama 跑deepseek r1非常流畅.  现阶段mbp m4 max 可能是最适合运行离线大模型的机器。
工作机: MBP 14 2023,  X1E G5, MBA M1, SurfaceGo2LTE, X1C 2021
VM: VM*,E15 G2(40G内存 2TB)
陈列/备用：W540, X1C 2017和2018, Surface Pro 5,T430s,X230, X61
回复 支持 反对

使用道具 举报

zhang2286771

188

回帖

6

积分

9185

资产值

高级会员 Rank: 2Rank: 2

注册时间
2013-10-13
铜牌荣誉勋章(注册8年以上会员)
发表于 2025-1-30 17:33:58| 字数 28| - 美国–加利福尼亚州–洛杉矶–洛杉矶 Cogent | 显示全部楼层
不知道我的M1Pro跑大概是个啥样的水平，32G内存的。
P15 I7-10875H RTX4000 UHD/
R9000P2023 7945HX 4060/
MacBook Pro 2021 14' M1Pro 32G
回复 支持 反对

使用道具 举报

and250

643

回帖

11

积分

2016

资产值

黄金会员 Rank: 3Rank: 3Rank: 3

注册时间
2020-11-24
发表于 2025-1-30 23:17:14| 字数 259| - 美国–纽约州–拿骚–牡蛎湾 Cablevision系统控股公司 | 显示全部楼层
本帖最后由 and250 于 2025-1-30 23:31 编辑
QUOTE:
xdni336 发表于 2025-1-30 13:17
macbook pro 2023 p ollama 跑deepseek r1非常流畅.  现阶段mbp m4 max 可能是最适合运行离线大模型的机器 ...

多大内存跑多大模型啊？感觉windows的一出显存token简直掉光了，m4最多能分配多少内存给GPU？


试了一下windows屏蔽独显，发现压根就不用GPU，纯在CPU里算，token数量也非常小，看来是根本没把inte GPU放在考虑范围内，所以一出独显的显存就慢十倍
回复 支持 反对

使用道具 举报

Nanano

192

回帖

6

积分

9247

资产值

高级会员 Rank: 2Rank: 2

注册时间
2022-4-5
月全勤勋章
发表于 2025-1-31 01:38:53| 字数 92| - 中国–江苏–连云港 电信 | 显示全部楼层
QUOTE:
terry_1222 发表于 2025-1-29 16:49
我也上32B了，可以接受，很不错。70B听说无法跑起来。。。

内存够就能跑，我才插两条，上满理论上能跑，速度就无法恭维了
T15g gen2 I7-11850H(ES) RTX3070 64+1T×3
X13 gen2 I7-1165G7 32+1T+256
X270  I5-7200U 32+256（给家人了）
P70 I7-6700HQ M3000M  40G  512+512+500（已出）
回复 支持 反对

使用道具 举报

xdni336 - T50-56

1万

回帖

266

积分

10万

资产值

至尊会员III Rank: 4Rank: 4Rank: 4Rank: 4

注册时间
2003-3-19
铜牌荣誉勋章(注册8年以上会员)银牌荣誉勋章(注册10年以上会员)月全勤勋章年全勤勋章2022铜牌荣誉勋章(注册8年以上会员)银牌荣誉勋章(注册10年以上会员)金牌荣誉勋章(注册20年以上会员)年全勤勋章2023年全勤勋章2024
发表于 2025-1-31 07:27:48| 字数 225| - 中国–香港 腾讯云 | 显示全部楼层
QUOTE:
and250 发表于 2025-1-30 23:17
多大内存跑多大模型啊？感觉windows的一出显存token简直掉光了，m4最多能分配多少内存给GPU？

18G  跑8B 没问题，很流畅， 一般个人用到的场景都有了。 我一直想买个128G m4max, 跑32B和70B， 只是手上的mbp 才1年多，还有2年apple care,  就算了，不能重复投资。 现在我可以访问chatgpt，所以需求也不是太波切。 国内如果不能访问外面模型，搞个64GB的mbp, 才必要。
工作机: MBP 14 2023,  X1E G5, MBA M1, SurfaceGo2LTE, X1C 2021
VM: VM*,E15 G2(40G内存 2TB)
陈列/备用：W540, X1C 2017和2018, Surface Pro 5,T430s,X230, X61
回复 支持 反对

使用道具 举报

xdni336 - T50-56

1万

回帖

266

积分

10万

资产值

至尊会员III Rank: 4Rank: 4Rank: 4Rank: 4

注册时间
2003-3-19
铜牌荣誉勋章(注册8年以上会员)银牌荣誉勋章(注册10年以上会员)月全勤勋章年全勤勋章2022铜牌荣誉勋章(注册8年以上会员)银牌荣誉勋章(注册10年以上会员)金牌荣誉勋章(注册20年以上会员)年全勤勋章2023年全勤勋章2024
发表于 2025-1-31 07:32:27| 字数 84| - 中国–香港 腾讯云 | 显示全部楼层
QUOTE:
Nanano 发表于 2025-1-31 01:38
内存够就能跑，我才插两条，上满理论上能跑，速度就无法恭维了

要显卡才能快啊， CPU 做GPU, NPU的事情太慢了。
工作机: MBP 14 2023,  X1E G5, MBA M1, SurfaceGo2LTE, X1C 2021
VM: VM*,E15 G2(40G内存 2TB)
陈列/备用：W540, X1C 2017和2018, Surface Pro 5,T430s,X230, X61
回复 支持 反对

使用道具 举报

Nanano

192

回帖

6

积分

9247

资产值

高级会员 Rank: 2Rank: 2

注册时间
2022-4-5
月全勤勋章
发表于 2025-1-31 13:15:49| 字数 125| - 中国–江苏–连云港 电信 | 显示全部楼层
QUOTE:
xdni336 发表于 2025-1-31 07:27
18G  跑8B 没问题，很流畅， 一般个人用到的场景都有了。 我一直想买个128G m4max, 跑32B和70B， 只是手 ...

今年AMD的AI 395 MAX 理论也有128G统一内存，分96G显存可以一试
T15g gen2 I7-11850H(ES) RTX3070 64+1T×3
X13 gen2 I7-1165G7 32+1T+256
X270  I5-7200U 32+256（给家人了）
P70 I7-6700HQ M3000M  40G  512+512+500（已出）
回复 支持 反对

使用道具 举报

下一页 »
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Powered by Discuz! X3.5 © 2001-2023 Comsenz Inc

GMT+8, 2025-2-5 19:46 , Processed in 0.184968 second(s), 60 queries , Gzip On, OPcache On.

手机版|小黑屋|安卓客户端|iOS客户端|Archiver|备用网址1|备用网址2|在线留言|专门网

返回顶部