设为首页收藏本站
开启辅助访问 切换到窄版
搜索
第一问答网»论坛 › 中问网 › 问答 › 每天采集100w条记录，这需要什么样的服务器 ...

每天采集100w条记录，这需要什么样的服务器

[复制链接]
查看11 | 回复8 | 2022-1-21 10:30:56 | 显示全部楼层 |阅读模式
每天采集100w条记录，每条记录有三个字段。这需要什么样的采集服务器？需不需要设置多个采集服务器？
数据库打算采用aws的RDS 用mysql，预计每天采集的数据需要多大的空间呢？服务器, 数据库, 记录
回复

使用道具 举报

千问 | 2022-1-21 10:30:56 | 显示全部楼层
最近一直有人用采集
我客户大概也差不多那样，用的1T磁盘，CPU正常就2G就可以了
回复

使用道具 举报

千问 | 2022-1-21 10:30:56 | 显示全部楼层
牛B大了 采集那么多
回复

使用道具 举报

千问 | 2022-1-21 10:30:56 | 显示全部楼层
黑色焦点 发表于 2013-10-19 22:01
牛B大了 采集那么多
= = 不是网站数据。。
是折腾大数据这块做数据挖掘的，每天100w我都觉得少了。
回复

使用道具 举报

千问 | 2022-1-21 10:30:56 | 显示全部楼层
C大 发表于 2013-10-19 22:16
最近一直有人用采集
我客户大概也差不多那样，用的1T磁盘，CPU正常就2G就可以了 ...
我的每天采集后生成csv文件，当天就导入到AWS上的mysql，然后就可以删除了。不需要那么大的硬盘吧。
CPU用什么，内存2G就够？
回复

使用道具 举报

千问 | 2022-1-21 10:30:56 | 显示全部楼层
采集都是源代码，硬件应该要求不大，网络好点就行
上百万的数据磁盘肯定要老大了的
回复

使用道具 举报

千问 | 2022-1-21 10:30:56 | 显示全部楼层
C大 发表于 2013-10-19 22:27
采集都是源代码，硬件应该要求不大，网络好点就行
上百万的数据磁盘肯定要老大了的 ...
带宽大概需要独享多少？
回复

使用道具 举报

千问 | 2022-1-21 10:30:56 | 显示全部楼层
秋随枫舞 发表于 2013-10-19 22:29
带宽大概需要独享多少？
那要看你是什么数据，目标源文件是什么样的，大不大。
回复

使用道具 举报

千问 | 2022-1-21 10:30:56 | 显示全部楼层
BackDoor 发表于 2013-10-19 22:47
那要看你是什么数据，目标源文件是什么样的，大不大。
文本型的。页面类似目录页。
比如一个目录页上有书名和作者名 我采集这俩。。
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

千问

主题

0

回帖

4882万

积分

论坛元老

Rank: 8Rank: 8

积分
48824836
回复楼主 返回列表
热门排行