设为首页收藏本站
开启辅助访问 切换到窄版
搜索
第一问答网»论坛 › 中问网 › 问答 › 每天10G的nginx日志，需要怎么分析?

每天10G的nginx日志，需要怎么分析?

[复制链接]
查看11 | 回复10 | 2021-1-27 06:45:10 | 显示全部楼层 |阅读模式
RT,要分析出每IP的访问数量和每IP的访问内容。
分 -->
回复

使用道具 举报

千问 | 2021-1-27 06:45:10 | 显示全部楼层
贴一段日志出来，我测试一下代码。
回复

使用道具 举报

千问 | 2021-1-27 06:45:10 | 显示全部楼层
61.4.184.92--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101091101&type=observe&date=201312042349&appid=7c1429&key=BUyFU0GyXhzGNDNVpMQaortggDQ=HTTP/1.1"20076"-""Dalvik/1.6.0(Linux;U;Android4.1.1;MI2SMIUI/JLB23.0)"-
61.4.184.91--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101280601&type=observe&date=201301012336&appid=7c1429&key=oMqeris3J3IZ3CHkbOKd06X5NYg=HTTP/1.1"20077"-""Dalvik/1.4.0(Linux;U;Android4.0;US900GBuild/GRK39F)"-
61.4.184.93--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101090101&type=observe&date=201312042349&appid=f63d32&key=bheUQV3tGn2xWQ9irl%2B37J2Vkjs%3DHTTP/1.1"200303"-""SAMSUNG-Android"-
61.4.184.93--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101100805&type=observe&date=201312042348&appid=7c1429&key=qggG1p4SesvT0DU3dZDPLTaVwCs=HTTP/1.1"20076"-""Dalvik/1.6.0(Linux;U;Android4.0.4;GT-S7562Build/IMM76I)"-
61.4.184.92--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101181502&type=observe&date=201212042358&appid=7c1429&key=d6MVaHYcjds8O69Fd48hw4JNQxc=HTTP/1.1"20076"-""Dalvik/1.6.0(Linux;U;Android4.2.2;PhilipsT3500Build/JDQ39)"-
61.4.184.92--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101120201&type=forecast3h&date=201312042349&appid=f63d32&key=93MlJYwsegk7wcPTH77nL%2Fe9uRg%3DHTTP/1.1"2004470"-""SAMSUNG-Android"-
61.4.184.91--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101070801&type=forecast&date=201312042349&appid=f63d32&key=UG569rKKIvtoXUhUH2KKAff7WtU%3DHTTP/1.1"2001165"-""SAMSUNG-Android"-
61.4.184.90--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101110101&type=forecast&date=201312042349&appid=f63d32&key=Lu7X6OrSpspE26sp4ReHcKeT2Uo%3DHTTP/1.1"2001158"-""SAMSUNG-Android"-
61.4.184.90--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101210101&type=observe&date=200001040934&appid=7c1429&key=N6Rsf8HWIQquODZD6UV1nqDxAq8=HTTP/1.1"20077"-""Dalvik/1.6.0(Linux;U;Android4.1.1;N70DC-SBuild/JRO03H)"-
61.4.184.92--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101050101&type=forecast3h&date=201312042349&appid=f63d32&key=PXAV3jDeBp%2Bz5SdaAmtpeKQl1xk%3DHTTP/1.1"2004614"-""SAMSUNG-Android"-
61.4.184.90--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101150901&type=forecast&date=201312042349&appid=f63d32&key=1A%2B%2B%2FzK3Y81MsJtk%2FQz1FWewpV8%3DHTTP/1.1"2001178"-""SAMSUNG-Android"-
61.4.184.93--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101110807&type=forecast3h&date=201312042349&appid=f63d32&key=yLwpn77%2BMQUxG88U%2Bw9DnGzHoXU%3DHTTP/1.1"2004487"-""SAMSUNG-Android"-
61.4.184.92--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101280601&type=observe&date=201312042349&appid=f63d32&key=oL0wNOM41qqbS2LZePZRMBqwELs%3DHTTP/1.1"200298"-""SAMSUNG-Android"-
61.4.184.91--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101110101&type=observe&date=201312042349&appid=f63d32&key=KIGS0Mrd%2BtxGAw2QxffBSPLudgM%3DHTTP/1.1"200297"-""SAMSUNG-Android"-
61.4.184.90--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101050901&type=observe&date=201311032350&appid=7c1429&key=qsp5O1PiXAiL7dbOgzr6czkbl1Q=HTTP/1.1"20077"-""Dalvik/1.6.0(Linux;U;Android4.1.1;MI2AMIUI/JLB20.0)"10.172.19.85
61.4.184.92--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101181001&type=forecast&date=201312042349&appid=f63d32&key=rn59yR4fNs7%2FgmSydlOkzZMRXH4%3DHTTP/1.1"2001165"-""SAMSUNG-Android"-
61.4.184.93--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101250101&type=temp&date=201312042349&appid=f63d32&key=lruvnBBc6YicdB2I4rVbWzxq9ks%3DHTTP/1.1"20026"-""SAMSUNG-Android"-
61.4.184.93--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101210101&type=observe&date=201312042349&appid=f63d32&key=Q52d%2FOp%2F6sKinR9A0PqnMrH7ZQ8%3DHTTP/1.1"200298"-""SAMSUNG-Android"10.128.165.209
61.4.184.93--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101191201&type=forecast&date=201312042349&appid=f63d32&key=D%2FvpXPLqv8w9d4B3Ai0T6eTNGec%3DHTTP/1.1"2001164"-""SAMSUNG-Android"-
61.4.184.91--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101020100&type=forecast&date=201312042349&appid=f63d32&key=LiZ1%2FjwdXPFbcw5LQ4%2Bloycoynk%3DHTTP/1.1"2001166"-""SAMSUNG-Android"-
61.4.184.91--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101240601&type=observe&date=201212042349&appid=7c1429&key=lfXLCmrdscNVlGn88KLFv6M/fSw=HTTP/1.1"20076"-""Dalvik/1.6.0(Linux;U;Android4.0.4;HYUNDAIT20Build/IMM76D)"-
61.4.184.93--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101260201&type=observe&date=201312042349&appid=f63d32&key=ggmOFVKXOY0loNHLXT4g%2BRyeHUY%3DHTTP/1.1"200298"-""SAMSUNG-Android"-
61.4.184.93--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101131001&type=observe&date=201301091725&appid=7c1429&key=sepcW9rh6bW6G6k3dYkAMdRi2Rc=HTTP/1.1"20077"-""Dalvik/1.6.0(Linux;U;Android4.0.4;ZTEU817Build/IMM76D)"-
61.4.184.93--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101280301&type=observe&date=201312042349&appid=5b9529&key=5RpBSBt3UoRvEFDOhEtNTxY63Ag%3DHTTP/1.1"20048"-""JakartaCommons-HttpClient/3.1-rc1"-
61.4.184.93--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101210901&type=observe&date=201312042349&appid=f63d32&key=0SN0sdlHUCOUvrk3zjZ5KqueMPA%3DHTTP/1.1"200298"-""SAMSUNG-Android"-
61.4.184.91--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101270507&type=observe&date=201312042348&appid=7c1429&key=7rb44bA5Ou581EHpr+yu43v1sMw=HTTP/1.1"20077"-""Dalvik/1.4.0(Linux;U;Android2.3.4;SHW-M110SBuild/GINGERBREAD)"-
61.4.184.90--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101280301&type=forecast3d&date=201312042349&appid=5b9529&key=iKV%2BWpVEX5QXMIJh8%2FBytd3iVfQ%3DHTTP/1.1"200562"-""JakartaCommons-HttpClient/3.1-rc1"-
61.4.184.92--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101040100&type=forecast3h&date=201312042350&appid=f63d32&key=tMADH88lt5KmNbeGaJNbRQNTWx8%3DHTTP/1.1"2004619"-""SAMSUNG-Android"-
61.4.184.90--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101110101&type=all&date=201312041137&appid=f63d32&key=hVTLiUIZERsEtnmw5i4HD7Er5K4%3DHTTP/1.0"2005899"-""-"-
61.4.184.91--[05/Dec/2013:00:10:05+0800]"GET/data/?areaid=101090301&type=all&date=201312041146&appid=f63d32&key=bO30zDwAE5bLc%2BcEVt80q%2BfkuNw%3DHTTP/1.0"2006507"-""-"-
引用1楼ljc007的回复:贴一段日志出来，我测试一下代码。
回复

使用道具 举报

千问 | 2021-1-27 06:45:10 | 显示全部楼层
[ljc007]$awk'{a[$1]++}END{for(iina)printi,a}'urfile
61.4.184.9310
61.4.184.906
61.4.184.917
61.4.184.927
你测试一下这个代码需要执行多长时间
回复

使用道具 举报

千问 | 2021-1-27 06:45:10 | 显示全部楼层
引用3楼ljc007的回复:[ljc007]$awk'{a[$1]++}END{for(iina)printi,a}'urfile
61.4.184.9310
61.4.184.906
61.4.184.917
61.4.184.927
你测试一下这个代码需要执行多长时间
你知道的太多了！
回复

使用道具 举报

千问 | 2021-1-27 06:45:10 | 显示全部楼层
引用3楼ljc007的回复:[ljc007]$awk'{a[$1]++}END{for(iina)printi,a}'urfile
61.4.184.9310
61.4.184.906
61.4.184.917
61.4.184.927
你测试一下这个代码需要执行多长时间
1。4G数据处理10分钟无果
回复

使用道具 举报

千问 | 2021-1-27 06:45:10 | 显示全部楼层
先放进hadoop，然后写mapper和reducer。。
回复

使用道具 举报

千问 | 2021-1-27 06:45:10 | 显示全部楼层
数量和内容分开处理比较方便吧？
统计数量：awk'{print$1}'log.txt|sort|uniq-c
内容：跟据以上结果再grep
回复

使用道具 举报

千问 | 2021-1-27 06:45:10 | 显示全部楼层
引用6楼qq120848369的回复:先放进hadoop，然后写mapper和reducer。。
这个要用hadoop么?配起来会不会比较麻烦?不用实时分析，只要一天分析一次就OK了
回复

使用道具 举报

千问 | 2021-1-27 06:45:10 | 显示全部楼层
用C++写个程序分析一下。读一遍文件就好了。
回复

使用道具 举报

12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

千问

主题

0

回帖

4882万

积分

论坛元老

Rank: 8Rank: 8

积分
48824836
回复楼主 返回列表
热门排行