那些10w+的公众号都在写什么?
出于好奇,那些10w+的公众号都写了些什么,于是我写了几个脚本爬取了各行业Top的公众号文章,进行了关键词统计。
抓取数据、分析用到了3中语言:Node.js,Java,Python。废话不多说,直接上代码。
1(NODEJS)
puppeteer模拟登陆,抓取微信公众号链接:
/**
* load wechat article urls on newrank.cn
**/
const puppeteer = require('puppeteer');
//emulate iphone
const userAgent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Geck...
百度,你拿什么和谷歌争?
1
8月1日,有传言谷歌重返中国,百度股价下挫7.84%。后证实是谣传。
8月6日,人民日报在海外(Twitter, Facebook)发声:欢迎谷歌回归,但必须遵守当地(大陆)法律。
紧接着,李彦宏在朋友圈发声:非常有信心再赢谷歌一次。
然而,百度(BIDU)在8月7日的开盘价却是228.31,相较于232.96,下降2%。
(事实上,在我写到这的时候(19点50分),正是美股的盘前交易时间,百度(BIDU)的股价最高已经下跌2.64%)
2
股票定价包含企业盈利和折现因子两部分。按照逻辑,公司的股票价格是人们对它未来盈利能力的预期,扣除时间价值(未来),折现到当下的值加总。
显然,百度的股价受谷歌是否进入中国市场影响巨大。这说明,人们对百度的未来并没...
向程序员告别
在往期我分享的文章中,最重要的是分享思维,思考问题的方法、学习的方法、解决麻烦的方法,我认为这些是最重要的。思维是拉开人与人差距的最根本因素。
初中时语文课本上有一篇文章叫《怀疑的精神》,这种精神让我受益匪浅,延续至今。怀疑(否定及自我否定)是发现这个世界规则的契机,对这个世界充满疑惑才能发现这个世界的规则。这一切都来自于人的好奇心,这是人的本能。
为什么影子的边缘是虚的?(太阳是面不是点)为什么火焰是向上的?(能量守恒)
这是物理。
为什么三门问题会影响概率?(主持人参与)为什么薛定谔的猫可以又生又死?(观察具有破坏性)
这是逻辑。
物理和逻辑,是人和这个世界的纽带,掌握它你能生存。然而这些还都是基础,非常基础的基础。
人往往不是为了生存而存在,也一定不是为了”理想“而活着。...
如何正确的提问题
单身时我把气球装上水模拟成D cup的样子,有了女朋友后她脸红红的问我是否对此熟练,我说“精通”。
捷径
我们需要走捷径,因为我们的生命是有限的。
我们一生能做的事情不多,越是精英越会觉得时间不够用。我们不可能花费大量的时间来回答别人的问题,更何况提问的人自己甚至都没思考。
自行求解
有人提问题上来就问“为什么”“怎么回事”“如何…”。其实这是可以理解的,因为提问者对问题相关领域一无所知。但是对于回答者来说,他要花费大量的时间来给你讲解这个问题的相关“前置”知识点,没人愿意这么做,除非他对你有义务。那么,谁又有义务为你解答?
你需要自己去做问题相关的前置调研。如果你自己不肯花费时间,又凭什么置换别人的时间(生命)?
带上观点
在自行求解过后,你不会一无所知,你的问题至少可以...
你的知识死角不能否定你的技术能力
有些事情你不知道,但你一定能解决。
有些人通过我账号资料里的微信加我,然后问我一些所谓“怎么办”的问题,不是我不告诉你,而是我确实不知道。我确实有很高的title,也确实有很多的技术积累,但我并没有达到知识的“百宝盒”的水平。
换个角度重新说这句话“这么简单的问题你都不知道,你配得上你的title吗?”
技术能力
我们放下技术先不谈,只说能力。当你同时面对工作进度紧张,家里事务繁琐,你是如果做时间管理的?当你面对20个offer,需要做出选择时,你是如何量化对比企业特点,找到最适合你的那一个?当你的schedule堆的满满的,你肯定完不成所有事务时,你是如果设置优先级的?当你发现很多方法都能达到你要做的目的,你是如何寻找最优解的?当你的女朋友们吵得不可开交时,你是如何调和的?(...
实例:使用puppeteer headless方式抓取JS网页
puppeteer
google chrome团队出品的puppeteer 是依赖nodejs和chromium的自动化测试库,它的最大优点就是可以处理网页中的动态内容,如JavaScript,能够更好的模拟用户。
有些网站的反爬虫手段是将部分内容隐藏于某些javascript/ajax请求中,致使直接获取a标签的方式不奏效。甚至有些网站会设置隐藏元素“陷阱”,对用户不可见,脚本触发则认为是机器。这种情况下,puppeteer的优势就凸显出来了。
它可实现如下功能:
生成页面的屏幕截图和PDF。
抓取SPA并生成预先呈现的内容(即“SSR”)。
自动表单提交,UI测试,键盘输入等。
创建一个最新的自动化测试环境。使用最新的JavaScript和浏览器功能,直接在最新版...
给老婆的一篇文章
老婆公司有个这样的需求:
查询出某游戏用户回流信息,当用户连续两天登陆,则判定为2日回流,如果间隔一天登陆,则判定为3日回流,如果间隔5天登陆,则判定为7日回流。用户数据间隔时间短为14天(固定)。
准备数据
database语法和mysql一致。
创建表:
create table user_login(
u_id int,
login_date timestamp default current_timestamp
);
插入数据:
DELIMITER //
create procedure loop_insert()
begin
declare days int;
declare usrs int;
declare mx int;
declare i int...
宝宝入园记录第一天、第二天
第一天(20180402)
今天第一天送孩子去幼儿园。
满脸疑惑的被幼儿园老师抱走,半小时后老师发来小视频,孩子拿个假电话在说“妈妈你可以快点回来吗?”
是爸爸妈妈没跟你交代清楚,我自责了很久。
9点多孩子尿裤子了,应该是不敢和老师说。
中午,我看到老师发的照片你在吃午饭,手抬高超过你眼角,嘴唇被挤的上翘。你从来不这样吃饭,你的右臂在相机拍不到后面,我浮想联翩。
午休时你按照幼儿园的规矩时间睡着了,眉头皱着。
晚上我让孩子妈妈看了你的屁股,果然没擦干净。我知道你下午应该有上厕所,而且学会了和老师说。
晚上接你时,你目光没有神采,眼睛瞪的老大,似乎是强打精神,充满警惕。我的心顿时抽搐的疼。
我在记事本上列出了要问老师的问题和需要交代的事,一一说清楚,老师夸你表现好,园长也夸你表现好。我并...
57 post articles, 8 pages.