当年我是做C#+Java软件开发,然后考取OCP来了上海,立志要做一名DBA。只记得当年试用期刚过时,阴差阳错轮到我负责公司的大数据平台这块,刚开始很痛苦,一个陌生的行业,一个讨论的小伙伴都没有,一份现成资料都没有,心情焦虑。后来我调整心态,从DB转移到对大数据的研究,决定啃下这块硬骨头,把它嚼碎,把它消化吸收。
由于当时公司都是CDH环境,刚开始安装卡了很久都过不去,后面选择在线安装,很慢,有时需要1天。后来安装HDFS ,YARN,HIVE组件,不过对它们不理解,不明白,有时很困惑。这样的过程大概持续三个月了。
后来看了很多博文,都是Apache Hadoop版本搭建,于是我先试试用Apache Hadoop搭建部署单节点和集群,然后配置HA,最后我发现自己比较喜欢这种方式,因为我能了解其配置参数,配置文件和常规命令等等,再回头去对比CDH安装HDFS服务,真是太爽了,因为Apache Hadoop版本有真正体验感,这时我就迅速调整方向 : 先Apache版本,再CDH。
由于公司项目环境,推进自己实在太慢,于是我在网上看各种相关视频教程;加n种群,在群里潜水,看水友们提的问题自己会不会,不会就去查资料,会就帮助他们一起研究学习进步。
后来这样的进度太慢了,因为很多群都是打广告,潜水,没有真正的技术讨论氛围,于是我迅速调整方向,自己建个QQ群,慢慢招兵买马,和管理员们一起去管理,在过去的两年里我也学到了很多知识和认识和我一样前进的小伙伴们,现在也有很多已成为friends。
每当夜晚,我就会深深思考仅凭公司项目,网上免费课程视频,QQ群等,还是不够的,于是我开始咨询培训机构的课程,在这里提醒各位小伙伴们,报班一定要擦亮眼睛,选择老师很重要,真心很重要,许多培训机构的老师都是Java转的,讲的是全是基础,根本没有企业项目实战经验;还有不要跟风,一定看仔细看清楚课程是否符合当前的你。
这时还是远远不够的,于是我开始每天上下班地铁上看技术博客,积极分享。然后再申请博客,写博文,写总结,坚持每次做完一次实验就将博文,梳理好,写好,这样久而久之,知识点就慢慢夯实积累了。
再着后面就开始受邀几大培训机构做公开课,再一次将知识点梳理了,也认识了新的小伙伴们,我们有着相同的方向和目标,我们尽情的讨论着大数据的知识点,慢慢朝着我们心目中的目标而努力着!
以上基本就是我和大数据的情缘,下面我来谈谈我对大数据入门的感悟。
1. 心态要端正。
既然想要从事这行,那么一定要下定决心,当然付出是肯定大大的,不光光是毛爷爷,而更多的付出是自己的那一份坚持,凡事贵在坚持,真真体现在这里。
后来我将我老婆从化工实验室分析员转行,做Python爬虫和数据分析,当然这个主要还是靠她的那份坚持。
2. 心目中要有计划。
先学习Linux和Shell,再学习数据库和SQL,再学习Java和Scala,
然后学习Apache Haoop、Hive、Kafka、Spark,朝大数据研发或开发而努力着。
3. 各种方式学习。
QQ群,博客,上下班看技术文章,选择好的老师和课程培训,
(擦亮眼睛,很多视频,很多大数据老师都是瞎扯的,最终总结一句话,不在企业上班的教大数据都是耍流氓的。)
可以加速自己前进的马拉松里程,其实一般都要看大家怎么衡量培训这个事的,time和money的抉择,以及快速jump后的高薪。
4. 项目经验。
很多小白都没有项目经验也没有面试经验和技巧,屡屡面试以失败告终,
这时大家可以找你们熟悉的小伙伴们的,让他给你培训他的项目,这样就有了,当然可以直接互联网搜索一个就行,不过一般很难有完整的。
而面试,就看看其他人面试分享,学习他人。
最后,总结一句话,坚持才是最重要的。
最后,总结一句话,坚持才是最重要的。
最后,总结一句话,坚持才是最重要的。