一个大数据工程师到底应该会什么？ 01前言如何才能成为一名真正的“全栈（full-stack）”数据科学家？需要了解哪些知识？掌握哪些技能？概括…
内存有限的情况下 Spark 如何处理 T 级别的数据？ https：// v.qq.com/x/page/q0371wj j8fb.htmlhttps：// v.qq.com/x/page/n0371l0 ytji.html 感兴趣的读者也可以阅读YDB编程指南 http：// url.cn/42R4CG8 。也可以参考该书自己。
sql server、my sql、oracle与hadoop，哪个才是未来趋势？到底有什么区别？
大数据工程师需要学习哪些？ 关于Spark和SparkSQL，可参考 http：// lxw1234.com/archives/ca tegory/spark 如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的： 第六章：一夫多。
PostgreSQL与MySQL相比，优势何在？ PostgreSQL不是Oracle公司的，这是相对于MySQL最大的优势，没有之一！MySQL是目前最受欢迎的开源数据库，PostgreSQL则是我认为最先进的开源数据库。MySQL是C/C++混合开发，PostgreSQL则是完全的C语言开发，这是在技术方面的差异，接下来我详细列一下PostgreSQL相对于MySQL优势，当然其实这些也都能招到，我就列举几个比较关键的优势。PostgreSQL稳定性非常强，InnoDB即使是在断电这种场景下，PostgreSQL也是相当稳定的，这个MySQL用户应该是深有体会的，很多估计都经历过服务器级别的数据丢失。MySQL是单存储引擎，PostgreSQL是多存储引擎，包括InnoDB、MyISAM等。删除临时表的时候，PostgreSQL语句没有TEMP、TEMPORARY关键字，DROP TABLE通过数据库连接的排列被删除。MySQL支持TEMP、TEMPORARY关键字，DROP TABLE语句只允许删除临时表，要手动删除。PostgreSQL支持CASCADE选择删除表的依赖对象，PostgreSQL的TRUNCATE TABLE支持功能更多。MySQL TRUNCATE TABLE不支持CASCADE食物安全，数据删除之后就没办法回滚了。PostgreSQL支持多种高级数据类型，比如array，用户也可以定义类型，MySQL只支持标准类型。PostgreSQL支持布尔型，支持IP地址数据类型，支持常量和函数调用。。
在大数据中，如何使用spark？ Spark使用SparkSQL、Spark Streaming、MLlib、Graph几乎完美地解决了大数据中的Batch Processing、Stream Processing、Ad-hocQuery（即席查询）等三大核心问题。Spark定义a.是一个通用的大规模数据快速处理引擎。b.Spark就是一个大数据分布式处理框架。3.Spark在性能和方案的统一性都具有显著的优势。如何学习Spark配置spark环境：先安装linux，java，Scala，spark等软件，配置环境变量，搭建集群。建议你先熟悉一下linux系统。学习scala语言，函数式编程，这些有点难度。我是学java过来的，感觉很不适应，语法感觉很怪，需要冷静下来好好学习，trait，object 伴生对象，柯里化等概念还是需要好好理解的，他也有很多好处，比如apply（）方法，很方便的新建一个对象那个，用得多了，就觉得很好用，我现在就觉得很好用，学过java好理解一些，本质一样，表达方式不同而已。建议您学习一下java。spark学习，最好学习spark的方式就是看官方文档，跟着官方文档过一遍手，基本就理解的差不多啦，接下来用idea集成编程完成的程序，调试测试等，基本就可以上手啦！接下深入理解就看源码，深入Spark内核，通过源码掌握Spark的任务提交过程，掌握Spark集群的任务调度，尤其要精通。
