很多人一直唠叨着并发中的新概念。然而，许多开发人员还没有机会把过多的注意力都放在上面。在这篇文章中，我们将带您了解Java 8 streams、 Hadoop、 Apache Spark、 Quasar fibers以及响应式编程，让你迅速入门。尤其是如果你不经常用它们的话。一句话，它并不遥远，它就在我们身边。
我们该怎么做？
谈到并发，一种很好的方式来形容当前的问题是来回答几个小问题以便更好的了解它：
它是一个数据处理任务么？如果是这样的话，它可以分解为独立的任务单元么？
操作系统、虚拟机和你的代码之间的关系是什么？（本地线程 VS 轻量级线程）
有多少机器和处理器参与？（单核 VS 多核）
让我们带着问题，一起找出每个问题的最佳答案吧。
1、从线程池到并行流
在Java 8中，我们了解到新的流API接口，它允许应用聚集操作，如筛选、排序或者映射数据流。流允许我们做的另一件事情是，在多核机器上应用并行操作。并行流 ——通过把Fork/Join框架引入Java 7将线程间的工作分离。Java 6并发库，我们看到了ExecutorService创建和处理我们的工作线程池，这不得不说是个进步。
Fork/Join也建立在ExecutorService之上，与传统的线程主要的区别在于如何在线程和支持多核的机器间分配工作。用一个简单的 ExecutorService你能完全控制工作线程之间的负载分布，确立每个任务的大小以便线程来处理。而Fork/Join，恰好有个work-stealing算法分配线程间的负载。简而言之，这允许大型任务可以被分成更小单元，并在不同的线程间处理，最终我们可以知道——它是为了平衡线程间的 工作。然而，这并不是万能的。
有时并行流会减慢你速度的，所以你需要多想想。在你的方法中使用parallelStream()会导致瓶颈和减速（在我们基准测试中跑慢了约15%左右）。假设我们已经运行多个线程，在其中一些我们使用parallelStream()，在线程池中添加越来越多的线程。这可以很容易超过我们的核心处理能力，由于增加了上下文转换一切都慢下来了。
小结：在单机上并行流使线程处理抽象化，在一定程度上这会均衡核心间的负载。然而，如果你想高效使用它们，记住硬件是关键而不是生产更多的线程而超出机器的处理能力。
2、Apache Hadoop和Apache Spark
接下来谈多核机器、 PB级数据和任务，这跟所有从twitter提到的Java或重载机器学习算法类似。谈到Hadoop,不得不说这个应用广泛的框架及它的组 件：Hadoop分布式文件系统（HDFS）、资源管理平台（YARN）、数据处理模块（MapReduce）和其他所需的类库和工具（Common）。 在这些组件上层还有一些其他很受欢迎的可选工具，比如运行在HDFS上的数据库（HBase）、查询语言平台（Pig）和数据仓库基础结构（Hive）。
Apache Spark 作为一种新数据处理模块，以内存性能和快速执行的弹性分布式数据集（RDDs）而出名，不同于不能高效使用内存和磁盘的Hadoop MapReduce。Databricks公布的最新标准显示当用少于10倍节点的时候，对1PB数据的排序Spark比Hadoop快三倍。
典型的Hadoop用例在于查询数据，而Spark正以其快速的机器学习算法越来越出名。但这只是冰山一角，Databricks如是说：“Spark 使应用程序在Hadoop集群中运行在内存中快100倍，当运行在磁盘中时甚至快10倍”。
小结：Spark是在Hadoop生态系统中的后起之秀，有一个常见的误解是我们现在经常谈它一些不合作或竞争的事情，但是我认为我们在这正在看到这个框架的发展。
3、Quasar fibers
我们有机会运行在Hadoop，现在让我们回到单机。事实上，在Java多线程应用程序和集中在单线程上，让我们眼光再长远些。就我们而言，HotSpot JVM线程与本地系统线程相同，持有一个线程并且运行在”虚拟“线程中，这在fibers中都包含的。Java没有原生的fibers支持，但是不要担 心，Quasar通过Parallel Universe解决了我们的问题。
Quasar 是一个开源的JVM库。它支持fibers(也称为轻量级线程)，并且还充当框架的角色，在后面中我会提到。在这上下文转换是它本质的名字。当我们核心数 量有限，一旦本地线程数量越大我们就会收到越来越多的上下文开销。一种解决这个问题的方式是fibers，使用单线程支持”多线程“。这看起来像threadcepiton的一个实例。
Fibers还可以被视为一个从线程池的进化，当我们通过应用并行流的时候避开了线程过载的危险。他们更容易衡量线程和允许令人可观的并行”轻量“线程数量。它们不是为了取代线程，而是应该用在那些相对来说经常堵塞的代码中，就如同担任真正异步线程的角色。
小结：并行领域在Java并发性中正提供一种新的思路，虽然还没有版本发布，但是值得一试。
