小墨鱼

受尽苦难而不厌,此乃阿修罗之道


  • 首页

  • 归档

  • 关于

  • Suche
close

Hadoop NameNode启动之心跳机制

发表于 2018-02-02   |  

前言

HDFS的心跳机制是如何设计的?如果我们自己来做又是如果判断一个服务是否有效?
假设不是一个分布式程序,而是一个多线程程序。有10个线程,一个master线程,9个slave线程。
你需要知道这9个slave线程是否还是活跃有效的。
那么,在本文最后会给出一些不错的文章链接。

阅读全文 »

Hadoop NameNode启动之FSDirectiry

发表于 2017-12-19   |  

前言

作为Hadoop NameNode类启动分析篇的起始篇章。
我们先来了解一下FSDirectiry做了哪些功能点。

一切都因下面这段代码开始(一切的是命运之门的选择, 滑稽)

阅读全文 »

Java线程介绍及安全

发表于 2017-04-16   |  

链接

https://github.com/forhappy/Cplusplus-Concurrency-In-Practice/blob/master/zh/chapter1-Introduction/1.1%20What%20is%20concurrency.md

mysql学习笔记-事务隔离级别

发表于 2017-03-05   |  

事务是什么?
事务就是一组原子性的SQL查询,或者说一个独立的工作单元。如果数据库引擎能够
成功的对数据库应用该组查询的全部语句,那么执行该组查询。如果其中有任何一条语句因为崩溃
或者其它原因无法执行,那么所有的语句都不会执行。也就说,事务内的语句,要么全部执行成功,
要么全部执行失败。

阅读全文 »

hadoop Partitioner使用及注意点

发表于 2017-02-07   |  

前言
hadoop已经出来这么长时间了,分区的文章早已经多如牛毛,为何你还要写呢?
其实呢,这篇文章主要是想要介绍一下使用MR自定义分区需要注意的一些点。

阅读全文 »

mapreduce join

发表于 2017-02-03   |  

前言
我们知道hive,mysql等sql语言都可以进行join操作。那么mapreduce是如何join的呢?
在说明mapreduce进行join开始,我们来先看看sql的语法。

阅读全文 »

eclipse配置运行HDFS

发表于 2017-01-23   |  

前言
通常我们在运行HDFS都是编译源码并配置Hadoop环境变量,然后进入sbin目录中

1
start-dfs.sh

阅读全文 »

java自旋锁

发表于 2016-11-14   |  

此文章不涉及与互斥锁等比比较,只是单纯的介绍一个自旋锁,如果想要了解更多可以点击参考链接

阅读全文 »

java finalize方法

发表于 2016-08-27   |  

为什么写这篇文章?
要说finalize方法我想做java的都知道,那么finalize方法会不会执行,如果会什么时候执行?如果重写finalize方法又有什么严重的后果?

阅读全文 »

mapreduce计算uv

发表于 2016-08-23   |  

为什么写这篇文件?
我们在统计的时候pv和uv可以说的最基础的也是最常见的,相信做数据的都知道。这种需求
我们一般就是使用hive进行统计就完事了,非常的简单。
根据url计算每个页面的访问次数和独立访客用户数。

阅读全文 »
12
小墨鱼

小墨鱼

11 日志
© 2018 小墨鱼
由 Hexo 强力驱动
主题 - NexT.Mist
本站访客数人 本站总访问量次