Fork me on GitHub

Spark Streaming 实时计算框架

Spark Streaming 实时计算框架

有时候需要通过淘宝、京东等网站从用户点击行为（如加入购物车）和浏览的记录中发现用户的购买意图和兴趣，然后通过 Spark Streaming 实时计算框架分析处理，为之推荐相关商品，有效地提高商品销量。

实时计算框架

实时计算框架可以针对海量数据进行实时计算，无论在数据采集还是数据处理中，都可以达到秒级处理。 more >>

展开全文 >>

分布式锁

分布式锁

Zookeeper (分布式服务注册与发现、分布式协调技术，分布式锁)，分布式协调技术用来解决分布式环境当中多个进程之间的同步控制，让其有序访问某种临界资源，防止造成“脏数据”。

分布式锁：防止分布式系统中的多个进程间互相干扰，需要用到分布式协调技术来对进程进行调度。分布式协调技术的核心就是实现分布式锁。 more >>

展开全文 >>

调度框架

Quartz

最近有需求需要研究下任务调度框架，看了才发现原来之前有用过，只不过就搭了下 demo 。Quartz 是一个任务调度框架。可以用来运行定时任务，例如定时发邮件，定时爬数据（采集交易所记录进行分析，提醒你快爆仓啦），定时自定义任务(运行程序)等。给予一个触发条件，到点即触发相应的 job。类似 linux 下的 crontab 定时任务

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

主要涉及技术：
后端开发、微服务2.0(服务网格)
、大数据、人工智能、超级账本
打工仔、开源爱好者、极客
联系QQ:2595903671
很惭愧
只做了一点微小的工作