博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
jupyter sparkmagic on hdp
阅读量:5099 次
发布时间:2019-06-13

本文共 459 字,大约阅读时间需要 1 分钟。

1、安装jupyter

2、安装

3、设置超时

"livy_server_heartbeat_timeout_seconds": 0,

4、设置集群模式

"session_configs": { 	"driverMemory": "2G", "executorCores": 4, "proxyUser": "bernhard", "conf": { "spark.master": "yarn-cluster", "spark.jars.packages": "com.databricks:spark-csv_2.10:1.5.0" } } 5、配置hdp
livy.server.csrf_protection.enabled ==> false 6、启动notebook,配饰spark session
%load_ext sparkmagic.magics
%manage_spark
参考文档

转载于:https://www.cnblogs.com/cenglinjinran/p/7878630.html

你可能感兴趣的文章
POJ-1287.Network(Kruskal + Prim + Prim堆优化)
查看>>
Mysql 索引优化 - 1
查看>>
LeetCode(3) || Median of Two Sorted Arrays
查看>>
JSDoc规范
查看>>
大话文本检测经典模型:EAST
查看>>
文本主题模型之LDA(一) LDA基础
查看>>
linux基础命令-chgrp/chown/chomd
查看>>
待整理
查看>>
iOS 6
查看>>
Nginx入门篇-基础知识与linux下安装操作
查看>>
一次动态sql查询订单数据的设计
查看>>
C# 类(10) 抽象类.
查看>>
1.linux ping:unknown host www.***.***
查看>>
Swagger自动生成接口文档
查看>>
Jquery瀑布流布局,jQuery Wookmark Load 示例
查看>>
Swift-可选值(Optional)讲解
查看>>
原生javascript代码懒加载
查看>>
JavaScript总结(二)
查看>>
趣图:前后端分离开发
查看>>
EF6学习笔记十九:不一样的复杂类型
查看>>