原因是linux root执行spark-sql,但是root用户对hdfs文件没有相应权限。解决方法是：在ranger权限管理对HDFS添加root用户

全局参数：1. --master yarn-cluster (or yarn-client) 参数说明：制定yarn的执行模式，分集群模式和客户端模式，一般使用集群模式 2. --num-executors 50 参数说明：　　该参数...

执行数据量较大的spark任务时经常会出现MetadataFetchFailedException: org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output...

mapreduce运行中发现有任务被kill掉，多半是因为内存分配不足造成，所有需要修改内存配置。 首先在yarn-site.xml中添加下面内容： <property> <name>yarn.nodemanager.re...

出度顶点信息 person:{id:110,name:"张三",age:26} 入度顶点信息 company:{id:1,name:"京东",address:"北京市大兴区科创十一街18号院"｝ 边信息 works:{110->1} Neb...

JanusGraphManagement mgmt = jsGraph.openManagement(); //删除schema,删除边、删除顶点、删除属性 EdgeLabel worksLabel=mgmt.getEdgeLabel("work...

JanusGraph通过java访问，如果cassandra和ElasticSearch的组合，需要将这两个组件设置允许外部网络访问。 Maven配置如下： <dependency> <groupId>org.janusg...

JanusGraph full包中也包含了ElasticSearch应用，但是ElaticSearch默认只允许本机访问不允许外部访问，如果设置外王访问，需要修改以下配置。 1、在ElasticSearch/config/elastic...

JanusGraph full压缩包包含了Cassandra，因此启动服务可以无需更改配置启动。 启动命令： bin/janusgrap.sh start 但是要允许外网访问时，需要更改Cassandra的配置。修改配置路径cassandra/c...

架构对比 HBase和Cassandra几乎是一个年份发起，又都是在2010年成为Apache的顶级项目，不过如果我们去细品其内部机制，我们会发现其实两者是完全不同的架构风格。 HBASE起源于Google BigTable，几乎遵从了BigTa...