我想将Spark参数(如输入文件,输出文件)存储到
Java属性文件中,并将该文件传递给Spark Driver.我正在使用spark-submit提交作业,但找不到要传递属性文件的参数.你有什么建议吗
解决方法
这里我找到一个解决方案：
props file：(mypropsfile.conf)//注意：用“spark”键入你的密钥.否则道具将被忽略.
spark.myapp.input /input/path spark.myapp.output /output/path
发射
$SPARK_HOME/bin/spark-submit --properties-file mypropsfile.conf
sc.getConf.get("spark.driver.host") // localhost
sc.getConf.get("spark.myapp.input") // /input/path
sc.getConf.get("spark.myapp.output") // /output/path
