<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	
	>
<channel>
	<title>《基于YARN集群构建运行PySpark Application》的评论</title>
	<atom:link href="http://shiyanjun.cn/archives/1738.html/feed" rel="self" type="application/rss+xml" />
	<link>http://shiyanjun.cn/archives/1738.html</link>
	<description>简单之美，难得简单，享受简单的唯美。</description>
	<lastBuildDate>Wed, 19 Feb 2025 08:08:30 +0000</lastBuildDate>
		<sy:updatePeriod>hourly</sy:updatePeriod>
		<sy:updateFrequency>1</sy:updateFrequency>
	<generator>http://wordpress.org/?v=3.9.2</generator>
	<item>
		<title>作者：高彬</title>
		<link>http://shiyanjun.cn/archives/1738.html#comment-65432</link>
		<dc:creator><![CDATA[高彬]]></dc:creator>
		<pubDate>Fri, 14 Dec 2018 01:28:00 +0000</pubDate>
		<guid isPermaLink="false">http://shiyanjun.cn/?p=1738#comment-65432</guid>
		<description><![CDATA[博主你好，之前有个问题：

为什么我打包了环境之后用archives上传，但还是报错说找不到依赖的库呢？

这个问题，我也按照你的回复用conda安装，并且 scikit-learn已经在condalist中，

但仍然会出现 ModuleNotFoundError: No module named &#039;sklearn&#039; 的情况。(我已经测试import  numpy通过，但是sklearn一直不能正常import)
conda list中 sklearn的名字叫 scikit-learn，但一般在python环境中import sklearn就可以，当然，我也尝试了把代码里的import sklearn 改成import scikit-learn，也是不行。

请问你遇到过这种情况么？ 谢谢！]]></description>
		<content:encoded><![CDATA[<p>博主你好，之前有个问题：</p>
<p>为什么我打包了环境之后用archives上传，但还是报错说找不到依赖的库呢？</p>
<p>这个问题，我也按照你的回复用conda安装，并且 scikit-learn已经在condalist中，</p>
<p>但仍然会出现 ModuleNotFoundError: No module named &#8216;sklearn&#8217; 的情况。(我已经测试import  numpy通过，但是sklearn一直不能正常import)<br />
conda list中 sklearn的名字叫 scikit-learn，但一般在python环境中import sklearn就可以，当然，我也尝试了把代码里的import sklearn 改成import scikit-learn，也是不行。</p>
<p>请问你遇到过这种情况么？ 谢谢！</p>
]]></content:encoded>
	</item>
	<item>
		<title>作者：Yanjun</title>
		<link>http://shiyanjun.cn/archives/1738.html#comment-61241</link>
		<dc:creator><![CDATA[Yanjun]]></dc:creator>
		<pubDate>Sat, 22 Sep 2018 10:57:06 +0000</pubDate>
		<guid isPermaLink="false">http://shiyanjun.cn/?p=1738#comment-61241</guid>
		<description><![CDATA[如果不希望每次提交PySpark程序都上传这个几百M的压缩包，那就给传到HDFS上去吧，让集群去分发处理，客户端提交就比较轻一些；如果这个压缩包内容频繁修改，那就需要在客户端提交了（否则，每次改完后，都要上传到HDFS也很麻烦；或者你可以脚本化这些操作，就是每次上传可能会多花一些时间）。]]></description>
		<content:encoded><![CDATA[<p>如果不希望每次提交PySpark程序都上传这个几百M的压缩包，那就给传到HDFS上去吧，让集群去分发处理，客户端提交就比较轻一些；如果这个压缩包内容频繁修改，那就需要在客户端提交了（否则，每次改完后，都要上传到HDFS也很麻烦；或者你可以脚本化这些操作，就是每次上传可能会多花一些时间）。</p>
]]></content:encoded>
	</item>
	<item>
		<title>作者：邱超越</title>
		<link>http://shiyanjun.cn/archives/1738.html#comment-60576</link>
		<dc:creator><![CDATA[邱超越]]></dc:creator>
		<pubDate>Thu, 23 Aug 2018 06:48:06 +0000</pubDate>
		<guid isPermaLink="false">http://shiyanjun.cn/?p=1738#comment-60576</guid>
		<description><![CDATA[博主，你好；如果我这些需要在jupyter上运行pyspark的cilent模式，是否也是要将python的anaconda文件打包压缩传到hdfs上]]></description>
		<content:encoded><![CDATA[<p>博主，你好；如果我这些需要在jupyter上运行pyspark的cilent模式，是否也是要将python的anaconda文件打包压缩传到hdfs上</p>
]]></content:encoded>
	</item>
	<item>
		<title>作者：Yanjun</title>
		<link>http://shiyanjun.cn/archives/1738.html#comment-59772</link>
		<dc:creator><![CDATA[Yanjun]]></dc:creator>
		<pubDate>Tue, 13 Feb 2018 15:19:20 +0000</pubDate>
		<guid isPermaLink="false">http://shiyanjun.cn/?p=1738#comment-59772</guid>
		<description><![CDATA[估计你是直接在本地的Python环境中下载的Python模块，比如直接通过pip下载安装，而不是通过Anaconda来安装的，这样就没能够把依赖安装到Anaconda的虚拟环境中。]]></description>
		<content:encoded><![CDATA[<p>估计你是直接在本地的Python环境中下载的Python模块，比如直接通过pip下载安装，而不是通过Anaconda来安装的，这样就没能够把依赖安装到Anaconda的虚拟环境中。</p>
]]></content:encoded>
	</item>
	<item>
		<title>作者：minionhuang</title>
		<link>http://shiyanjun.cn/archives/1738.html#comment-59761</link>
		<dc:creator><![CDATA[minionhuang]]></dc:creator>
		<pubDate>Tue, 13 Feb 2018 05:41:59 +0000</pubDate>
		<guid isPermaLink="false">http://shiyanjun.cn/?p=1738#comment-59761</guid>
		<description><![CDATA[博主你好，为什么我打包了环境之后用archives上传，但还是报错说找不到依赖的库呢？]]></description>
		<content:encoded><![CDATA[<p>博主你好，为什么我打包了环境之后用archives上传，但还是报错说找不到依赖的库呢？</p>
]]></content:encoded>
	</item>
	<item>
		<title>作者：yahya</title>
		<link>http://shiyanjun.cn/archives/1738.html#comment-59693</link>
		<dc:creator><![CDATA[yahya]]></dc:creator>
		<pubDate>Wed, 10 Jan 2018 07:04:08 +0000</pubDate>
		<guid isPermaLink="false">http://shiyanjun.cn/?p=1738#comment-59693</guid>
		<description><![CDATA[好的，谢谢]]></description>
		<content:encoded><![CDATA[<p>好的，谢谢</p>
]]></content:encoded>
	</item>
	<item>
		<title>作者：Yanjun</title>
		<link>http://shiyanjun.cn/archives/1738.html#comment-59684</link>
		<dc:creator><![CDATA[Yanjun]]></dc:creator>
		<pubDate>Mon, 08 Jan 2018 07:26:14 +0000</pubDate>
		<guid isPermaLink="false">http://shiyanjun.cn/?p=1738#comment-59684</guid>
		<description><![CDATA[你直接使用CDH安装吧，安装配置好CDH后，安装Spark只要在Web管理控制台上进行操作即可，非常容易。安装CDH可以参考我这篇文章：http://shiyanjun.cn/archives/1728.html]]></description>
		<content:encoded><![CDATA[<p>你直接使用CDH安装吧，安装配置好CDH后，安装Spark只要在Web管理控制台上进行操作即可，非常容易。安装CDH可以参考我这篇文章：http://shiyanjun.cn/archives/1728.html</p>
]]></content:encoded>
	</item>
	<item>
		<title>作者：yahya</title>
		<link>http://shiyanjun.cn/archives/1738.html#comment-59676</link>
		<dc:creator><![CDATA[yahya]]></dc:creator>
		<pubDate>Sat, 06 Jan 2018 15:23:39 +0000</pubDate>
		<guid isPermaLink="false">http://shiyanjun.cn/?p=1738#comment-59676</guid>
		<description><![CDATA[又来看你的文章了，博主可以做一次搭建hadoop+spark集群开发环境的博文啊]]></description>
		<content:encoded><![CDATA[<p>又来看你的文章了，博主可以做一次搭建hadoop+spark集群开发环境的博文啊</p>
]]></content:encoded>
	</item>
	<item>
		<title>作者：yahya</title>
		<link>http://shiyanjun.cn/archives/1738.html#comment-59647</link>
		<dc:creator><![CDATA[yahya]]></dc:creator>
		<pubDate>Sun, 24 Dec 2017 08:45:17 +0000</pubDate>
		<guid isPermaLink="false">http://shiyanjun.cn/?p=1738#comment-59647</guid>
		<description><![CDATA[请问博主是做什么工作？]]></description>
		<content:encoded><![CDATA[<p>请问博主是做什么工作？</p>
]]></content:encoded>
	</item>
	<item>
		<title>作者：Yanjun</title>
		<link>http://shiyanjun.cn/archives/1738.html#comment-59625</link>
		<dc:creator><![CDATA[Yanjun]]></dc:creator>
		<pubDate>Fri, 15 Dec 2017 03:22:33 +0000</pubDate>
		<guid isPermaLink="false">http://shiyanjun.cn/?p=1738#comment-59625</guid>
		<description><![CDATA[不是。]]></description>
		<content:encoded><![CDATA[<p>不是。</p>
]]></content:encoded>
	</item>
</channel>
</rss>
