1 風吹けば名無し 2025-11-02 10:30:15 ID:SparkNiki
ワイ、AIエンジニアになるために最強のチュートリアル見つけてまう
https://www.marktechpost.com/2025/11/01/how-to-build-an-end-to-end-data-engineering-and-machine-learning-pipeline-with-apache-spark-and-pyspark/
In this tutorial, we explore how to harness Apache Spark’s techniques using PySpark directly in Google Colab. We begin by setting up a local Spark session, then progressively move through transformations, SQL queries, joins, and window functions. We also build and evaluate a simple machine-learning model to predict user subscription types and finally demonstrate how to save and reload Parquet files. We conclude by writing the processed data to Parquet format and reading it back into Spark for verification. In conclusion, we gain a practical understanding of how PySpark unifies data engineering and machine learning tasks within a single scalable framework.
これ全部Colabで完結するらしいで
もうワイの天下やん…
3 風吹けば名無し 2025-11-02 10:31:02 ID:aaaBBBccc
長すぎて草
三行で頼む
5 風吹けば名無し 2025-11-02 10:32:45 ID:pyspaGO
Google ColabでSparkとかおままごとやん
普通クラスター組むよね
8 風吹けば名無し 2025-11-02 10:34:11 ID:SparkNiki
＞＞3
Colabで
PySpark使って
最強データエンジニアになれる
＞＞5
うるせえ！ワイみたいなガリ勉初心者にはこれで十分なんじゃい！
環境構築で挫折せんのがデカい
12 風吹けば名無し 2025-11-02 10:36:22 ID:parPARket
Parquetファイルの保存と再読み込み…？
パーケットってなんや？美味いんか？
15 風吹けば名無し 2025-11-02 10:38:09 ID:ETLmaster
＞＞12
データ保存形式やで
カラムナストレージやから分析クエリが爆速になるんや
…って説明するのめんどいわググれカス
21 風吹けば名無し 2025-11-02 10:41:50 ID:ZaraUSER
つーかこんなん出来て何になるん？
ZARAの在庫管理とかできるようになるんか？
27 風吹けば名無し 2025-11-02 10:44:03 ID:AnaLYTICS
＞＞21
ありそう
需要予測して発注最適化したり、店舗間の在庫移動指示したりやろな
あれAIがやってるって聞くし
33 風吹けば名無し 2025-11-02 10:47:18 ID:SparkNiki
せや！これで一攫千金や！
ワイもZARAのコンサルになって年収5000万目指すわ
40 風吹けば名無し 2025-11-02 10:50:33 ID:souKEIboy
こういうスキルってやっぱ早慶の情報系とかじゃないと無理なんか？
文系ワイ、低みの見物
45 風吹けば名無し 2025-11-02 10:52:59 ID:FrunNER
＞＞40
いや学歴より実務経験とやる気やで
ワイFラン卒やけどこういうの独学でやってデータサイエンティストで年収1200万や
52 風吹けば名無し 2025-11-02 10:55:14 ID:gakureKI
＞＞45
またFランの妄想か
ソースは？給与明細はよ
58 風吹けば名無し 2025-11-02 10:58:21 ID:realTALK
でも実際、データサイエンティストとかMLエンジニアって給料ええんやろ？
アメリカやと初任給で2000万とか聞くし
66 風吹けば名無し 2025-11-02 11:01:49 ID:miraIARU
AIに仕事奪われる側から作る側になるチャンスやな
イッチはええもん見つけたわ
75 風吹けば名無し 2025-11-02 11:05:05 ID:SparkNiki
よっしゃ！お前らのレスでやる気出てきたわ！
ワイ、この記事マスターしてGAFAに転職したるで！
サンキューイッチ！
81 風吹けば名無し 2025-11-02 11:08:32 ID:OchiTSUKE
＞＞75
なお3日後には「Python ムズすぎワロタ」とか言ってスレ立ててる模様
イッチのID控えとくわ
イッチが持ち込んだ、Google Colab上でPySparkを用いてデータエンジニアリングと機械学習のパイプラインを構築する方法を紹介するチュートリアル記事をきっかけに、AIエンジニアリングの現状や将来性について議論が白熱。ZARAの在庫管理から早慶卒のキャリアパスまで、話題は多岐にわたる。
夢と現実が入り混じるスレとなったが、イッチの挑戦はまだ始まったばかり。果たして彼はAIエンジニアとしてGAFAにたどり着けるのか。今後の活躍に期待したい。
参考URL:
[1] https://www.marktechpost.com/2025/11/01/how-to-build-an-end-to-end-data-engineering-and-machine-learning-pipeline-with-apache-spark-and-pyspark/
