TsK|データエンジニア@メガベン

2.2K posts

TsK|データエンジニア@メガベン banner
TsK|データエンジニア@メガベン

TsK|データエンジニア@メガベン

@HardModeDE

建築修士→未経験SES→DS→SIer→メガベンDE💻🏆GCP6冠 「DSの猛者と戦わず、DEでポジションを取る」 ハードモードから這い上がった転職実録を発信 SQL / AI×エンジニアのリアル / メガベン転職攻略 ↓ 詳細は固定ポストへ

Katılım Ağustos 2019
462 Takip Edilen3K Takipçiler
Sabitlenmiş Tweet
TsK|データエンジニア@メガベン
ここ最近でフォロワーさんが一気に6,700人ほど増えたので、改めて自己紹介させてください! TsK|データエンジニア📊 未経験から、IT業界歴7年(3社)でメガベンチャーへ この間、給与を一度も下げずにステップアップし続けました。会社も大手になってきています。 【自分の経歴👇】 ① SES:SQL、Tableauで基礎固め ② ベンチャー:Python/AWS(DSの猛者には勝てないと悟る) ③ 専門SIer:GCP基盤移行/生成AI(DEへ軸をずらす) ④ メガベン内定🎉 「DSの猛者と戦わず、DEでポジションを取る」キャリアの築き方を発信中!
日本語
6
2
70
16.7K
てぃー
てぃー@TKkabumemo·
@HardModeDE ありがとうございます! 一旦BQだけでやってみようと思います! Connected Sheet便利ですね!! そちら使ってみようと思います。 一旦もやもやしていた部分が晴れました。また困ったら質問させてください!
日本語
0
0
1
12
TsK|データエンジニア@メガベン
データ系転職を目指しているのに、クラウドの重要性に気づいていない人が多い。 データ系の求人を見るとAWS・Google Cloud・Azureが当たり前に並んでいて、クラウド経験が前提になっている。 さらに今はクラウド×AIができる人材の需要が急上昇しています。 実際、自分の転職活動中にデータエンジニアをやめてAIエンジニアとして採用を受けないか?と誘われたくらいです。 しかし、個人がクラウドを全く知らない状態で触ると高額課金のリスクがあるため、まずクラウドに触れる環境(会社など)に身を置くのが一番の近道です。ちなみに、自分はBigQueryから入りました。
日本語
3
5
74
12.6K
TsK|データエンジニア@メガベン
@leon_devops 全くおっしゃる通りかと思います! QOLを意図的に犠牲にして環境に投資するという選択なので、それに見合うリターンを得られるかどうかが重要だと思います。目的なく東京に住むのは良くないですね。 (全然関係ないですが、一時期福岡のご飯おいしすぎて引っ越そうかと迷いました...)
日本語
1
0
1
166
TsK|データエンジニア@メガベン
@o_sdft 新卒でその悩みを持てているのはすごく大事だと思います! 生活の快適さだけなら大阪の方が上です。ただPdMなどを本気で目指すなら、東京のスタートアップ・IT企業への近さは有利かと思います。迷っているなら東京に来てみてください!
日本語
1
0
1
104
みなみ@データサイエンス
@HardModeDE 私も地元大阪なのでわざわざ東京まで行かなくてもみたいなところあったのですが、技術力とか経験をたくさん積めるのは東京なので若い時は特にそこで頑張りたいって思ってます!🗼
日本語
1
0
1
50
TsK|データエンジニア@メガベン
@TKkabumemo BQで完結する構成でも十分だと思います。 最初からGCPのサービスを広げすぎると管理が大変になるので、まずBQ中心でシンプルに作って、慣れてきたら広げていく方がいいかと。 ConnectedSheetはGoogleスプレッドシートからBQに直接繋げられるので課金リスクなく可視化できておすすめです!
日本語
1
0
1
21
てぃー
てぃー@TKkabumemo·
@HardModeDE ありがとうございます! 個人の練習でデータレイクにAWSやGCP噛ますのは運用コスト大きいかと思いBQで完結しようかと思っていましたが、やっぱりGCP使ってみようかなと思いました!(初めからやりすぎだったら教えてください。) ConnectedSheetはじめて聞きました!調べてみようと思います。
日本語
1
0
1
21
みなみ@データサイエンス
アニメのシーズンが終わるとともに季節の移ろいを感じる 今期のアニメ激アツなんよ
みなみ@データサイエンス tweet media
日本語
3
0
21
538
TsK|データエンジニア@メガベン
@nnql_nnql2pnt コメントありがとうございます! データがどう発生してどうテーブルが作られるかを理解した上でデータ分析をやるのと、そうでないのとでは分析の質が違いますよね。 データエンジニア経験後に分析に戻るルートは私も強いと思います。自分も最終的にはそちらにも広げていけたらと思っています!
日本語
0
0
1
155
TsK|データエンジニア@メガベン
「データエンジニアって何をする人?」とよく聞かれます。 自分の今の業務を具体的に書くと ・経営・事業サイドが必要な売上、ユーザー数などの重要指標を整理してテーブル設計 ・SQLを書いてデータマートを作成 ・スプレッドシート・BIツールに繋ぎ込んで可視化 ・完成したダッシュボードを経営・事業サイドに提供 一言で言うと 「データを使いやすい形に整えて、必要な人に届ける仕事」です。 まずはここから慣れていき、ゆくゆくは、要件定義・データ基盤の構築・監視まで担当していく予定です。 使用ツール:BigQuery・GitHub・スプレッドシート・BIツール
日本語
0
7
71
7.4K
TsK|データエンジニア@メガベン
イメージが湧きにくいと思うので実例を出すと、1億レコード・カラム30〜40のデータが現場では普通にあります。 これをExcelで開こうとすると、読み込みだけで時間がかかりすぎて使い物になりません。 さらにExcelの場合、データを手動で引っ張ってきて貼り付けるという作業が毎回発生します。 SQL・Pythonならそこからグラフ作成まで自動化できます。例えば売上ダッシュボードの自動更新など。 これが学ぶ必要がある理由ですね。
日本語
1
0
18
1.4K
Awal
Awal@Awalqm·
If Excel can clean, analyze, and build dashboards, why then learn SQL, Python, and Power BI?
English
29
13
150
17.9K
TsK|データエンジニア@メガベン retweetledi
Ta Fu
Ta Fu@TaFu_3776·
@HardModeDE 少しガバナンスに近くて参考になるかわかりませんが。データを扱う際のユーザー含めた組織の在り方など記載されてます。amzn.asia/d/02uRGpDl
日本語
1
1
11
1.3K
TsK|データエンジニア@メガベン
これからデータエンジニアとして、社内ヒアリングから要件定義・可視化用データマート作成まで経験することになりそうです。 なんでも良いので、おすすめの教材・書籍・記事・経験談があれば教えていただけないでしょうか?
日本語
4
1
81
11.8K
TsK|データエンジニア@メガベン
データ系エンジニアとしても、 大阪に住んだ方が人生イージーは全く同意。 でも家賃高い・飯高い・満員電車、きついのを承知の上で東京に住むと決めている。 理由は、モダンな環境で働ける会社・面白い人と会える機会・キャリアに繋がるイベントが東京に集中しているから。 そういう環境にいるから給与も上がりやすいし、刺激とモチベーションも維持しやすい。 大阪の方が楽に暮らせるし幸福度も高いと思う。けど、今じゃない。 成長の機会がある若いうちは東京で戦う方が良いと思っている。
神沙映月@FL_S139_4

東京の新卒 →家賃高すぎて極狭ワンルーム →満員電車で毎朝HP削られる →コンビニ飯+サブスクで月末カツカツ 大阪の新卒 →同じ給料でも部屋広い →通勤そこまで地獄じゃない →飲み代も安くて普通に貯金できる これ、普通に大阪のほうが人生イージーでは?

日本語
0
3
96
44.4K
もも農家@日本TOPのDBエンジニア
@HardModeDE 用件定義からデザイン、運用まで書かれている本です。使われないダッシュボードにならないためのノウハウが書かれています。 可視化用データマート作成までとのことなので、ダッシュボード作成とは少し領域が異なるかもしれませんがおすすめです amzn.to/48tz8kV
日本語
1
1
11
1.2K
TsK|データエンジニア@メガベン
@ex42p6 ありがとうございます! 使われないダッシュボードにならないためのノウハウという視点は盲点でした。データマート作成後の見せ方まで意識する必要がありますよね。確認します!
日本語
0
0
1
601
TsK|データエンジニア@メガベン
データエンジニアとして 要件定義・データマート作成で使いそうな本メモ
ヨワニンゲン@Data_YowaNingen

@HardModeDE 初めまして! KPIマネジメント周り amzn.asia/d/03epOwUk データモデリング amzn.asia/d/09MkWauE この辺は読んで良かったなと思います! 最近はエクセル、BIに加えAIエージェントでの活用を見越したデータモデリング、マネジメントが必須になってきた印象です!

日本語
0
0
24
4.6K
ヨワニンゲン
ヨワニンゲン@Data_YowaNingen·
@HardModeDE 初めまして! KPIマネジメント周り amzn.asia/d/03epOwUk データモデリング amzn.asia/d/09MkWauE この辺は読んで良かったなと思います! 最近はエクセル、BIに加えAIエージェントでの活用を見越したデータモデリング、マネジメントが必須になってきた印象です!
日本語
1
1
25
6K
TsK|データエンジニア@メガベン
CloudRun→BigQuery→dbt→の一気通貫の流れを自分で作った経験は、現場で即戦力になれるレベルの実績かと ただLookerは個人だと課金リスクが高いので、ConnectedSheetやスプレッドシートで代替するのもありだと思います。 あとポイントとして、面接ではなぜこの構成にしたのかを説明できるようにしておくと評価が上がります。 ただ作っただけより、意図を語れる方が強いです。
日本語
1
0
1
43
てぃー
てぃー@TKkabumemo·
@HardModeDE ありがとうございます。DSとして働いており、まさしくそDEがやってくれており完全に弱いところです。会社データで練習は難しそうで、 公開不動産情報APIをCloudRunでレスポンス→BQraw→dbt→BQstaging→dbt→BQmart→looker みたいな流れをやってみようと思ってますが、経験として意味ありますか?
日本語
1
0
2
90