學習筆記-Data
學習Roadmap
其實也沒啥Roadmap,就是要能應付現在的工作。
SQL
- bind parameters
筆記
資料概念
- 資料倉儲(Data Warehouse)跟一般DB的差異是:一般DB是用在應用面,針對產品(或服務)的需求來建置;而DWH則是分析面,依據商業上需要分析的需求來建置,從這兩點使用情境會產生一些技術上的區別如更新時間等。
- Star Schema就是一個拿來存很多key的table
環境概念
- Linux
- Linux是一種OS,有各種distribution如CentOS,、Ubuntu 、Pop!_OS等選擇
- WSL似乎是個不用灌雙系統,卻可以用Windows跑Linux的方式
- 如果我的團隊在用Airflow並推薦用Docker跑,而Docker又無法在Windows上完美執行時(亦或Airflow無法在Windows上完美執行時),我就需要其他OS
- 有些概念還待釐清,到底是下面哪項?需要更釐清基本原理跟名詞後才知道
- 在我的Windows上跑Docker,再在Docker上跑Linux,再在Linux上跑Airflow
- 在我現在裝有Windows的筆電上跑Linux(雙系統?VM?WSL?),在上面跑Docker後再跑Airflow
- 之前一直搞混是大部分文章都把Docker & VM 放一起比較,但有種執行方式是「先安裝VM Linux,再在此VM中執行Docker」,所以搞得我錯亂,找不到前後關係。這篇寫得較清楚:「Docker要在Linux上跑」(但為何有Win的版本供下載?),所以我需要跑一個Linux沒錯,剩的只是作法問題了。
- 看來Docker有分兩種
- Docker Desktop
- Docker Engine
- 最新的做法(可行)安裝Docker Desktop 並啟動
- 裝wsl from Microsoft Store
- 裝distro(e.g., utunbu) from Microsoft Store
- docker-compose up -d
來源:
- 資料倉儲概念
- Docker
- Airflow (先搞懂Docker是否跟Airflow有關)
- 不懂的東西
- EC2, S3
創建時間:2023.04.09
留言
張貼留言