hive和sparksql的區(qū)別？過去，hive是用來建立數(shù)據(jù)倉庫的，因此對hive管理的數(shù)據(jù)查詢有很大的需求。Hive、shark和sparlsql可以查詢Hive數(shù)據(jù)。Shark使用hive的SQ

hive和sparksql的區(qū)別？

過去，hive是用來建立數(shù)據(jù)倉庫的，因此對hive管理的數(shù)據(jù)查詢有很大的需求。Hive、shark和sparlsql可以查詢Hive數(shù)據(jù)。Shark使用hive的SQL語法解析器和優(yōu)化器，修改executor，使其物理執(zhí)行過程在spark上運行；spark-SQL使用自己的語法解析器、優(yōu)化器和executor，spark-SQL還擴展了接口，不僅支持hive數(shù)據(jù)查詢，還支持多數(shù)據(jù)源的數(shù)據(jù)查詢。

有木有用sparksql的，怎么批量執(zhí)行很多個sql語句？

只需在PL/SQL:PL/SQL developer--->文件--->新建--->命令窗口中使用命令窗口，然后在彈出窗口中依次執(zhí)行：SQL>@f:ABCa.sqlsql>@f:ABCb.sqlsql>@f:ABCc.SQL

為了實現(xiàn)配置單元兼容性，shark重用解析，邏輯執(zhí)行計劃轉換、執(zhí)行計劃優(yōu)化以及hive中HQL的其他邏輯。可以近似地認為只有物理執(zhí)行計劃被spark作業(yè)所取代（由內存列存儲和其他與hive關系不大的優(yōu)化所補充）