生成AIでデータ分析やコーディングはどう変わるのか？ - ML15min

こちらで使用したスライドです。

第80回 Machine Learning 15minutes! Broadcast - connpass https://machine-learning15minutes.connpass.com/event/291765/

Transcript

1. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 1 データブリックス・ジャパン Databricks アカウントSA部 部長　弥生 隆明 生成AIでデータ分析や コーディングはどう変わるのか？ 2023/8/26
2. 自己紹介 弥生 隆明 (やよい たかあき) Databricks アカウントSA部 部長 ▪ 2020年からデータブリックス ジャパンにお いて、プレセールス、POCに従事 ▪ 前職はコンサルティングファーム、 総合電機メーカーにてデータ分析・Web サービス構築などに従事。 インド赴任経験あり。 ▪ Qiitaでいろいろ書いています。
3. Databricks DATA+AI WORLD TOUR Tokyo Databricks Japan最大のイベント！ 日時: 2023年9月14日（木） 場所: ANA インターコンチネンタルホテル東京 URL: https://register.dataaisummit.com/flow/db/dawt23tky/maineven t/page/mainevent イベント概要: データブリックスジャパン、最大の年次イベントです！ お客様、弊社社長によるキーノートスピーチ、 Databricksハンズオン、テクニ カルブレークアウトセッションなどを対面で実施します！生成 AIの話題も多数 カバーしています！
4. JEDAI勉強会 第4回: 生成AIとは何か？ 日時: 2023年9月27日（水） URL: https://jedai.connpass.com/event/293793/ イベント概要 田辺三菱製薬様にご登壇いただき、生成 AI活用の取り組みについてお話し いただきます。 アジェンダ • 生成AIの基礎 • LLMと生成AI • LLMの活用 • 田辺三菱製薬様における生成 AI活用事例のご紹介 • 生成AIのリスク • フリーディスカッション
5. ©2023 Databricks Inc. — All rights reserved 投資 $3B 市場価値は5兆円以上 従業員数 5000+ (3年前は1500人) 収益(ARR) $1B+ (1,360億円) データレイクハウスの 発明者でパイオニア 導入企業数 10000+ レイクハウスカンパニー のクリエーターが 2013年に起業 知る人ぞ知るデカコーン Databricksは2022年も 攻勢を続ける | Coral Capital
6. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 1. 生成AIでデータ分析やコーディングは どう変わるのか？ 2. English SDK for Apache Spark 3. LakehouseIQ (Databricksアシスタント) 4. 今後の展望 6
7. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 生成AIのユースケース 知性のある会話、クリエイティブなテキスト、コード生成 • コンテンツ生成 • 質問/回答 • バーチャルアシスタント • コンテンツのパーソナライゼーション • 言語スタイルの転換 • ストーリーテリング、詩、クリエイティブなライ ティング • 翻訳 • コード生成 / オートコンプリート PySparkでcsvを読み込むコードをください from pyspark.sql import SparkSession # Sparkセッションの作成 spark = SparkSession.builder.appName("CSV Reader").getOrCreate() # CSVファイルの読み込み df = spark.read.csv('path/to/your/csvfile.csv', header=True, inferSchema=True) # データフレームの表示 df.show()
8. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 生成AIのデータ分析やコーディングへの影響 • 自然言語による学習障壁の低減 : 自然言語を用いてコーディングを行えるようになることで、 様々なデータ分析やコーディングの取り組みが容易なものとなります。 • 自然言語から生成されたコードを確認することで理解が深まります。 • 作業効率の改善 : エラーに遭遇したりコードの記述方法が不明な場合であっても、 ドキュメントを首っ引きで調べるのではなく、生成 AIから即座に修正案を提案してもらうことが でき、効率的に作業を進めることができます。 学習曲線の改善、生産性の改善が見込まれます
9. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 生成AIのビジネスユースケース • コード補完、定型コードの生成 • エラー検知やデバッグ • 言語間でのコード変換 • コードのドキュメントの記述 • 自動テスト • 自然言語でコード生成 • コードを学習するためのバーチャル コードアシスタント コード生成や開発者の生産性 Image Source: Github
10. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary Sparkアシスタント Sparkエキスパート によるプロンプト エンジニアリング LLMで強化された新機能 10
11. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary “もっともホットな新たなプログラミング 言語は 英語 です” A. Karpathy 11
12. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 技術 ユーザー これまでいた所 (Python, SQL) 企業 全体 LLMが到達可能 にしてくれる 場所 12
13. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 英語(日本語)は新たなプログラミング言語です。 生成AIは新たなコンパイラです。 Pythonは新たなバイトコードです。 13
14. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary pyspark.ai English SDK for Apache Spark 取り込み Pythonソース生成 説明 変換 検証 可視化 14
15. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 15
16. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary ANNOUNCING 16
17. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 17 困難なソフトウェアの問 題 全ての企業
18. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 単にLLMアシスタントを追 加するだけではうまく行き ません 問題: 18
19. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary すべての 企業は自分の専門用語、データ、組織構造を 持っています warehouse Nephos DBU MAC warehouse job BORIS BOPIS site POP Q4 PoP MAC session site “前の quarter において Europe にお ける DBU はいくらか” ソフトウェア企業 小売 通信 19
20. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 組織構造 Unity Catalog 文書 人気度 ダッシュボード リネージ ノートブック クエリー 20
21. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 組織構造 Unity Catalog 文書 人気度 ダッシュボード リネージ ノートブック クエリー 21 Databricks アシスタント
22. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 22
23. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 今後の展望 • 自然言語による学習障壁の低減 : プログラマだけではなくビジネスユーザーによるデータ分 析、ロジック開発が進みます。 • 作業効率の改善 : 複雑なロジックの開発スピードが改善し、企業における高度な機能の活用 が促進し、さらなるビジネス価値創出につながります。 コーディングやデータ分析の領域での自然言語の活用が進むと見ています