ChatGPTでプログラミング
> @nishio: 本日の開発の様子
>
> @kis: これ、まずプログラマが「こういうの作りたい」と思ったときの作業時間が圧倒的に短縮されて、「作りたいと思ってるけど不慣れな言語や未知のフレームワークが必要」って障壁が消滅していることを実感していかないといけないのでは
弱点
> @niw: GPT さん、ちょっと難しい問題の実装を聞くと存在しない便利APIを捏造して出来ました! とか言ってくるので困る。
じゃくてんのうらがえし
> @Mitsuki_2nd: ここ1〜2ヶ月バックオフィス文脈でChatGPT触って一番エグいと感じたのは、非エンジニアのバックオフィス担当でも自分専用Google App Scriptを簡単に作れるようになったこと。GASとは何か？を2-3時間程度学ぶだけで、自然言語でGAS書いてスプレッドシートやドライブ操作を1人で自動化できるようになった
> @tkihira: この手の話は ChatGPT が素晴らしいのはもちろんのこと、今までこういうツールを作っていた人たちのサービスが ChatGPT でも代用出来るという側面で注目している。大規模言語モデルを使えば、専門ツールよりよほど高品質なサービスが受けられる。これこそがプログラマ不要論の根幹ではないだろうか。
> @dory111111: ChatGPT、コードリーディングに本当に便利すぎる。
> コードを全部ベタッと貼り付けて「シーケンス図をPlantUMLで出力して」とか適当に言うだけで、一撃でこんな感じの出力してくれる。
> 新しいコードベースを爆速で把握しなきゃいけないときに役立つなぁ。
>
> もう以前の世界には戻れん...
>
>@naoya_ito: いやーすごい
>
> @mckaywrigley: This is just insane…
>
> My GPT-4 coding assistant can now:
> - build and design a frontend
> - create a backend with working db
> - correctly hook them up
> - upload code to GitHub
> - deploy it to Vercel
>
> I can now build *complete* apps with nothing more than my voice.
>
> The future is here!
>
すごいけど曲芸な感じがする
>開発スタイルが大幅に変わった ChatGPT を開いて不明な点はすぐ聞くスタイルになった、どう書けばいいのかということで悩むことが少なくなった
> 不得意な分野でも困ることがなくなった、聞けばいいだけになったのは大きいし、不明な点はそのタイミングで聞く、ほんとか？と思ったら公式ドキュメントを見る
ソースコードのバグ修正に使う
テストスイートが与えられた場合、標準的な方法は通常、修復を合成するか、またはソフトウェア編集の検索スペースをナビゲートして、テストスイート合格のバリアントを検索します。
最近のプログラム修復方法は、ディープラーニングのアプローチに基づいている。これらの新しい方法の1つは、主にプログラムの自動修復を目的としていないが、それでも適しているChatGPTである。（ but is still suitable for it, is ChatGPT.）しかし、ChatGPTのバグ修正性能は今のところ不明である。
そのため、本論文では、標準バグ修正ベンチマークセットQuixBugsでChatGPTを評価し、文献で報告されている他のいくつかのアプローチの結果とパフォーマンスを比較した。
ChatGPTのバグ修正性能は、一般的なディープラーニングアプローチであるCoCoNutやCodexに匹敵し、標準的なプログラム修復アプローチで報告された結果よりも顕著に優れていることがわかりました。
以前のアプローチとは対照的に、ChatGPTは、特定の入力または観測されたエラーメッセージの予想出力など、さらなる情報を入力できる対話システムを提供する。このようなヒントをChatGPTに提供することで、成功率をさらに高めることができ、40件のバグのうち31件が修正され、最新の技術を上回る結果となった。
GPT-3.5(legacy)かな？