ニューラルネットワークの歴史は、いつまでさかのぼるの？
ニューラルネットワーク 1943年、ウォーレン・マカロックとウォルター・ピッツが形式ニューロンを発表した。
勾配消失問題 勾配消失問題への対策として、比較的新しく有用度も高いのが、2015年に提案された残差ネットワーク(ResNet)である。 ResNetは、ニューラルネットワークの一部に層を飛び越えるような接続を含む構造を持つ。 こうしたスキップ接続により、通常は直後の層の入力にのみ用いられる出力が、より深い層の出力に加えられその先の層に入力されるため、情報が層を超えて伝播するようになることが期待される。スキップ接続は、深層ニューラルネットワークをうまく学習するための重要な要素になっている。
ResNetでは、消失した情報を補完するために浅い層の出力をより深い層に対して単に加えるだけで、通常の浅いネットワークよりも学習時の損失と評価時の損失を抑えることができた。 なお、ResNetは比較的浅いネットワークのアンサンブルとして捉えることができるとされており、ネットワーク全体にわたって勾配情報を保持することで勾配消失の問題を解決しているのではなく、むしろ、多数の短いネットワークをアンサンブルさせることで勾配消失問題を回避しているとする説がある。
正規化線形関数(ReLUと表記されることもある)は活性化関数の一つで、入力が正の範囲では単調増大するため、勾配消失の影響を受けにくい。2018年現在、深層学習で広く使われている活性化関数である。 単調でない、飽和しない、振動する、といった性質を持つ活性化関数は、勾配消失問題を緩和するとともに、学習時間の削減にも寄与する。振動する活性化関数で、勾配をよく伝播し学習速度を向上させるものの例を、右の図に示している。
INSネット 旧日本電信電話公社によって1970年代から独自の研究が行われていた。高度情報通信システム(INS=Information Network System)と呼ばれ1984年、三鷹市・武蔵野市で現在のものと互換性のないYインタフェースで実用化試験が行われた。ちなみにYインタフェースでのINS(ISDN)回線は回線構成が1B+1Dで通話と同時にFAXの送受信が行えないなど不便があったため、デジタルで通信を行う以外は旧来の電話と機能に変化が無いため現行のIインタフェースのISDN回線では回線構成が2B+Dになったらしい。
1988年4月19日に旧NTTによって「INSネット64」「INSネット1500」の商標でIインタフェースによる商用サービスが開始され、1998年のNTT再編後はNTT東日本・西日本から提供されている。大阪市中央区淡路町にあるNTTのビルには「明日への通信 INS発祥の地 昭和63年4月」の石碑がある。また、2000年代に入り他の電気通信事業者のサービスも開始された。
登場当初はバーチャルコール方式パケット通信(INS-P:INS-Packet switching service)による、大型コンピュータなどのパケット通信網(DDX-P:Digital Data eXchange Packet switching service)へのアクセスなどから利用された。間欠送信であるアメダス・クレジットカードの信用照会(CAFIS)などに、パケット通信特有のデータ量による課金体系であることを生かして使用された。
回帰型ニューラルネットワーク 焼きなまし法または粒子群最適化といった他の大域的(と進化的の両方またはいずれか一方)最適化技法を良い重みのセットを探すために使うことができる。
アメリカ国家安全保障局 NSAの歴史は1917年にハーバート・オズボーン・ヤードリーの設立した暗号解読組織「ブラック・チェンバー」(MI-8)にさかのぼる。この組織は1929年ヘンリー・スティムソン国務長官に「紳士の仕事ではない」との理由で廃止された。
その後ウィリアム・F・フリードマンが、1930年、陸軍に信号情報部(Signal Intelligence Service, SIS)を設立し、ローレンス・サフォードが海軍にOP-20Gを設立した。この二つの組織が、太平洋戦争開戦時に大日本帝国の外交秘密「パープル暗号」を解読し、山本五十六搭乗機撃墜やミッドウェー海戦の勝利などに貢献する。
1949年5月20日に、統合参謀本部指揮下のアメリカ国防総省の部局として、軍保安局(AFSA、the Armed Forces Security Agency)が設立された。AFSAは三軍の通信電子情報部隊つまり陸軍保安局(ASA、改称されてSAA)・海軍保安群(NSG)・空軍保安部(AFSS)の通信諜報および電子諜報活動を指揮監督することになっていた。しかし、AFSAは能力不足であり、調整機能が不足していた。そこで1951年12月より国家安全保障会議の指示により検討が行われ、1952年6月(?)の国家安全保障会議情報活動指示によって、同年11月4日に設立された後、1999年までその存在は秘密にされていた。
言語モデル GPT(Generative pre-trained transformer)のような現代の言語モデルは、特定のタスクにおいて人間に匹敵する能力を発揮するが、認知モデルとしての妥当性は不確かになっている。たとえば、回帰型ニューラルネットワークの場合、人間が学習しないパターンを学習したり、人間が学習するパターンを学習できずに失敗することが知られている。
Encog Encog(エンコグ) はJava, .Net, and C++用の機械学習フレームワーク. Encogはベイジアンネットワーク, 隠れマルコフモデルやサポートベクターマシーンなどの様々な学習アルゴリズムをサポートしている。 しかし、Encogの真価はニューラルネットワークアルゴリズムにある。Encogはニューラルネットワークのための正規化やデータ処理のためのサポートクラスを用意している。 Encogは、多くの異なる技術を使用してトレーニングをおこなう。マルチコアマシン上で最適なトレーニングのパフォーマンスを可能にするために、マルチスレッディングが使用される。 EncogのC++バージョンは、性能向上のためにOpenCL互換性GPUに処理をさせることができる。
Encogは医療 や金融予測を含む様々な用途で利用が可能である。 また、ニューラルネットワークのモデリングやトレーニングを支援するためのGUIワークベンチも用意されている。 Encogは2008年から開発が続けられている。
TensorFlow 機械学習や数値解析、ニューラルネットワーク(ディープラーニング)に対応しており、GoogleとDeepMindの各種サービスなどでも広く活用されている。
2015年11月9日にベータ版がApache 2.0 open source licenseの下で公開され、2017年2月15日には正式版となるTensorFlow 1.0がリリースされた。
TensorFlowは元々、Google内部での使用のためにGoogle Brain(英語版)チームによって開発された。開発された目的は、人間が用いる学習や論理的思考と似たように、パターンや相関を検出し解釈するニューラルネットワークを構築、訓練することができるシステムのための要求を満たすためである。現在は、Googleのサービスの研究と生産に使用されており、以前に使用されていたクローズドソースのDistBeliefの役割をほぼ置き換えている 。AIにも詳しいルーカス・ビーワルド(英語版)は、GoogleはTensorFlowのコードをオープンソースにした事で、AIの真の価値はAIの「エンジン」ではなく、AIを賢くするのに必要な「データ」である事を示したと語った。そのためGoogleは「データ」の部分は公開しないだろうと述べた。
神経成長因子 神経成長因子(しんけいせいちょういんし、英: nerve growth factor、略称: NGF)は、特定の標的神経細胞の成長、維持、増殖、生存の調節に関与する神経栄養因子(神経ペプチド(英語版))である。NGFは成長因子の中で最初期に記載されたものの1つである。NGFは、ノーベル賞受賞者であるリータ・レーヴィ=モンタルチーニとスタンリー・コーエンによって1956年に最初に単離された。それ以降、膵臓β細胞の生存や免疫系の調節など、NGFが関与する多数の生物学的過程が特定されている。