NetCore官方給出的兩種文件上傳方式分別為“緩沖”、“流式”。我簡單的說說兩種的區別,
  1.緩沖:通過模型綁定先把整個文件保" />

NetCore 3.0文件上傳和大文件上傳的限制詳解

 更新時間:2020-01-15 16:59:09   作者:佚名   我要評論(0)

NetCore文件上傳兩種方式


  NetCore官方給出的兩種文件上傳方式分別為“緩沖”、“流式”。我簡單的說說兩種的區別,
  1.緩沖:通過模型綁定先把整個文件保

NetCore文件上傳兩種方式

  NetCore官方給出的兩種文件上傳方式分別為“緩沖”、“流式”。我簡單的說說兩種的區別,

  1.緩沖:通過模型綁定先把整個文件保存到內存,然后我們通過IFormFile得到stream,優點是效率高,缺點對內存要求大。文件不宜過大。

  2.流式處理:直接讀取請求體裝載后的Section 對應的stream 直接操作strem即可。無需把整個請求體讀入內存,

以下為官方微軟說法

緩沖

  整個文件讀入 IFormFile,它是文件的 C# 表示形式,用于處理或保存文件。 文件上傳所用的資源(磁盤、內存)取決于并發文件上傳的數量和大小。 如果應用嘗試緩沖過多上傳,站點就會在內存或磁盤空間不足時崩潰。 如果文件上傳的大小或頻率會消耗應用資源,請使用流式傳輸。

流式處理   

  從多部分請求收到文件,然后應用直接處理或保存它。 流式傳輸無法顯著提高性能。 流式傳輸可降低上傳文件時對內存或磁盤空間的需求。

文件大小限制

  說起大小限制,我們得從兩方面入手,1應用服務器Kestrel 2.應用程序(我們的netcore程序),

1.應用服務器Kestre設置

  應用服務器Kestrel對我們的限制主要是對整個請求體大小的限制通過如下配置可以進行設置(Program -> CreateHostBuilder),超出設置范圍會報 BadHttpRequestException: Request body too large 異常信息

public static IHostBuilder CreateHostBuilder(string[] args) =>
 Host.CreateDefaultBuilder(args)
 .ConfigureWebHostDefaults(webBuilder =>
 {
  webBuilder.ConfigureKestrel((context, options) =>
  {
  //設置應用服務器Kestrel請求體最大為50MB
  options.Limits.MaxRequestBodySize = 52428800;
  });
  webBuilder.UseStartup<Startup>();
});

2.應用程序設置

  應用程序設置 (Startup->  ConfigureServices) 超出設置范圍會報InvalidDataException 異常信息

services.Configure<FormOptions>(options =>
 {
  options.MultipartBodyLengthLimit = long.MaxValue;
 });

通過設置即重置文件上傳的大小限制。

源碼分析

  這里我主要說一下 MultipartBodyLengthLimit  這個參數他主要限制我們使用“緩沖”形式上傳文件時每個的長度。為什么說是緩沖形式中,是因為我們緩沖形式在讀取上傳文件用的幫助類為 MultipartReaderStream 類下的 Read 方法,此方法在每讀取一次后會更新下讀入的總byte數量,當超過此數量時會拋出  throw new InvalidDataException($"Multipart body length limit {LengthLimit.GetValueOrDefault()} exceeded.");  主要體現在 UpdatePosition 方法對 _observedLength  的判斷

以下為 MultipartReaderStream 類兩個方法的源代碼,為方便閱讀,我已精簡掉部分代碼

Read

public override int Read(byte[] buffer, int offset, int count)
 {
  
  var bufferedData = _innerStream.BufferedData;
      int read;
     read = _innerStream.Read(buffer, offset, Math.Min(count, bufferedData.Count));
  return UpdatePosition(read);
}

UpdatePosition

private int UpdatePosition(int read)
 {
  _position += read;
  if (_observedLength < _position)
  {
  _observedLength = _position;
  if (LengthLimit.HasValue && _observedLength > LengthLimit.GetValueOrDefault())
  {
   throw new InvalidDataException($"Multipart body length limit {LengthLimit.GetValueOrDefault()} exceeded.");
  }
  }
  return read;
}

通過代碼我們可以看到 當你做了 MultipartBodyLengthLimit 的限制后,在每次讀取后會累計讀取的總量,當讀取總量超出

 MultipartBodyLengthLimit  設定值會拋出 InvalidDataException 異常,

最終我的文件上傳Controller如下

  需要注意的是我們創建 MultipartReader 時并未設置 BodyLengthLimit  (這參數會傳給 MultipartReaderStream.LengthLimit )也就是我們最終的限制,這里我未設置值也就無限制,可以通過 UpdatePosition 方法體現出來

using Microsoft.AspNetCore.Http;
using Microsoft.AspNetCore.Mvc;
using Microsoft.AspNetCore.WebUtilities;
using Microsoft.Net.Http.Headers;
using System.IO;
using System.Threading.Tasks;
 
namespace BigFilesUpload.Controllers
{
 [Route("api/[controller]")]
 public class FileController : Controller
 {
 private readonly string _targetFilePath = "C:\\files\\TempDir";
 
 /// <summary>
 /// 流式文件上傳
 /// </summary>
 /// <returns></returns>
 [HttpPost("UploadingStream")]
 public async Task<IActionResult> UploadingStream()
 {
 
  //獲取boundary
  var boundary = HeaderUtilities.RemoveQuotes(MediaTypeHeaderValue.Parse(Request.ContentType).Boundary).Value;
  //得到reader
  var reader = new MultipartReader(boundary, HttpContext.Request.Body);
  //{ BodyLengthLimit = 2000 };//
  var section = await reader.ReadNextSectionAsync();
 
  //讀取section
  while (section != null)
  {
  var hasContentDispositionHeader = ContentDispositionHeaderValue.TryParse(section.ContentDisposition, out var contentDisposition);
  if (hasContentDispositionHeader)
  {
   var trustedFileNameForFileStorage = Path.GetRandomFileName();
   await WriteFileAsync(section.Body, Path.Combine(_targetFilePath, trustedFileNameForFileStorage));
  }
  section = await reader.ReadNextSectionAsync();
  }
  return Created(nameof(FileController), null);
 }
 
 /// <summary>
 /// 緩存式文件上傳
 /// </summary>
 /// <param name=""></param>
 /// <returns></returns>
 [HttpPost("UploadingFormFile")]
 public async Task<IActionResult> UploadingFormFile(IFormFile file)
 {
  using (var stream = file.OpenReadStream())
  {
  var trustedFileNameForFileStorage = Path.GetRandomFileName();
  await WriteFileAsync(stream, Path.Combine(_targetFilePath, trustedFileNameForFileStorage));
  }
  return Created(nameof(FileController), null);
 }
 
 
 /// <summary>
 /// 寫文件導到磁盤
 /// </summary>
 /// <param name="stream">流</param>
 /// <param name="path">文件保存路徑</param>
 /// <returns></returns>
 public static async Task<int> WriteFileAsync(System.IO.Stream stream, string path)
 {
  const int FILE_WRITE_SIZE = 84975;//寫出緩沖區大小
  int writeCount = 0;
  using (FileStream fileStream = new FileStream(path, FileMode.Create, FileAccess.Write, FileShare.Write, FILE_WRITE_SIZE, true))
  {
  byte[] byteArr = new byte[FILE_WRITE_SIZE];
  int readCount = 0;
  while ((readCount = await stream.ReadAsync(byteArr, 0, byteArr.Length)) > 0)
  {
   await fileStream.WriteAsync(byteArr, 0, readCount);
   writeCount += readCount;
  }
  }
  return writeCount;
 }
 
 }
}

總結:

如果你部署 在iis上或者Nginx 等其他應用服務器 也是需要注意的事情,因為他們本身也有對請求體的限制,還有值得注意的就是我們在創建文件流對象時 緩沖區的大小盡量不要超過netcore大對象的限制。這樣在并發高的時候很容易觸發二代GC的回收.

好了,以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對腳本之家的支持。

您可能感興趣的文章:

  • .Net Core實現圖片文件上傳下載功能
  • ASP.NET Core文件上傳與下載實例(多種上傳方式)
  • asp.net core實現文件上傳功能
  • .NetCore實現上傳多文件的示例詳解
  • 解決ASP.NET Core Mvc文件上傳限制問題實例
  • asp.net core mvc實現文件上傳實例
  • asp.net core分塊上傳文件示例
  • .net core版 文件上傳/ 支持批量上傳拖拽及預覽功能(bootstrap fileinput上傳文件)

相關文章

  • NetCore 3.0文件上傳和大文件上傳的限制詳解

    NetCore 3.0文件上傳和大文件上傳的限制詳解

    NetCore文件上傳兩種方式   NetCore官方給出的兩種文件上傳方式分別為“緩沖”、“流式”。我簡單的說說兩種的區別,   1.緩沖:通過模型綁定先把整個文件保
    2020-01-15
  • .NET做人臉識別并分類的實現示例

    .NET做人臉識別并分類的實現示例

    在游樂場、玻璃天橋、滑雪場等娛樂場所,經常能看到有攝影師在拍照片,令這些經營者發愁的一件事就是照片太多了,客戶在成千上萬張照片中找到自己可不是件容易的事。
    2020-01-15
  • Go 中 slice 的 In 功能實現探索

    Go 中 slice 的 In 功能實現探索

    之前在知乎看到一個問題:為什么 Golang 沒有像 Python 中 in 一樣的功能?于是,搜了下這個問題,發現還是有不少人有這樣的疑問。 今天來談談這個話題。 in 是一個
    2020-01-15
  • 詳解Go中Set的實現方式

    詳解Go中Set的實現方式

    本篇主要講述如何利用Go語言的語法特性實現Set類型的數據結構。 需求 對于Set類型的數據結構,其實本質上跟List沒什么多大的區別。無非是Set不能含有重復的Item的
    2020-01-15
  • Go中如何使用set的方法示例

    Go中如何使用set的方法示例

    今天來聊一下 Go 如何使用 set,本文將會涉及 set 和 bitset 兩種數據結構。 Go 的數據結構 Go 內置的數據結構并不多。工作中,我們最常用的兩種數據結構分別是
    2020-01-15
  • ./ 和 sh 的使用區別詳解

    ./ 和 sh 的使用區別詳解

    ./ 和 sh的使用區別 1、使用“./”執行腳本,對應的xxx.sh腳本必須要有執行權限; 2、使用“sh” 執行腳本,對應的xxx.sh沒有執行權限,亦可執行; 3
    2020-01-15
  • win10下如何運行.sh文件的實現步驟

    win10下如何運行.sh文件的實現步驟

    確保您使用至少是Windows10的14316版本。 這種方法只適用于64位版本的Windows 10 今天居然驚奇地發現原來win10的功能簡直強大到沒話說,居然在更新后有一個Linux的子
    2020-01-15
  • Shell腳本之Expect免交互的實現

    Shell腳本之Expect免交互的實現

    Expext概述 Expect是建立在tcl基礎上的一個工具,Expect是用來自動化控制和測試的工具。主要解決shell腳本中不可交互的問題。有助于大規模的系統運維工作。在日常
    2020-01-15
  • Shell腳本實戰之DNS主從同步腳本實例

    Shell腳本實戰之DNS主從同步腳本實例

    DNS主從同步腳本實例 PS:兩個服務器起好后最好兩個服務都重啟一下 主服務器配置 #!/bin/bash #DNS主從同步——主服務器 rpm -q bind if [ $&#63; -ne
    2020-01-15
  • shell之分離解析腳本的實現方法

    shell之分離解析腳本的實現方法

    分離解析腳本 在運行腳本之前,需要VM虛擬機,Centos7,兩臺主機一臺win10 -1 作為廣域網的主機, 一臺win10 -2作為區域網的主機。 之前我的博客有教程 #!/bin/ba
    2020-01-15

最新評論

老快3投注技巧